robots.js - תוכנה להורדה בחינם עבור Web

robots.js 0.9.4

ניתן להשתמש כדי לשלוף נתונים מקובץ robots.txt ולהאכיל אותו ליישומים אחרים או כלים סטטיסטיים.יהיה לחלץ את כתובת אתר יעד, סיבה לגישה לנתונים ומעמד מה חדש בהודעה זו:. ידיות http (s ) שגיאות בקשה. מה חדש בגרסת 0.7.2:. קבוע package.json meta...