סקראפי שכתוב 100% בפייתון ויכול להיות מנוצל לכריית נתונים פשוטה, לניטור דף, מנועי חיפוש באינטרנט ואפילו לבדיקת קוד.
משפשף הוא לא מנוע חיפוש במשמעות האמיתית של המילה, אבל הוא מתנהג כמו אחד (ללא חלק האינדקס). עם זאת משפשף יכול להיות כלי נהדר לבנות היגיון מנוע החיפוש שלך על.
הכח האמיתי של מסגרת זו מסתמך ברבגוניות של הליבה שלה, משפשף להיות מערכת שעליו לבנות עכבישים כלליים או ייעודיים חיפוש (סורקים) ב.
אמנם זה אולי נשמע מסובך מאוד למשתמשים שאינם טכניים, במבט מהיר על התיעוד ומדריכים זמינים, זה די פשוט לראות איך משפשף הצליח להוציא את כל העבודה הקשה לצאת מזה ולהפחית את התהליך כולו לפשוט כמה שורות קוד (לקל יותר, קטנים יותר סורקים)
מה חדש בהודעה זו :.
- נתיב בקשת סוף ציטוט
לפני העברה לFTPClient, זה כבר לברוח נתיבים.
- כלול בדיקות / מקור הפצה בMANIFEST.in.
מה חדש בגרסת 1.0.1:
- נתיב בקשת סוף ציטוט לפני העברה לFTPClient, זה כבר לברוח נתיבים.
- כלול בדיקות / מקור הפצה בMANIFEST.in.
מה חדש בגרסה 0.24.6:
- להוסיף כותרת קידוד UTF8 לתבניות
- קונסולת Telnet עכשיו נקשר ל127.0.0.1 כברירת מחדל
- עדכון דביאן / אובונטו הוראות התקנה
- בטל מחרוזות חכמות בהערכות XPath lxml
- שחזור מטמון מבוסס מערכת קבצים כברירת מחדל עבור תווך מטמון HTTP
- לחשוף סורק הנוכחי במשפשף פגז
- לשפר testsuite השוואת CSV ויצואני XML
- מחוץ לאתר חדש / מסוננים ונתונים סטטיסטיים מחוץ לאתר / תחומים
- process_links תמיכה כמו גנרטור בCrawlSpider
מה חדש בגרסה 0.24.5:
- להוסיף כותרת קידוד UTF8 לתבניות
- קונסולת Telnet עכשיו נקשר ל127.0.0.1 כברירת מחדל
- עדכון דביאן / אובונטו הוראות התקנה
- בטל מחרוזות חכמות בהערכות XPath lxml
- שחזור מטמון מבוסס מערכת קבצים כברירת מחדל עבור תווך מטמון HTTP
- לחשוף סורק הנוכחי במשפשף פגז
- לשפר testsuite השוואת CSV ויצואני XML
- מחוץ לאתר חדש / מסוננים ונתונים סטטיסטיים מחוץ לאתר / תחומים
- process_links תמיכה כמו גנרטור בCrawlSpider
מה חדש בגרסת 0.22.0:
- קידום מידע אתחול להגדרות ותווכה לרמת פרטים
- החלקיים תמיכה בget_func_args util
- אפשר לרוץ בדיקות indiviual באמצעות tox
- הרחבות עדכון התעלמו על ידי קישור מסחטות
- בוררים להירשם מרחבי EXSLT כברירת מחדל
- מעמיסי פריט לאחד דומים לבוררי שינוי שם
- הפוך כיתת RFPDupeFilter קלות subclassable
- כיסוי בדיקות לשפר ותמיכת פייתון 3 הקרובה
מה חדש בגרסה 0.20.1:
- include_package_data נדרש לבנות גלגלים ממקורות שפורסמו.
מה חדש בגרסת 0.18.4:.
- AlreadyCalledError הקבוע החלפת בקשה בפקודת הפגז
מה חדש בגרסת 0.18.1:.
- יבוא נוסף הוסר הוסיף על ידי דובדבן הרים שינויים
- קבוע זחילה בדיקות תחת 11.0.0 מראש מעוות.
- py26 לא יכול לעצב אפס שדות אורך {}.
- שגיאות המבחן PotentiaDataLoss על תגובות מאוגד.
- פנק את התגובות בלי תוכן באורך או העברה-קידוד כתגובות טובות.
- האם לא כולל ResponseFailed אם http11 מטפל אינו מופעל.
דרישות :
- פייתון 2.7 או גבוה
- Twisted 2.5.0 או גבוה
- libxml2 2.6.28 או גבוה יותר
- pyOpenSSL
תגובות לא נמצא