פרטי תוכנה:
זה הוא בעצם ספריית פייתון עבור MapReduce נכתב בCython
תכונות :.
- ממשק דומה כAPI Hadoop (דפוסים שמישים בין ממשקי פייתון / Java עיצוב)
- תאימות כללית עם דמבו כדי לאפשר למשתמשים לעבור קדימה ואחורה
- שמיש באשכולות Hadoop ללא פייתון או גישת מנהל
- המרה ועיבוד מהירה
- הישאר קטנים ומתועד היטב
- להיות שקוף עם מה שקורה
- תוכניות ידית עם .so המסובך של, ctypes, והרחבות
- קוד שנכתב עבור גרזן-יכולת
- גישת HDFS פשוטה (למשל, קריאה, כתיבה, LS)
- תמיכה (ולא לשכפל) המערכת האקולוגית Hadoop יותר (לדוגמא, Oozie, זמזום)
- במקביל עבודה אוטומטית '-oozie האוטומטי' זמין בפרויקט זרימת hadoopy (נשמר מסניף)
- ביצוע מקומי של עבודת MapReduce ללא שינוי עם launch_local
- קבצי קריאה / כתיבת רצף של TypedBytes ישירות לHDFS מפיתון (readtb, writetb)
- מאפשר הדפסה לstdout וstderr במשימות Hadoop מבלי לגרום לבעיות (משתמש בטכניקה "צינור המקפץ", שניהם זמינים בstderr של המשימה)
- עובד על אשכולות ללא כל התקנה נוספת, Python, או כל ספריות פייתון (משתמש Pyinstaller שנכללה בעץ מקור זה)
- עובד על OS X
- נתיב קריטי הוא בCython
- גישת HDFS פשוטה (readtb וLS) בתוך פייתון, אפילו בתוך ריצת עבודות
- ממשק מבחן יחידה
- סטטוס דיווח באמצעות ומונים
- תומך תבניות עיצוב בספר לין & דייר
- תמיכת Typedbytes (מהר מאוד)
- תמיכת Oozie
(דוחות ולהדפיס! אין צורך לפחד מהם בHadoopy)
דרישות :
- Cython 0.13 או גבוה
תגובות לא נמצא