mrjob הוא מודול פייתון שעוזר לך לכתוב ולנהל עבודות Hadoop הזרמת.
mrjob תומך באופן מלא שירות Elastic MapReduce (EMR) של אמזון, המאפשר לך לקנות זמן על אשכול Hadoop על בסיס שעה. זה עובד גם עם אשכול Hadoop משלך.
התקנה:
פיתון setup.py להתקין
הגדרת EMR על אמזון
& Nbsp; * ליצור חשבון שירותי אינטרנט של אמזון: http://aws.amazon.com/
& Nbsp; * להירשם לElastic MapReduce: http://aws.amazon.com/elasticmapreduce/
& Nbsp; * קבל את הגישה שלך ומפתחות סודיים (ללכת לhttp://aws.amazon.com/account/ ולחץ על "אישורי אבטחה") ולהגדיר את משתני סביבת AWS_ACCESS_KEY_ID $ וAWS_SECRET_ACCESS_KEY $ בהתאם
נסה את זה!
# באופן מקומי
mrjob פיתון / דוגמאות / mr_word_freq_count.py README.md> ספירה
# על EMR
mrjob פיתון / דוגמאות / mr_word_freq_count.py README.md -r EMR> ספירה
# באשכול Hadoop שלך
mrjob פיתון / דוגמאות / mr_word_freq_count.py README.md -r Hadoop> ספירה
מתקדם לתצורה
כדי להפעיל באזורי AWS אחרים, להעלות עץ המקור שלך, להפיק לרוץ, ולהשתמש בתכונות מתקדמות אחרות mrjob, תצטרך להגדיר mrjob.conf. mrjob מחפש קובץ conf ב:
& Nbsp; * ~ / .mrjob
& Nbsp; * mrjob.conf בכל מקום בPYTHONPATH $
& Nbsp; * /etc/mrjob.conf
ראה mrjob.conf.example למידע נוסף
תכונות :.
- עבודות לרוץ על EMR, אשכול Hadoop משלך, או באופן מקומי (לבדיקה).
- כתיבת עבודות רבות שלבים (מפה אחת-להפחית צעד הזנות לתוך הבא)
- שכפל סביבת הייצור שלך בתוך Hadoop
- העלה עץ המקור שלך ולשים אותו בPYTHONPATH $ של העבודה שלך
- מאפשר להפעיל והתקנה אחרת
- משתני סביבה הוגדר (למשל TZ $)
- בקלות להתקין חבילות פיתון מחבילות (EMR בלבד)
- הגדרה טיפלה בשקיפות בקובץ config mrjob.conf
- באופן אוטומטי לפרש יומני שגיאה מEMR
- מנהרת SSH לעבודת Hadoop גשש על EMR
- התקנה מינימאלית
- כדי להפעיל על EMR, להגדיר AWS_ACCESS_KEY_ID $ וAWS_SECRET_ACCESS_KEY $
- כדי להפעיל על אשכול Hadoop שלך, להגדיר HADOOP_HOME $
תסריטים
דרישות :
- Python
תגובות לא נמצא