Apache Hadoop בתחילה פותח על ידי יאהו הפרויקט הוא שילוב בין Core Hadoop Apache הקודם ו- Apache Hadoop הנפוצה Repos.
פרויקט Hadoop צבר הרבה גנאי בזכות התוצאות המצוינות שלה ביישום מערכת מחשוב מבוזר מרובות שרתים לטיפול כמויות עצומות של נתונים.
הפרויקט עצמו מורכב למעשה מארבעה חלקים. אחד משותף Hadoop, הליבה שנקרא המאפשר כל המודולים האחרים לעבוד, והשני הוא שמערכת הקבצים שלו עצמו מאוד - HDFS (מערכת קבצים מבוזרת Hadoop), והשלישי הוא מסגרת תזמון חוט Hadoop, ולבסוף יש את מערכת MapReduce Hadoop משען מחשוב מקביל.
שימוש אלה מערכת פורצת הדרך, את האפצ'י הצליח ליצור פרויקטי לוואים רבים אחרים, כמו:
- Apache Ambari
- Apache אברו
- Apache קסנדרה
- Apache HBase
- כוורת Apache
- Apache נֶהַג פִּיל
- חזיר Apache
- ספארק Apache
- Apache Tez
- Apache Zookeeper
כל אלה מסתמכים על מנוע עיבוד נתונים החזק של Hadoop או התכונות מחשוב מבוזר שלה, שילוב אחד המודולים שלה בצורה זו של הליבה שלהם או האחרת.
מה חדש בהודעה זו:
- תמיכה עבור ארכיוני אחסון
- נתונים שקופים ב הצפנת שאר (בטא)
- הפעלה מאובטחת DataNode ללא צורך גישה שורש
- כונן החלפה חם: תמיכת הוספה / סרה של כרכי צומת נתונים מבלי להפעיל מחדש את צומת נתונים (בטא)
- תמיכת AES להצפנת חוט מהר
- תמיכה עבור שירותי ריצה ארוכים חוט
- תוויות צומת תמיכה במהלך תזמון
- תמיכה להזמנות משאב מבוסס זמן מתזמן קיבולת (בטא)
- Global, מטמון משותף חפצי יישום (בטא)
- ריצת תמיכה של יישומים מקוריים דוקר מכולות (אלפא)
מה חדש בגירסה 2.7.1:
- תמיכה עבור ארכיוני אחסון
- נתונים שקופים ב הצפנת שאר (בטא)
- הפעלה מאובטחת DataNode ללא צורך גישה שורש
- כונן החלפה חם: תמיכת הוספה / סרה של כרכי צומת נתונים מבלי להפעיל מחדש את צומת נתונים (בטא)
- תמיכת AES להצפנת חוט מהר
- תמיכה עבור שירותי ריצה ארוכים חוט
- תוויות צומת תמיכה במהלך תזמון
- תמיכה להזמנות משאב מבוסס זמן מתזמן קיבולת (בטא)
- Global, מטמון משותף חפצי יישום (בטא)
- ריצת תמיכה של יישומים מקוריים דוקר מכולות (אלפא)
מה חדש בגירסה 2.7.0:
- תמיכה עבור ארכיוני אחסון
- נתונים שקופים ב הצפנת שאר (בטא)
- הפעלה מאובטחת DataNode ללא צורך גישה שורש
- כונן החלפה חם: תמיכת הוספה / סרה של כרכי צומת נתונים מבלי להפעיל מחדש את צומת נתונים (בטא)
- תמיכת AES להצפנת חוט מהר
- תמיכה עבור שירותי ריצה ארוכים חוט
- תוויות צומת תמיכה במהלך תזמון
- תמיכה להזמנות משאב מבוסס זמן מתזמן קיבולת (בטא)
- Global, מטמון משותף חפצי יישום (בטא)
- ריצת תמיכה של יישומים מקוריים דוקר מכולות (אלפא)
מה חדש בגירסה 2.6.0:
- תמיכה עבור ארכיוני אחסון
- נתונים שקופים ב הצפנת שאר (בטא)
- הפעלה מאובטחת DataNode ללא צורך גישה שורש
- כונן החלפה חם: תמיכת הוספה / סרה של כרכי צומת נתונים מבלי להפעיל מחדש את צומת נתונים (בטא)
- תמיכת AES להצפנת חוט מהר
- תמיכה עבור שירותי ריצה ארוכים חוט
- תוויות צומת תמיכה במהלך תזמון
- תמיכה להזמנות משאב מבוסס זמן מתזמן קיבולת (בטא)
- Global, מטמון משותף חפצי יישום (בטא)
- ריצת תמיכה של יישומים מקוריים דוקר מכולות (אלפא)
מה חדש בגירסה 2.5.0:.
- שיפורים אימות בעת שימוש בשרת פרוקסי HTTP
- כיור חדש Hadoop מדדים המאפשרים כתיבה ישירות גרפיט.
- מפרט עבור מאמץ מערכת קבצים תואם Hadoop.
- תמיכה עבור תכונות מורחבות קבצי POSIX בסגנון.
- OfflineImageViewer לגלוש fsimage דרך ממשק ה- API WebHDFS.
- שיפורי יכולת תמיכה ותיקוני באגים אל שער NFS.
- מודרני אינטרנט ממשקי משתמש (HTML5 ו- JavaScript) עבור דמונים HDFS.
- תמיכה בממשקי API REST של חוט הגשת והרג יישומים.
- אינטגרצית Kerberos עבור לחנות ציר הזמן של החוט.
מה חדש בגירסה 2.4.0:
- תמיכה עבור רשימות בקרת גישה ב HDFS
- תמיכה מובנית עבור שדרוגים, מתפלש HDFS
- שימוש של מאגרי פרוטוקול HDFS FSImage עבור שדרוגים תפעוליים חלקים
- תמיכת HTTPS שלמה HDFS
- תמיכה האוטומטית Failover של החוט ResourceManager
- תמיכה משופרת עבור יישומים חדשים על חוט עם שרת היסטוריה יישום ויישום ציר שרת
- תמיכה עבור מחלקות רישוי חזקים חוט CapacityScheduler באמצעות פעולות מנעו
מה חדש בגירסה 2.3.0:.
- תמיכה עבור היררכיה אחסון הטרוגני HDFS
- In-זיכרון מטמון עבור נתונים HDFS עם ניהול מרכזי וניהול.
- פשוטה הפצה של קבצים בינאריים MapReduce באמצעות HDFS חוט Distributed Cache.
מה חדש בגירסה 2.2.0:
- חוט - מערכת ניהול משאבים למטרות כלליות עבור Hadoop כדי לאפשר MapReduce ומסגרות ושירותים אחרים לעיבוד נתונים אחרים
- זמינות גבוהה עבור HDFS
- HDFS הפדרציה
- HDFS מול המצלמה
- גישה NFSv3 לנתונים HDFS
מה חדש בגירסה 2.1.0-בטא:
- HDFS מול המצלמה
- תמיכה להפעלת Hadoop על Microsoft Windows
- ייצוב API חוט
מה חדש בגירסה 2.0.3-אלפא:
- QJM עבור HDFS HA עבור NameNode
- תזמון רב-משאב (מעבד וזיכרון) עבור חוט
- חוט ResourceManager הפעל מחדש
- יציבות מובהקת בהיקף עבור חוט (מעל 30,000 צמתים ו -14 מ'בקשות עד כה, בשלב של שחרור)
מה חדש בגירסה 1.0.0:.
- Better אבטחה
- HBase (הוספה / hsynch / hflush, וביטחון).
- webhdfs (עם תמיכה מלאה ביטחון).
- גישה משופרת ביצועים לקבצים מקומיים עבור HBase.
- שיפורי ביצועים אחרים, תיקוני באגים ותכונות.
מה חדש בגרסת 0.20.2:
- RPC שירת לשלוח חיץ שומר גודל התגובה הגדולה ביותר אי פעם נשלח.
- C ++ וספריות אינם בונים על דביאן לני.
- חלק ג ++ הסקריפטים אינם chmodded לפני ביצוע נמלה.
- הזרמה:. הודעות מצב הניתן תהליך מוחלפים כל 10 seoncds
- IllegalArgumentException כאשר CombineFileInputFormat משמש העבודה InputFormat.
- באגים מרובים w / Hadoop הארכיונים.
- אפשר במטמון של מקרים הקבצים כמבוטל על בסיס לכל מקרה.
- חסר סינכרון עבור defaultResources ב Configuration.addResource.
- GzipCodec לא צריך לייצג BuiltInZlibInflater כמו decompressorType.
- NameNode של HttpServer לא יכול מופע InetSocketAddress: IllegalArgumentException נזרק .
- HttpServer שוכבת עם ערכים שליליים.
- Namenode פועל של מחסור בזיכרון בשל דליפת זיכרון ב- Server IPC.
- באג הלקוח IPC עלול לגרום שיחת RPC לתלות.
- בדיקות משנכשל למנוע שאר מטרות הבדיקה מהליכי הוצאה.
- בדיקות contrib נכשלים Clover'ed לבנות.
- בדיקות לא לרוץ על 0.20 הסניף.
- TestStreamingStatus היא כושלת על 0.20 הסניף.
תגובות לא נמצא