Apache Spark

• באג התנגשות חשיש קבוע בשפיכה חיצונית
>
• סכסוך קבוע עם log4j של ספארק למשתמשים מסתמכים על מסדי רישום אחרים
• Graphx הקבוע חסר צנצנת הרכבה הניצוץ בMaven בונה
• כישלונות שקטים קבועים בשל למפות מצב תפוקה עולה גודל מסגרת עכו
• התלות של ספארק הוסר מיותרת ישירה על ASM
• הוסרו מדדים-הגרעינים מהצטברות ברירת מחדל בשל סכסוך רישיון LGPL
• תוקן הבאג בtarball הפצה לא מכיל צנצנת ניצוץ הרכבה

מה חדש בגרסת 0.8.0:

• הפיתוח עבר לקרן האפצ'י Sowftware כ פרויקט חממה.

מה חדש בגרסת 0.7.3:

: יש המנגנון של ספארק להשרצת פייתון מכונות וירטואליות שופר לעשות זאת מהר יותר כאשר יש JVM גודל ערימה גדול, זרוז API פייתון.
• Mesos מתקן: צנצנות הוסיפו לעבודה שלך עכשיו תהיינה על classpath כאשר deserializing תוצאות משימה בMesos
.
• דיווח שגיאה:.
דיווח שגיאות טוב יותר לחריגים שאינם serializable ותוצאות משימה גדולות מדי
• דוגמאות:. נוסף דוגמא לעיבוד זרם stateful עם updateStateByKey
• Build:. ספארק הזרמת כבר לא תלויה בריפה Twitter4J, שאמור לאפשר לו לבנות בסין
• תיקוני באגים בfoldByKey, ספירת הזרמה, שיטות סטטיסטיות, תיעוד, וממשק משתמש אינטרנט.

מה חדש בגרסת 0.7.2:.

• גרסה מעודכנת לסקאלה 2.9.3
• מספר שיפורים בייגל, כולל תיקוני ביצועים ורמת אחסון להגדרה.
• שיטות API חדשות:. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition, ואחרים
• מדדי ממשק חדשים לדיווח, SparkListener, כדי לאסוף מידע על כל שלב חישוב:. אורכי משימה, הבתים דשדשו, וכו '
• כמה דוגמאות חדשות באמצעות API Java, כולל K-אמצעי וpi מחשוב.

• ספארק 0.7 מוסיף API פייתון נקרא PySpark <. / Li>

• עבודה ספארק עכשיו להשיק לוח מחוונים אינטרנט לניטור השימוש בזיכרון של כל בסיס הנתונים מופצים (RDD) בתכנית.
• ספארק כעת ניתן נבנה באמצעות Maven בנוסף לSBT.

מה חדש בגרסת 0.6.1:

הודעה אגרסיבית מדי קבועה קצובה שיכול לגרום לעובדים ל להתנתק מהאשכול.
• תוקן באג במצב הפריסה העצמאי שלא לחשוף את שמות מארחים למתזמן, המשפיע על יישוב HDFS.
• שימוש חוזר חיבור משופר בדשדוש, אשר מאוד יכול להאיץ את מדשדש קטן.
• כמה אפשרות של חסימות קבועה במנהל הבלוק.
• תוקן באג מקבל את תעודות הזהות של מארחים נכשלו מMesos.
• שיפורי תסריט EC2 כמה, כמו טיפול טוב יותר של מקרי נקודה.
• Made את כתובת ה- IP המקומית הניצוץ שנקשר להתאמה אישית.
• תמיכה עבור Hadoop 2 הפצות.
• תמיכה באיתור סקאלה על חלוקת דביאן.

מה חדש בגרסה 0.6.0:.

פריסה פשוטה
• התיעוד של ספארק הורחב עם מדריך חדש להתחלה מהירה, הוראות פריסה נוספות, מדריך תצורה, מדריך לכוונון, ותיעוד API Scaladoc משופר.
• מנהל תקשורת חדש באמצעות אסינכרוני Java NIO מאפשר פעולות דשדוש לרוץ מהר יותר, במיוחד בעת שליחת כמויות גדולות של נתונים או כאשר יש להם עבודה משימות רבות.
• מנהל אחסון חדש תומך לכל מערך הגדרות רמת אחסון (למשל, אם כדי לשמור על בסיס הנתונים בזיכרון, deserialized, על דיסק, וכו ', או אפילו משוכפל פני צמתים).
• .
ניפוי משופר