Apache Spark

ספארק Apache נועד לשפר מהירויות עיבוד נתונים ניתוח ומניפולציה תוכניות.

הוא נכתב ב- Java ו- סקאלה ומספק תכונות שאינן נמצאות במערכות אחרות, בעיקר בגלל שהם לא מיינסטרים ולא כי שימושי עבור יישומי עיבוד שאינם נתונים.

ספארק נוצר לראשונה במעבדת ברקלי AMP ובהמשך נתרם האחד Apache Software Foundation

מה חדש במהדורה זו:.

• ניהול זיכרון מאוחד -. זיכרון משותף לביצוע במטמון במקום חלוקה הבלעדית של האזורים
• ביצועי פרקט - שיפור ביצועי פרקט סריקה בעת שימוש סכימות שטוחות
.
• שיפור המתכנן שאילתה עבור שאילתות שיש מצבורים ברורים -. תוכניות שאילתות של מצבורים ברורים הם חזקים יותר כאשר עמודות נפרדות, גבוהה הניתנות
• ביצוע השאילתה מסתגלת -. תמיכה ראשונית אוטומטי בחירת מספר הילוכים עבור מצטרף וסיכומים
• הימנעות מסננת כפול API מקור נתונים -. כאשר יישום מקור נתונים עם pushdown המסנן, מפתחים יכולים כעת לומר ספארק SQL להימנע כפול הערכת מסנן דחף למטה
• Fast null-בטוח מצטרף - מצטרפת באמצעות שוויון null-בטוח (& # x3c; = & # x3e;) כעת לבצע באמצעות SortMergeJoin במקום מחשוב מוצר cartisian
.
• בתוך הזיכרון עמודי מטמון ביצועים - משמעותית (עד 14x) לזרז כאשר במטמון נתונים המכיל סוגים מורכבים DataFrames או SQL
.
• ביצוע SQL באמצעות Off-היפ זיכרון - תמיכה להגדרת ביצוע השאילתה להתרחש באמצעות מחוץ ערימה זיכרון להימנע תקורה GC

מה חדש בגרסת 1.5.2:

• API הליבה תומך כעת עצי צבירה מרובות רמות כדי לעזור לזרז יקר לצמצם את פעילותה.
• דיווח שגיאות משופרות נוסף לפעילות תפסה אותך מסוימת.
• תלות מזח של ספארק מוצללת עכשיו כדי לעזור למנוע התנגשויות עם תוכניות משתמש.
• ספארק עכשיו תומך בהצפנת SSL עבור חלק נקודות קצה תקשורת.
• מדדים GC זמן אמת וספירת שיא נוספו לממשק המשתמש.

מה חדש בגרסת 1.4.0:

• API הליבה תומך כעת עצי צבירה מרובות רמות כדי לעזור לזרז יקר לצמצם את פעילותה.
• דיווח שגיאות משופרות נוסף לפעילות תפסה אותך מסוימת.
• תלות מזח של ספארק מוצללת עכשיו כדי לעזור למנוע התנגשויות עם תוכניות משתמש.
• ספארק עכשיו תומך בהצפנת SSL עבור חלק נקודות קצה תקשורת.
• מדדים GC זמן אמת וספירת שיא נוספו לממשק המשתמש.

מה חדש בגרסת 1.2.0:

• מפעיל מיון PySpark תומך כעת שפיכה חיצונית עבור מערכי נתונים גדולים .
• PySpark תומך כעת המשתנה שידור גדול יותר מאשר 2GB ומבצע שפיכה חיצונית במהלך מיני.
• ספארק מוסיף דף התקדמות עבודה ברמת ספארק UI, ממשק תכנות יישומים יציב לדיווח התקדמות, ועדכון דינמי של מדדי פלט כעבודות מלאים.
• ספארק עתה תמיכה לקריאת קבצים בינאריים עבור תמונות ותבניות בינאריים אחרים.

מה חדש בגרסת 1.0.0:

• גרסה זו מרחיבה ספריות הסטנדרטיות של ספארק, החדרה חדשה SQL חבילה (SQL ספארק) המאפשר למשתמשים לשלב שאילתות SQL לתוך זרימות עבודה ספארק קיימים.
• MLlib, ספריית למידת מכונה של ספארק, מורחב עם תמיכת וקטור דלילה וכמה אלגוריתמים חדשים.

מה חדש בגרסת 0.9.1:

• באג התנגשות חשיש קבוע ב שפיכה חיצונית
• סכסוך קבוע עם של log4j ספארק למשתמשים להסתמך על Backends רישום אחר
• קבוע Graphx חסר מצנצנת הרכבת ספארק ב מייבן בונה
• כשלים שקטים קבועים בשל מפת הסדר פלט עולה עכו גודל מסגרת
• התלות הישירה המיותרת של ספארק הוסר על ASM
• הוסרו מדדים-גרעינים מן לבנות מחדל בשל סכסוך רישיון LGPL
• תוקן באג ב tarball הפצה שאינו מכיל ניצוץ הרכבת צנצנת

מה חדש בגרסת 0.8.0:

• פיתוח עבר קרן האפצ'י Sowftware כקובץ פרויקט חממה.

מה חדש בגירסה 0.7.3:

• ביצועים פייתון: מנגנון של ספארק עבור ההשרצה פייתון מכונות וירטואליות יש שופר לעשות זאת מהר יותר כאשר יש JVM גודל גל גדול, זירוז API Python.
• Mesos פותר: קנקנים הוסיפו לעבודתך עכשיו יהיו על classpath כאשר deserializing תוצאות משימת Mesos
.
• דיווח שגיאה:. דיווח שגיאות טוב יותר שאינו serializable חריג מדי תוצאות משימה גדולות
• דוגמאות:. נוסף דוגמא עיבוד זרם מצבים עם updateStateByKey
• Build:. ספארק הזרמת כבר לא תלוי ריפו Twitter4J, שאמור לאפשר לה לבנות בסין
• תיקוני באגים ב foldByKey, ספירת זרימה, שיטות סטטיסטיקה, תיעוד האינטרנט UI.

מה חדש בגרסת 0.7.2:.

• גרסת סקאלה מעודכנת 2.9.3
• מספר שיפורים בייגל, כולל תיקוני ביצועים ברמת אחסון להגדרה.
• שיטות API חדש:. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition, ואחרים
• מדדי ממשק חדשים לדיווח, SparkListener, כדי לאסוף מידע על כל שלב חישוב:. המשימה אורכי, הבתים דשדשו, וכו
• דוגמאות חדשות אחדות באמצעות API Java, כולל K-אמצעי pi מחשוב.

מה חדש בגירסה 0.7.0:

• ספארק 0.7 מוסיף API פייתון הנקראות PySpark <. / li>
• משרות ספארק עכשיו להשיק לוח המחוונים אינטרנט לניטור השימוש בזיכרון של כל מערך נתונים מבוזרים (RDD) בתוכנית.
• ספארק כעת ניתן נבנה באמצעות מייבן בנוסף SBT.

מה חדש בגרסת 0.6.1:

• קבוע מדי הודעה אגרסיבית זמן קצוב לתפוגה עלול לגרום לעובדים להתנתק באשכול.
• תוקן באג במצב לפרוס העצמאי שלא לחשוף את שם המחשב המארח כדי מתזמן, המשפיעים יישוב HDFS.
• שימוש חוזר חיבור משופר ב דשדוש, אשר יכול להאיץ במידה ניכרת את מדשדש קטן.
• תוקנו כמה אפשרות של חסימות במנהל הבלוק.
• תוקן באג מקבל תעודות זהות של מארחים נכשלו מן Mesos.
• שיפורי תסריט מספר EC2, כמו טיפול טוב יותר של מקרי נקודה.
• Made לכתובת ה- IP המקומית כי ספארק נקשר להתאמה אישית.
• תמיכה עבור הפצות 2 Hadoop.
• תמיכה לאיתור סקאלה על הפצות דביאן.

מה חדש בגירסה 0.6.0:.

• פריסה פשוטה
• התיעוד של ספארק הורחב עם מדריך התחלה חדש מהיר, הוראות פריסה נוספות, מדריך תצורה, כוונון מדריך, ותיעוד API Scaladoc משופר.
• מנהל תקשורת חדש באמצעות אסינכרוני Java NIO מאפשר פעולות דשדוש לרוץ מהר יותר, במיוחד בעת שליחת כמויות גדולות של נתונים או כאשר יש עבודת משימות רבות.
• מנהל אחסון חדש תומך שידורים במערך הגדרות ברמת האחסון (למשל האם להשאיר את בסיס הנתונים בזיכרון, deserialized, בדיסק, וכו ', או אפילו משוכפל פני צמתים).
• באגים משופרים.