MDP

MDP (ערכת הכלים מודולרי לעיבוד נתונים) היא ספרייה של אלגוריתמים לעיבוד נתונים בשימוש נרחב שניתן לשלב על פי אנלוגיה צינור לבנות תוכנת עיבוד נתונים מורכבת יותר.
מנקודת המבט של המשתמש, MDP מורכב מאוסף של אלגוריתמים בפיקוח וללא השגחה למידה, ונתונים אחרים עיבוד יחידות (בלוטות) כי ניתן לשלב לתוך רצפי עיבוד נתונים (תזרים) וארכיטקטורות רשת הזנה קדימה מורכבות יותר. בהינתן קבוצה של נתוני קלט, MDP דואג רציפות אימון או ביצוע כל צמתים ברשת. זה מאפשר למשתמש להגדיר אלגוריתמים מורכבים כסדרה של צעדי עיבוד נתונים פשוטים באופן טבעי.
הבסיס של אלגוריתמים זמינים עולים בהתמדה וכולל, לשם אבל (CuBICA, FastICA, TDSEP, ירקן, וXSFA), ניתוח הנפוץ ביותר, עיקרי רכיב ניתוח (PCA וNIPALS), כמה אלגוריתמים עצמאיים ניתוח הרכיב איטי תכונה, גאוס מסווג, מוגבלת בולצמן מכונת, ומקומית לינארי הטבעה.
טיפול מסוים נלקח לעשות חישובים יעילים במונחים של מהירות וזיכרון. כדי להפחית את דרישות זיכרון, ניתן לבצע באמצעות קבוצות למידה של נתונים, ולהגדיר את הפרמטרים הפנימיים של בלוטות להיות דיוק יחיד, מה שהופך את השימוש בנתונים גדולים מאוד קובע אפשרי. יתר על כן, subpackage 'המקביל' מציע יישום מקביל של בלוטות ותזרים הבסיסיים.
מנקודת המבט של היזם, MDP הוא מסגרת שהופכת את היישום של אלגוריתמי למידה מפוקח וללא השגחה החדשות קל ופשוט. המעמד הבסיסי, 'הצומת', מטפל במשימות משעממות כמו סוג מספרי ובדיקה ממדית, שעזב את היזם החופשי להתרכז ביישום שלבי למידה וביצוע. בגלל הממשק המשותף, הצומת ולאחר מכן באופן אוטומטי משתלבת עם שאר הספרייה וניתן להשתמש בו ברשת יחד עם צמתים אחרים. צומת יכולה להיות שלבי אימון רבים, ואפילו מספר לא ידוע של שלבים. זה מאפשר היישום של אלגוריתמים שצריכים לאסוף כמה נתונים סטטיסטיים על כל הקלט לפני שתמשיך עם האימונים בפועל, ואחרים שצריכים לחזר על שלב הכשרה עד קריטריון התכנסות הוא מרוצה. היכולת להכשיר כל שלב באמצעות נתחים של נתוני קלט נשמר אם נוצרים הגושים עם & לבן. יתר על כן, התאוששות מהנפילות היא אופציונלית: במקרה של כשל, את המצב הנוכחי של התזרים נשמר לבדיקה מאוחר יותר.
MDP כבר נכתב בהקשר של מחקר תיאורטי במדעי המוח, אבל זה כבר נועד להיות מועיל בכל קשר שבו אלגוריתמים לעיבוד נתונים שאפשר לאלף משמשים. הפשטות שלו בצד יחד עם המשתמשים השימוש החוזר של בלוטות מיושמות לעשות את זה גם כלי חינוכי תקף

מה חדש בהודעה זו:.

• .
פייתון תמיכת 3
• הרחבות חדשות: מטמון ושיפוע
.
• .
הדרכה משופרת ומורחבת
• מספר שיפורים ותיקוני באגים.
• גרסה זו היא תחת רישיון BSD.

מה חדש בגרסת 2.5:

• 2009/06/30: נוסף איתור מקוון של backend המספרי , תמיכה מקבילה פיתון, backend symeig וbackend המספרי לפלט של בדיקות יחידה. אמור לעזור באיתור באגים.
• 2009/06/12:. שילוב של בלוטות הפסקת והיסטוגרמה
• 2009/06/12:. תוקן הבאג בזרימה מקבילה (טיפול בחריגים)
• 2009/06/09: תוקן הבאג בLLENode כאשר output_dim הוא לצוף. תודה לקונרד Hinsen.
• 2009/06/05:. באגים קבועים בזרימה מקבילה למתזמנים מרובים
• 2009/06/05:. תוקן באג בשכבה הפוכה, הודות לאלברטו Escalante
• 2009/04/29:. נוסף LinearRegressionNode
• 2009/03/31: PCANode לא מתלונן יותר כאשר יש מטריצת שונות משותפת ערכים עצמיים שליליים IFF svd == אמת או להפחית == נכון. אם output_dim כבר צוין יש שונות רצויים, ערכים עצמיים שליליים הם התעלמו. השתפר הודעת שגיאה לSFANode במקרה של ערכים עצמיים שליליים, עכשיו אנחנו מציעים לצרף בתחילת שורת הצומת עם PCANode (SVD = True) או PCANode (להפחית = True).
• 2009/03/26: היגר מחבילה ישן להשחלה החדשה אחד. דגל נוסף להשבית במטמון במתזמן תהליך. יש כמה שינויי שבירה למתזמנים מותאמים אישית (זרימת הכשרה או ביצוע מקביל אינה מושפע).
• 2009/03/25:. תמיכת מעקב גרסת SVN נוסף
• 2009/03/25: הוסר דגל copy_callable למתזמן, זה עכשיו הוחלף לחלוטין על ידי שופכי TaskCallable. זה אין כל השפעה לממשק ParallelFlow הנוח, אבל מתזמנים מותאמים אישית לקבל שבור.
• 2009/03/22:. במטמון שיושם בProcessScheduler
• 2009/02/22:. Make_parallel עכשיו עובד ב- מקום לחלוטין כדי לחסוך בזיכרון
• 2009/02/12:. נוסף שיטות מיכל לFlowNode
• 2009/03/03:. נוסף CrossCovarianceMatrix עם בדיקות
• 2009/02/03:. נוסף IdentityNode
• 2009/01/30:. הוסיף פונקציה עוזרת בhinet להציג ייצוג הזרימה HTML ישירות
• 2009/01/22:. אפשר output_dim בשכבה שיקבע בעצלתיים
• 2008-12-23:. נוסף total_variance לצומת nipals
• 2008-12-23:. Explained_variance להגדיר תמיד וtotal_variance לאחר אימון בPCANode
• 2008/12/12: symrand השתנה באמת לחזור מטריצות סימטריות (וברורות לא רק חיוביות). GaussianClassifierNode המותאם לדין וחשבון על כך. symrand המותאם לחזור גם מטריצות הרמיטיות מורכבות.
• 2008/12/11: קבוע בעיה אחת בPCANode (כאשר output_dim נקבע לinput_dim סך השונות טופלה כידוע). פרמטר var_part קבוע בParallelPCANode.
• 2008/12/11:. תכונת var_part נוסף לPCANode (מסנן בהתאם לשונות ביחס לabsoute שונות)
• 2008/12/04: קבוע חסר arg ציר בשיחת Amax בהדרכה. תודה לשמואל ג'ון!
• 2008/12/04: קבוע איטרטור נתונים הריק טיפול בParallelFlow. כמו כן הוסיף בדיקות איטרטור ריקות בזרימה הנורמלית (להעלות למעט אם איטרטור ריק).
• 2008/11/19: PCA השתנה וצומת SFA כדי לבדוק ערכים עצמיים negaive במטריצות Cov
• 2008/11/19: symeig המשולב בscipy, MDP יכול להשתמש בו משם עכשיו
.
• 2008/11/18:. נוסף ParallelFDANode
• 2008/11/18:. עדכון רכבת callable לParallelFlow לתמוך טענות נוספות
• 2008/11/05: השכתוב של הקוד המקביל האיפור, תומך כעת במבני hinet
.
• 2008/11/03: השכתוב של יוצר repesentation hinet HTML. למרבה הצער זה גם שובר את הממשק הציבורי, אבל השינויים הם די פשוטים.
• 2008/10/29: כבה את האזהרות שמגיעות מתהליכים מרחוק בProcessScheduler
• 2008/10/27:. בעיה קבועה עם דריסת kwargs בשיטת init של ParallelFlow
• 2008/10/24:. קבוע באג צמתים pretrained בhinet.FlowNode
• 2008/10/20:. קבוע באג קריטי ביבוא מקביל חבילה כאשר עמ '(ספריית פיתון מקבילה) מותקנת

דרישות :

• פייתון
• NumPy
• SciPy