DataCleaner

DataCleaner הוא קוד פתוח פתרון חופשי לגמרי עבור ארגונים ועסקים המעוניינים להגדיל ולמדוד את איכות הנתונים שלהם.

עם DataCleaner, משתמשים יוכלו פרופיל, להשוות, לאמת נתונים נגד חוקים עסקיים, ולפקח על ההתקדמות של מדידות אלה לאורך זמן.

בין התכונות שלו, אנחנו יכולים לדבר ניטור נתונים, פרופיל נתונים וניתוח DQ, טיוב והעשרת נתונים, לזהות ולמזג כפילויות, איכות נתוני הלקוחות, כמו גם סופר מהיר ETLightweight (חלץ-Transform-Load).

למידע נוסף אודות הפונקציות של DataCleaner ויכול, כמו גם איך לעבוד עם זה, עיין http://eobjects.dk/docs

What חדש בהודעה זו:

• שיפורים ותכונות חדשות:
• ביצענו אפשר ליצור ושחרר שולחנות באמצעות ממשק המשתמש של שולחן העבודה של DataCleaner. ראוי לציין, כי המונח & quot; שולחן & quot; כאן למעשה מכסה יותר מ שולחנות מסדי נתונים יחסיים רק. זה כולל גם פחים ב ומאגרי נתונים MS Excel, אוספים ב MongoDB, סוגי מסמך ב CouchDB ו ElasticSearch וכן הלאה ... בעיקרון כל סוגי מאגר נתונים התומכים מחיקות מפעילות למעט מאגרי נתונים יחיד שולחן כגון מאגרי נתונים CSV, תומך בפונקציונליות זו! הפונקציונליות חשופה באמצעות:
• & quot; יצירת טבלה & quot; להפעילה באמצעות תפריט הלחיצה הימנית של סכמות בעץ בצד שמאל של היישום.
• & quot; יצירת טבלה & quot; גם להפעילה באמצעות תשומות השולחן-מבחר רכיבים כגון הכנס לתוך השולחן, בדיקת שולחן ושולחן Update.
• & quot; זרוק שולחן & quot; להפעילה באמצעות תפריט הלחיצה הימנית של שולחנות בעץ בצד שמאל של היישום.
• הוספנו את (אופציונלית) היכולת של ציון שירות האינטרנט Salesforce.com שלך URL Endpoint. זה מאפשר לך להשתמש DataCleaner לצורך חיבור לסביבות ארגז החול של Salesforce.com, כמו גם לנקודות קצה מותאמות אישית משלך.
• תמיכת ElasticSearch שופרה, המאפשר מיפויים מותאמים אישית כמו גם שימוש חוזר להגדרות מאגר נתוני ElasticSearch עכשיו גם לחיפוש ויצירת אינדקס.
• הדגימה של רשומות וגיוס כוח הכפילויות פוטנציאליות פונקציית זיהוי שכפל שופרתה, שמוביל תצורה מהר כי ההחלטות שהתקבלו במהלך האימון מייצגות יותר.
• פורמט קובץ מודל האיתור שהכפל עודכן אשר הסיר את צורך קובץ 'הפניה' נפרד כדי להציל החלטות אימון בעבר. תאימות עם במתכונת הישנה נשמרה, אך באמצעות הפורמט החדש מוסיפה יתרונות רבים עבור חוויית המשתמש.
• תיקוני באגים:
• בעיית רעב חוט נקבעה צג DataCleaner. ההשפעה של הנושא הזה הייתה נהדרת, אבל זה קרה רק במקרים נדירים מאוד אישיים. אם מאזין מנהג אובייקטים על מסך DataCleaner יזרוק שגיאה, יביא דבר משאב לא ששוחרר מעלה תופס חוט ממאגר קוורץ-התזמון בשרת. אם זה היה קורה פעמים רבות לשרת בסופו של דבר יכול להיגמר של אשכולות בברכה הזאת.
• התפריט האנכי על מסך התוצאה עכשיו הוא עושה עבודה ראויה להציג את תוויות המרכיבים שיש תוצאות. הדבר מקל להכיר בה הניקוד פריט בתפריט לפריט מה התוצאה.

מה חדש בגירסה 3.5.5:

• השינוי 'בדיקת נרדף' עכשיו יש אפשרות לחפש כל אסימון של הקלט. אפשרות זו שימושית אם אתה עושה החלפת מילים נרדפות בטווח הערכים של שדה טקסט ארוך.
• חסימת ביצוע עבודות DataCleaner דרך שירות האינטרנט של הצג לכך לפעמים יכולה להיכשל עם באג שנגרם על ידי חוט החסימה. בעיה זו תוקנה.
• שיפור נעשה משרות הדרך ואת הרצף של רכיבים סגורים / ניקה אחרי ביצוע.
• JNLP / Java WebStart גרסה של DataCleaner נחשף על ידי באג זמן ריצה ג'אווה גרימת קבצי JAR מסוימים לא להיות מוכר על ידי משגר WebStart, בנסיבות מסוימות. בעיה זו תוקנה על ידי ביצוע שינויים קלים לאלה קבצי JAR.
• כמה לינקים מתים בתיעוד נקבע.

מה חדש בגירסה 3.5.4:

• עכשיו זה אפשרי להסתיר עמודות פלט של טרנספורמציות . הסתרה לא תשפיע על זרימת העיבוד בכלל, אלא פשוט להסתיר אותם מממשק המשתמש, ובכך באופן פוטנציאלי מה שהופך את חוויית יותר נקיה, בעת אינטראקציה עם רכיבים אחרים.
• שירות האינטרנט חדש נוסף לבקשת ניטור האינטרנט, המספקת דרך מתשאל את מעמדו של ביצוע עבודה מסוימת.
• הבאג תוקן, בגרימת דוח HTML להיכשל עבור סוגים מסוימים ניתוח כשאף רשומות עבר את שלבי.
• ו- 6 באגים קטנים אחרים כבר adressed.

מה חדש בגירסה 3.5.1:

• לכידת מחליף תקליטים:
• מסנן חדש התווסף לאפשר עיבוד מצטבר של רשומות שלא עובדו קודם לכן, למשל, עבור פרופיל או העתקה רשומה שונה בלבד. השם של המסננים החדשים הוא לכידת מחליף תקליטים, בהתייחסו למושג לכידת נתוני שינוי.
• ביצוע בתור משרות:
• הצג DataCleaner יהיה עכשיו תור לביצוע אותה העבודה, אם הגירוי מספר פעמים. הדבר מבטיח כי אתה בטעות לא להפעיל את אותה עבודה במקביל דבר שעלול להוביל לכל מיני בעיות, תלוי מה העבודה עושה.
• מינור תיקוני באגים:
• תיקוני באגים מספר יושם.

מה חדש בגירסה 3.5:

• כמה מכשפים זמינים כעת עבור רישום מאגרי נתונים; קובץ-upload כולל לשרת עבור קבצי CSV, כניסת חיבור מסד נתונים, רישום מודרך אישורי Salesforce.com ועוד.
• המכשפים בניין עבודה גם שהורחבו עם כמה תכונות משופרות; בחירת הפצת ערך דפוס מציאת שדות באשף הניתוח המהיר, קוסם חדש לחלוטין ליצירת מקומות עבודת טיהור לקוחות המבוסס EasyDQ ו קוסמים עבודה חדשה לירי עבודות שילוב נתוני Pentaho (קרא עוד להלן).
• אתה יכול עכשיו Ad-Hoc Query כל מאגר נתונים ישירות בממשק המשתמש באינטרנט. זה עושה את זה קל להשיג תובנה מהירות או ספורדי לתוך הנתונים ללא הגדרת משרות או גישות הצליחו אחרים של עיבוד הנתונים.
• לאחר עבודות או מאגרי נתונים נוצרים, המשתמש מונחה לפעול עם האובייקט החדש שנבנה. למשל, אתה יכול מהר מאוד לרוץ עבודה מיד אחרי שזה בנוי, או לבצע שאילתה מאגר נתונים לאחר שהוא נרשם.
• מנהלי מערכת יכולים כעת ישירות להעלות משרות למאגר, וזה נוח במיוחד אם אתה רוצה יד לערוך את תוכן ה- XML ​​של קבצי עבודה.
• הרבה של cruft הטכנית עכשיו חבוי לטובת מראה דיאלוגים פשוטים. למשל, כאשר עבודה מופעלת אינדיקטור טעינה גדול מוצג, וכאשר סיים את התוצאה יוצגה. מסך הרישום המתקדם שהיה בעבר עדיין יכולות להיות מוצג על לחיצה על קישור לפרטים נוספים.

מה חדש בגירסה 3.1.2:

• הוספנו שירות אינטרנט ניטור בקשה מקבלת (רשימה) וערכים. זה הופך את ניטור אפילו יותר שמיש כרכיב תשתית מפתח, כדרך לפקח נתונים (איכות) ולחשוף את התוצאות של יישומי צד שלישי.
• המרכיב 'בדיקת שולחן' שופר על ידי הוספת להצטרף סמנטיקה כמאפיין להגדרה. השימוש להצטרף סמנטיקה אתה יכול לצבוט אם ברצונך שהחיפוש לעבוד סמנטי כמו LEFT JOIN או מאפיין Inner Join.
• רכיבי EasyDQ שודרגו, הוספת אפשרויות תצורה נוספות וממשק תוצאת מניעת כפילויות עשיר יותר.
• שיפורי ביצועים כבר התמקדות ספציפית של מהדורה זו. שיפורים נעשו במנוע של DataCleaner להמשיך לנצל גישה עיבוד הזרמת במקרים בפינה מסוימת שלא היה מכוסה בעבר.

מה חדש בגרסת 3.1.1:

• תאריך אפשרויות ניתוח הקשורים זמן הורחבו , הוספת מנתחי הפצה עבור מספרי שבועות, חודשים ושנים. כל המנתחים הקשורים תאריך והשעה עכשיו מקובצים בתוך תפריט משנה בשם & quot; תאריך ושעה & quot; תחת & quot; לנתח & quot;.
• אופציונלי & quot; סטטיסטיקה תיאורית & quot; אפשרות נוספה מנתח המספר ואת מנתח תאריך / שעה. אפשרות זו מוסיפה ערכים נוספים לתוצאות מפענחות אלה, כמו חציון, הטיה, עשירונים ו kurtosis. מדדים אלה הם אופציונליים מאז טביעת רגל הזיכרון שלהם היא קצת יותר גדולה מהערכים הקיימים.
• הקווים במצעד ציר הזמן של יישום אינטרנט ניטור עכשיו יש נקודות קטנות בהם. אפשרות זו שימושית במיוחד עבור תרשימי עם כמה (או אפילו רק אחד) תצפיות בהם -. להצביע בדיוק היכן נקודות תצפית הם
• מנתח השאילתה כאשר שאילתות אד-הוק פנייה גם שופרו באופן משמעותי. עכשיו שאילתות יכולות להכיל סעיפי DISTINCT, * -wildcards, subqueries והם עמידים בפני תקלות כלפי נושאים לגופו טקסט.
• שני שנאים חדשים נוספו להפקת UUIDs ו להפקת חותמות זמן.

מה חדש בגירסה 3.1:

• נוסחאות מטרי - פירט נתוני איכות KPIs:
• עכשיו זה אפשרי לבנות הרבה יותר לפרט נתוני איכות KPIs ביישום אינטרנט ניטור של DataCleaner. ממשק המשתמש מאפשר לך לבנות נוסחאות מורכבות בסגנון הנוסחה גיליון אלקטרוני דמוי; באמצעות משתנים שנגבו על ידי עבודות DataCleaner.
• נוסחאות מטרי ניתן לשלב מספר רב של מדדים, קבועים ופעולות, כל עוד הוא יכול לבוא לידי ביטוי משוואה מתמטית.
• לדוגמה - למדוד את הקצב רשום כפולות אחוז ספירת השיא המוחלטת. או למדוד את כמות קודי מוצר שמתאימה סט של תבניות מחרוזת מרובות.
• אד-הוק שאילתות - של כל מאגר נתונים:
• עם DataCleaner 3.1 עכשיו אתה יכול לבצע שאילתות אד-הוק לכל מאגר נתונים! ניתן לבטא שאילתות ב- SQL רגיל וייושם למאגרי כמו גם קבצים, מסדי נתונים NoSQL ועוד, מתן מנגנון שאילתה מועיל באמת להאריך לתוך החוויה פרופיל גילוי הנתונים שלך.
• אפשרות השאילתה זמינה גם באמצעות שירות אינטרנט ניטור למשתמשים את תפקיד הניהול. השאילתה מסופקת כפרמטר HTTP או גוף POST, והתוצאה מסופקת כטבלת XHTML.
• matcher ערך - אפשרות ניתוח חדשה:
• פעמים רבות יש לך רעיון מוצק שעליו ערכים יש לאפשר וצפויות בתחום מסוים. בשנת DataCleaner שם תמיד היה האופציה ניתוח התפלגות ערך אשר יעזור לך לתבוע את ההנחות שלך. בשנת DataCleaner 3.1 אם כי, יש לך הצעה מדויקת יותר - matcher ערך. אפשרות ניתוח זה מאפשרת לך לציין קבוצה של ערכים צפויים ולאחר מכן לבצע חלוקת ערך כמו ניתוח, במיוחד כדי לאמת ולזהות ערכים בלתי צפויים.
• העתקה, מחיקה וניהול של עבודות:
• ניהול משרות ותוצאות ביישום צג DataCleaner שופר מאוד. עכשיו אתה יכול ללחוץ על עבודה בדף התזמון של הצג, ולמצוא אפשרויות ניהול זמינות לפעולות כגון שינוי שם, העתקה, מחיקה ועוד. כל פעולה מכבדת את הקשרים כדי וממצאים אחרים בצג, כגון תוצאות ניתוח, לוחות זמנים ועוד. משמעות הדבר היא כי ניהול של מאגר הניטור הפך הרבה יותר קל ובוגר.
• ניהול היסטוריית איכות הנתונים:
• לפעמים אתה פונה מצבים שבהם אתה באמת רוצה לעשות ניטור עם נתונים היסטוריים! זה יכול להיות שיש לך מצבורי היסטורי או גיבויים של מסדי נתונים, אשר ברצונך להראות ולספר את הסיפור. עכשיו אתה יכול לעשות ניתוח של נתונים היסטורי זה, להעלות אותו לצג DataCleaner, ושימוש שירות אינטרנט חדש, להגדיר נתונים היסטוריים של תוצאת חיפוש זו ניתוח מסוים. משמעות הדבר היא כי צירה הזמן שלך כמו שצריך יהיה להתוות את התוצאות באמצעות לתאריך המתוכנן שלהם, אבל עם התוצאות כי שתאספו אולי בנקודה מאוחרת יותר בזמן.
• תמיכה מתזמנת באשכול (EE בלבד):
• המתזמן של צג DataCleaner כבר מוחצן, כך שהוא יכול להיות מוחלף על ידי אמצעי תצורה פשוטה. ב Enterprise Edition (EE) של DataCleaner, אנו מספקים מתזמן אשכולות, מתן היכולת לטעון איזון ולהפיץ להורג שלך באשכולי מכונות.
• חד signon (SSO) באמצעות CAS (EE בלבד):
• Enterprise Edition (EE) של DataCleaner אנו כעת לספק אופציה חד signon עבור יישום הצג. עכשיו DataCleaner יכול להיות חלק משולב של תשתית ה- IT שלך, גם ביטחונית.
• ... והרבה יותר:
• האמור לעיל הוא רק סיכום. למעלה משלושים בעיות נפתרו במהדורה זו. פתרנו מספר בקשות מאגף בפורומי הקהילה, ואנו ממליצים לכולם להשתמש במדיום הזה כרכב לשינוי. אנחנו מאוד שמחים לעשות את הפיתוח של DataCleaner להיות מושפע מאוד זרמים בקהילה.

מה חדש בגירסה 3.0.3:

• הוספת שירות עבור שינוי שם עבודות במאגר ניטור .
• אתה יכול לגשת זה כשירות רשת נינוחה או אינטראקטיבי בממשק המשתמש.
• שירות אינטרנט נוסף לשינוי התאריך ההסטורי של תוצאת ניתוח במאגר הניטור.
• יישום האינטרנט נעשה תואם מכולות JSF מורשת.
• הטמנה של תצורה ב- יישום אינטרנט השתפר מאוד, מה שמוביל פעמים אתחול עבודה טעינת הדף מהר יותר.

מה חדש בגירסה 3.0.2:

• כאשר מפעילה עבודה ביישום אינטרנט ניטור, בלוח מתרענן אוטומטית בכל שנייה כדי לקבל את המדינה האחרונה של ביצוע.
• מאגרי נתונים מבוססי קבצים (כגון גיליונות אלקטרוניים CSV או Excel) עם שבילי המוחלט עכשיו נפתרים בצורה נכונה ביישום ניטור האינטרנט.
• & quot; בחר ממפתח / ערך המפה & quot; שנאי תומך כעת ביטויים בחר מקוננות כמו & quot; Address.Street & quot; או & quot; OrderLines [0] .product.name & quot;.
• מנגנון בדיקת שולחן ממוטבים עבור ביצועים, באמצעות הצהרות בעת הפעלת מול מסדי נתונים JDBC.
• מנהלי מערכת יכולים כעת להוריד מאגרי נתונים מבוססי קבצים ישירות מתוך & quot; מאגרי נתונים & quot; הדף.
• טיפול בחריגים ביישום ניטור האינטרנט שופר קצת, מה שהופך את ההודעות השגיאות יותר מדויקות ואינטואיטיבי.

מה חדש בגרסת 3.0.1:

• לבטל את התיקון היסודי במהדורה זו היה אודות שחזור מיפוי של עמודות וסיווגים ברי מנייה ספציפי. למשל ב הנתח שלמות החדש, מצאנו כי לאחר טעה מחדש של עבודה נשמרה, מהמיפוי, לא היה תמיד נכון.
• כמו כן כמה שיפורים פנימיים נעשו, מה שמקל לפרוס את יישום האינטרנט לפקח DataCleaner בסביבות באמצעות מסגרת האביב.
• ואחרון חביב, את ההגדרות להדמיה ביישום שולחן העבודה שופרו באופן אוטומטי על ידי לקיחת מבט על העבודה להיות דמיינו ההטלה מוצגים ממצאים על פי גודל המסך וכמות הפרטים הדרושים כדי להראות את זה יפה.

מה חדש בגירסה 3.0:

• תצוגה של ציר הזמן ואת המגמות של מדדי איכות נתונים
• מאגר מרכזי לניהול המכיל משרות, תוצאות, לוחות זמנים וכו '.
• תזמון וביקורת של עבודות DataCleaner
• מתן שירותי אינטרנט להטלת טרנספורמציות DataCleaner
• אבטחת ריבוי משתמשים
• התראות והודעות כאשר נתונים מדדי איכות הם מתוך אזורי הנוחות הצפויים שלהם.
• יש מנתח שלמות חדש וזה מאוד שימושי עבור פשוט זיהוי רשום שיש שדות שלמים.
• עכשיו אתה יכול לייצא את התוצאות DataCleaner כדי נאה HTML מדווח כי אתה יכול לתת למנהל שלך, או לשלוח מנתח XML שלך!
• סביבת הניטור החדשה גם משולבת באופן הדוק עם יישום שולחן העבודה. לפיכך, יישום שולחן העבודה עכשיו יש את היכולת לפרסם משרות ותוצאות למאגר צג, וכדי לשמש כעורך אינטראקטיבי עבור לתוכן שכבר קיים במאגר.
• טרנספורמציות חדש מוכווני תאריך זמין כעת: מסנן טווח תאריכים, אשר מאפשר לך משנה מערכי נתונים מבוססים על טווחי תאריכים, ותאריך בפורמט, המאפשר לעצב תאריך באמצעות מסיכת תאריך
.
• מנתח Regex (שהיה בעבר לרשות דרך ExtensionSwap) יש עכשיו נכללו DataCleaner. זה עושה את זה מאוד נוח לנתח ולתקנן באמצעות ביטויים רגולריים עשירים שדות טקסט.
• יש שנאי מקרה חדשים טקסט זמין. עם השינוי הזה אתה יכול בקלות להמיר בין אותיות רישיות / נמוכות והיוון נכון של משפטים ומילות.
• שני חיפוש חדש / להחליף טרנספורמציות נוספו:. חיפוש רגיל / להחליף Regex חיפוש / להחליף
• חוויית המשתמש של יישום שולחן העבודה שופר. הוספנו כמה הודעות עזרה-יישום, עשה את הצבעים נראים בהירים יותר וברור יותר ושיפרה את הטיפול גופן.

מה חדש בגירסה 2.5.2:

• תמיכה CouchDB Apache:
• הוספנו תמיכה עבור מסד הנתונים NoSQL Apache CouchDB. DataCleaner תומך הוא הקריאה, ניתוח וכתיבה על מקרי CouchDB שלך.
• סופר עדכן טבלה:
• בעקבות המאמצים הקודמים שלנו להביא תכונות ETLightweight בסגנון לתוך DataCleaner, הוספנו סופר אילו עדכונים רשומים בטבלה. אתה יכול להשתמש בזה למשל להכניס או עדכון רשום על בסיס תנאים מסוימים.
• כמו הכנס לתוך סופר שולחן, סופר הטבלה החדש DataCleaner Update אינו מוגבל למאגרי מידע מבוסס SQL, אך כל סוג של מאגר נתונים התומכים בכתב (כרגע מסדי נתונים יחסיים, קבצי CSV, Excel גיליונות אלקטרוניים, מסדי נתוני MongoDB ומסדי נתוני MongoDB), אבל הסמנטיקה זהה עם הצהרת לוח UPDATE מסורתית ב- SQL.
• מקדחה ביחס לפרטים רישומי תוצאה קבצים:
• בעת השימוש בתכונת התוצאה השמורה של DataCleaner 2.5, חלק מהמשתמשים חוו כי תרגיל ל-פירוט המידע שלהם אבד. בשנת DataCleaner 2.5.2 לנו עכשיו גם להתמיד מידע זה, ביצוע ארכיונים DQ שלך הרבה יותר יקר כאשר חוקרים תקריות נתונים היסטוריים.
• טיפול בשגיאות שיפור EasyDQ:
• רכיבי EasyDQ שופרו מבחינת טיפול בשגיאות. אם בעית רשת רגעית מתרחשת או בעיה דומה אחר גורמת כמה רשומה להיכשל, רכיבי EasyDQ כעת בחנו להתאושש והכי חשובים -. העבודה יצווה שלך תנצח אפילו למרות טעויות
• מיפוי שולחן ומאגרי נתונים NoSQL:
• מאז CouchDB ו MongoDB אינו שולחן מבוסס, אבל יש מבנה דינמי יותר אנו מספקים שתי גישות לעבוד איתם: ברירת המחדל, אשר הוא לתת DataCleaner זיהוי אוטומטי מבנה שולחן, ואת מתקדם המאפשר לך לציין באופן ידני שלך מבנה טבלה רצוי. בעבר האפשרות המתקדמת הייתה זמינה רק דרך הגדרות XML, אבל עכשיו את ממשק המשתמש מכיל דיאלוגים מתאימים לעשות זאת ישירות ביישום.

מה חדש בגירסה 2.4.1:

• שיפורים Feature:
• תצווה טעינת תכונות שאנחנו השתפרנו מאוד בעת כתיבת נתונים טבלאות מסד נתונים. מצפה לראות הזמנות רבות של שיפורים גודל כאן.
• וכתיבה לנתונים כבר יותר נוח לרשות על ידי הוספת אפשרויות לתפריט החלון.
• עכשיו אתה יכול בקלות לשנות רכיבים של עבודה על ידי לחיצה כפולה הכרטיסיות שלהם.
• השנאי Javascript יש עכשיו צביעת תחביר, כך Javascripts שלך קל יותר לבדוק ולשנות.
• תיקוני באגים:
• כאשר קריאה וכתיבה לאותו מאגר הנתונים (למשל. לאזור ההכנה DataCleaner) וידאנו כי מטמון טבלת מאגר הנתונים כי רענון. בעבר כמה תרחישים מותר לך לראות תצוגה מחוץ למועד השולחנות.
• קיפאון פוטנציאלי כאשר מתחילים היישום נפתר. קיפאון זה היה תוצאה של בעיה ב- JVM, אבל עבדנו סביבו ידי סנכרון כל שיחות API בפרט ב- Java.

מה חדש בגירסה 2.4: (. Aka מניעת כפילויות או התאמת פאזי של רשומות)

• שכפל איתור , אשר אינה כרוכה בתשלום להשתמש עבור עד 500,000 ערכים.
• אימות נתונים כתובת וטיהור. זה מאפשר לך לבדוק אם כתובות קיימות, אם הם מעוצבים כהלכה ואפילו להציע תיקונים במקרה יש לך טעויות.
• אימות נתונים שם וטיהור. בעזרת השירות שם, EasyDQ לא רק לעצב את שמותיכם בעקביות, אבל גם בודק שגיאות כתיב ומפרש את החלקים שם.
• דוא"ל וטלפון אימות וטיהור. שירותים אלה מספקים בדיקת נתוני דואר אלקטרוני וטלפון, ולוודא כי תחומי הדוא"ל קיימים, קודי הארץ כי הם נכונים ועוד.

מה חדש בגירסה 2.3:

• תמיכה DATA בינלאומי:
• אם אתה עובד עם נתונים בינלאומיים, אז אולי יש ערכות תווים שונים בנתונים שלך, למשל סינית או עברית. הוספנו נתח חלוקת הק התווים, המהווה אפשרות פרופיל המאפשרת לך להבין אילו ערכות תווים משמשות בנתונים שלך.
• עבודה עם נתונים המכילים ערכות תווים שונות יכולה להיות בעייתית. באמצעות השנאי לתעתק החדש עכשיו אתה יכול לתעתק מחרוזות ממערכות כתיבה שונות לאותיות לטיניות.
• יש גם הפגנת שידור חדשה, תוך התמקדות ביכולות הנתונים הבינלאומיות של DataCleaner 2.3 לפרק התיעוד.
• הקבצה של תוצאות הניתוח לפי עמודה משנית:
• מנתח הדפוס הוא כעת מסוגל דפוסי קבוצה המבוססת על עמודה משנית. אפשרות זו שימושית עבור ניתוחים כמו:
• קבל תבניות של מספרי טלפון, מקובצים לפי מדינה.
• קבל דפוסי הדוא"ל שם המשתמש בהתבסס על תחום הדוא"ל.
• דבר דומה נעשה עבור נתח הפצת הערך; זה מאפשר עבור ניתוחים כגון:
• האם כל שמות הערים נפרדים, כאשר הם מקובצים לפי מיקוד?
• מהי חלוקת מגדרי בתוך סוגים לקוח מסוים?
• שיפור תרשימים:
• תוצאות חיפוש תבנית כעת ניתן לראות בתרשים. זה הופך את החלוקה גלויה ומראה עד כמה & quot; ארוך זנב & quot; דפוסים יש.
• תוצאת הנתח חלוקת ערך שופרה בעוד כמה תחומים:
• הקריאות של התרשים שופרה.
• הוא מציג את המספר הכולל של שורות הספירה המובהקת על פני שורות אלה: מספר ערכים השונים שקיימים בשורות. זה עוזר להבין את התדירות שבה ערכים כפולים קיימים.
• אם יש מחרוזות ריקות, אנו משתמשים במילת המפתח עבורו, כך קל יותר לזהות אותם.
• פלט:
• הבא כדי בפורמטי הפלט כבר קיימים (CSV קבצים ומאגרי הנתונים של H2) הוספנו כתיבת פלט האלקטרוני של Excel.
• לאחר כתיבת מאגר נתונים, ניתן כיום לבצע תצוגה מקדימה של הפלט, כך שאתה יכול לבדוק אם הפלט על פי הציפיות שלך.
• עכשיו זה גם ניתן להוסיף את הפלט כמו מאגר נתונים חדשים, כך שהוא יכול לשמש כקלט עבור עבודה חדשה.
• שיפורים אחרים:
• תיעוד שופר באופן כללי. בפרט, רישום ותיאורי ממשק שורת פקודה נוספו.
• מנגנון הרחבה שופר על ידי modularizing כמה חתיכות של היישום מציג Google Guice כמסגרת הזרקת תלות בדרך כלל זמינה עבור מפתחים רחבים.
• וכמובן שעשינו יותר מעשרים שיפורים קטנים ותיקוני באגים.

מה חדש בגירסה 2.2:

• הנהג העיקרי לשחרורו זה כבר סיפור על הרחבה . בעוד שחרור היישום אנחנו simultaniously מוציאים לאור אתר DataCleaner החדש שכולל שטח חדש חשוב: ExtensionSwap. הרעיון של ExtensionSwap הוא לאפשר שיתוף של רחבות DataCleaner והתקנה פשוט על ידי לחיצה על כפתור הדפדפן!
• API הרחבה DataCleaner שופר הרבה במהדורה זו, כך שניתן ליצור שנאים משלך, מנתחים ומסננים. אם אתה מרגיש את התוספים שלך יכול להיות עניין למשתמשים נוספים, בבקשה לשתף אותו על ExtensionSwap ואנחנו לספק ערוץ בשבילך להפיץ אותו בקלות לאלפי משתמשים. ה- API של השלוחה ExtensionSwap מוסבר נוסף הפגנת השידור החדשה שלנו למפתחי אנשים היי טק אחרים עם אינטרס.
• כמו כן, אנו משחררים סט של רחבות ראשונית על ExtensionSwap: מגעי HIquality להארכת DataCleaner המספקת שם מתקדמים, טלפון וטיהור דוא"ל, המבוסס על שירותי אינטרנט DQ עיבוד שפה טבעית היקשי אדם. אנחנו גם משלוח רחבת מדגם אשר תשמש כדוגמא עבור מפתחים שרוצים לנסות פיתוח רחבה עצמם. בחודשים הקרובים אנחנו נדאג לפרסם עוד יותר רחבות שמקורם התיק הפנימי שלנו של כלים שאנחנו משתמשים בם צוותות איסוף ידיעת הסקת אדם.
• בנוסף רחבה אנחנו גם מתמקדים embeddability. אנחנו רוצים להיות מסוגלים להטביע DataCleaner בקלות לתוך יישומים אחרים לעשות פרופיל וניתוח נתונים אפשרי בכל מקום! יצרנו API מנוף חדש המאפשר יישומים צרורים DataCleaner ו bootstrap זה עם תצורה דינמית או להריצה & quot; מצב מאגר נתונים יחיד & quot ;, כאשר היישום הוא מכוון כלפי בודק רק מאגר נתונים יחידים (מוגדר בדרך כלל על ידי היישום מטמיע DataCleaner). כבר יש לנו כמה מקרים ממש מעניינים של הטבעת DataCleaner בעבודותיהם -. הוא יישומי קוד פתוח אחרים, כמו גם יישומים מסחריים
• הוספנו תמיכה לניתוח ערכות נתונים SAS. זה משהו שאנחנו די גאים כמונו, למיטב ידיעתנו, יישום הקוד הפתוח הגדול הראשון כדי לספק פונקציונלי כאלה, בסופו של דבר משחרר הרבה משתמשי SAS. החלק הדדית SAS נוצר כפרויקט נפרד, SassyReader, כך אנו מצפים לראות אימוץ בקהילות קוד פתוח חינם של DataCleaner מוקדם מדי!
• כמו כן, אנו הוספנו תמיכה עבור סוג אחר של מאגר נתונים: קבצי רוחב קבוע. קבצי רוחב קבועים הם קבצי טקסט, שבו כל עמודה יש ​​רוחב קבוע. אין תו מפריד או ציטוט, כמו קבצי CSV, במקום כל שורה שווה באורך כל שורה תהיה tokenized על פי מערכת של אורכי ערך.
• אפשרות ל & quot; להיכשל על חוסר עקביות & quot; הוספה לקובץ CSV ומאגרי נתונים של קובץ ברוחב קבוע. דגלים אלה להוסיף בדיקת תקינות בפורמט בעת השימוש ומאגרי נתונים מבוססי קובץ טקסט אלה.
• הבאג תוקן, מה שגרם הגדרות מפרידות CSV לא להישמר בממשק המשתמש, בעת עריכת מאגר נתוני CSV.
• דמויות יפניות ואחרות אינן נתמכות בממשק המשתמש. זה & quot; באג & quot; היה עניין של חוקרת גופנים זמינים במערכת ובחירת גופן שיכול להפוך את הדמויות בפרט. ברוב המערכות המודרניות יהיו גופנים מסוגלים זמינים, אלא על כמה ענפי יוניקס / לינוקס עדיין ייתכן מגבלות.
• לפרק התיעוד עודכן! מאז בתיעוד 2.0 המהדורה הראשונית כבר הרחק מאחור, אבל אנחנו סוף סוף הצליח להשיג את זה עד היום. ישנם עדיין חלקים חסרי הרופאים, אבל זה בהחלט צריך להיות שימושי עבור שימוש בסיסי כמו גם הפניה עבור רוב הנושאים.
• זמן אתחול Application שופר על ידי parallelizing טעינת התצורה תוך שהוא מעכב את האתחול של אותם חלקים של התצורה שאינם נחוצים עבור חלון הראווה הראשונית.
• המנתח מוצא דמיון פונטי הוסר מן ההפצה הראשית, כי זה היה די הניסיון ומשמש בעיקר כהוכחת הקונספט כמתאבן לקהילה ליצור מנתחי התאמה מתקדמים יותר. עכשיו אתה יכול למצוא ולהתקין את מוצא דמיון פונטי על ExtensionSwap.
• בוטל או עבודת errornous טיפול היה שיפור ממשק המשתמש מגיב יותר נכון על ידי השבתה לחצנים וסרגלי התקדמות, אם עבודת פסיק.
• קבוע כמה בעיות קלות בממשק משתמש הנוגעות שולחן אומד ושימוש גלילה.

מה חדש בגירסה 2.1.1:

• שיפורים:
• נוסף בשדה טקסט חיפוש / סינון ברשימת מאגרי הנתונים. זה מאפשר לך למצוא מאגר נתונים במהירות אם נרשמתם יותר datastores ממה שזמין על המסך.
• נתוני עזר עבור קודי ארץ נוספו ההתפלגות הסטנדרטית, תודה הולכת גרהם Rhind למתן אלה.
• נוסף פס גלילה אופקי לנתונים מקדימה חלונות יש יותר מ -10 עמודים.
• אפשרות להוסיף חבילת הרחבה עם פונקציונליות חדשה בתיבת הדו-שיח אפשרויות בזמן ריצה. עוד דגש על רחבות יעבור בגרסאת הקרובה.
• אנו כבר חשופים תצוגה מקדימה מוקדמת של שורת הפקודה שלנו הממשק (CLI) בכך שהוא מאפשר לך להפעיל את היישום עם & quot; -usage & quot; פרמטר אשר יציג את אפשרויות CLI.
• מספר נוסף אפשרויות מבנה קלט אל & quot; המר מספר & quot; שנאי.
• תיקוני באגים:
• קבוע out-of-זיכרון בעיה כאשר שאילתות שולחנות עם הרבה עמודות (150 +).
• תוקן בעיה שגורמת & quot; ניתוח הגבל & quot; תיבת הסימון כדי לא להיבדק כראוי כשמשימת נפתחה מחדש לאחר השמירה.
• לא ממש לבטל את תיקון כפי שהוא מעולם לא היה תכונה רשמית, אבל עכשיו אנחנו תומכים בשחזור העדפות משתמש (קובץ userpreferences.dat) מהגירסות הקודמות של DataCleaner.

מה חדש בגירסה 2.1:

• היה הרבה עבודה לעשות על ממשק המשתמש ( ראה עמוד תקשורת):
• החלטנו להסיר את החלון בצד השמאלי המכיל אפשרויות תצורת הסביבה.
• במקום כל האפשרויות האלה עכשיו הועברו אל חלון עבודה בבניין כך שהמשתמש רק צריך להתמקד בחלון אחד עבור כל האינטראקציות הדרושות כדי לבנות עבודה.
• תיבת הדו-שיח ברוך / התחברות גם הוסר לטובת פאנל יותר דיסקרטית שניתן משכו או סמוי מן החלון הראשי.
• מבחר Datastore וניהול נחשב הפעילות הראשונה ביישום, ולכן זה גם הצעד הראשון כדי להתמודד בחלון הראשי.