S3QL

שקיפות. מבחינה מושגית, S3QL הוא נבדל ממערכת קבצים מקומית. לדוגמא, הוא תומך בקישורים קשיחים, קישורים סימבוליים, הרשאות unix מלאים, תכונות מורחבות וקובץ בגדלים של עד 2 TB.
• גודל דינמי. הגודל של מערכת קבצי S3QL גדל ומתכווץ באופן דינמי כנדרש.
• דחיסה. לפני האחסון, ייתכן וכל המידע דחוס עם LZMA, bzip2 או אלגוריתם LZ.
• הצפנה. לאחר דחיסה (אבל לפני ההעלאה), כל הנתונים יכולים AES מוצפן עם מפתח של 256 ביט. בדיקת SHA256 HMAC נוספת משמשת להגנה על הנתונים נגד מניפולציה.
• ביטול כפילות נתונים. אם יש לי מספר קבצי תוכן זהה, נתונים המיותרים יאוחסנו רק פעם אחת. זה עובד בכל הקבצים המאוחסנים במערכת קבצים, וגם אם רק חלקים מסוימים של הקבצים זהים ואילו חלקים אחרים שונים.
• עצים ניתנים לשינוי. עצי מדריך יכולים להתבצע בלתי ניתנים לשינוי, כך שכבר לא ניתן לשנות את תוכנם בכל דרך שהיא. זה יכול לשמש כדי להבטיח שלא ניתן לשנות גיבויים אחרי שהם כבר עשו.
• העתקה בזמן כתיבה / Snapshotting. S3QL יכול לשכפל עצי מדריך ללא כל שימוש בשטח אחסון נוסף. רק אם אחד מהעותקים הוא שונה, החלק מהנתונים ששונה יהיה תופסים שטח אחסון נוסף. זה יכול לשמש כדי ליצור תמונות אינטליגנטיות שמשמרים את המצב של ספרייה בנקודות שונות בזמן שימוש בכמות מינימאלית של החלל.
• עצמאי ביצועים גבוהים של השהיית רשת. כל הפעולות שלא כותבים או קוראים את תוכן קובץ (כמו יצירת ספריות או העברה, שינוי שם, ושינוי הרשאות של קבצים וספריות) הן מהירות מאוד, כי הם מתבצעים ללא כל עסקות ברשת.
• S3QL משיג זאת על ידי שמירת כל הקבצים ומבנה ספריות במסד נתונים. בסיס נתונים זה במטמון מקומי והעותק המרוחק מתעדכן באופן אסינכרוני.
• תמיכה עבור חיבורי רוחב פס נמוכים. S3QL מפצל את תוכן קובץ לגושים ולוקי מטמונים קטנים באופן מקומי. זה ממזער והן במספר העסקות ברשת הדרושה לנתונים קריאה וכתיבה, ואת כמות הנתונים שיש להעביר כאשר רק חלקים של קובץ הם לקריאה או בכתב.

מה חדש בהודעה זו:

• ניסיונות לשדרג מערכת קבצים שכבר בגרסה החדשה ביותר כבר לא להפוך את מטה המקומיים להעתיק שמיש.
• שמות דלי אחסון Google המכילים נקודות כבר לא לגרום לבעיות עם אימות תעודת SSL.
• מתקן לקרוס כאשר statvfs () נקרא על מערכת קבצים כמעט ריקה.
• יש חדש & quot; swiftks & quot; backend עבור OpenStack / שרתי סוויפט.
• מבטל מצב גזע שעלולה להוביל לmount.s3ql מתרסק עם & quot; KeyError באוספים / abc.py & quot;.
• מתקן התרסקות שעלולה להתרחש כאשר מנסים לנקות אחרי קבלת שגיאת חיבור או שרת בעת העלאת אובייקט.

מה חדש בגרסה 2.2:

S3QL משתמש כעת חיבורי SSL כברירת מחדל ומאמת אישורי שרת.
• מצב גזע שהביא לאובדן לכאורה של מטה-נתונים מרוחקים היה קבוע.
• backend S3 עכשיו מוחק אובייקטי אחסון מרובים באמצעות בקשה אחת אם אפשר, מקצר את משך השהיה, תנועה, ומספר הבקשות לS3.
• S3QL הוא כעת מסוגל לזהות שגיאות שרת והפניות לפני כל הנתונים נשלח לשרת.
• backend חדש "Rackspace" המאפשר מפרט של אזור אחסון האובייקטים ב- URL האחסון נוסף.
• אפשרות --compress mount.s3ql עכשיו מאפשרת מפרט של רמת הדחיסה.

מה חדש בגרסת 1.15:

• רכיבה על אופניים של גיבויים מטה בעת השימוש בbackend המקומי עכשיו לוקח הרבה פחות זמן.
• זה הוא כבר לא נדרש שS3QL וPython APSW יהיו צמוד לספרייה המשותפת אותו SQLite.
• בmount.s3ql, לקרוס כאשר 0 באמצעות --metadata-העלאת המרווח היו קבועים.
• במקום בטל עגינה לחלוטין את מערכת הקבצים (ועוזב את נקודת העיגון נגישה) כאשר נתוני backend חסרים או פגומים, S3QL עכשיו מחזיר שגיאה ומתגים לקריאה בלבד פעולה.

מה חדש בגרסת 1.13:

גרסה זו מתקנת באג שגרם metadata הפגום להיכתב מתי משתמש בגרסאות eglibc האחרונות.
• זה פותר בעיות בעת ניסיון לגשת לספריית השורש של מערכת הקבצים לאחרונה שהוסר עם s3qlrm.
• תמיכה לכאורה ACL הוסרה.
• דליי ידיות שחרור זה טובים יותר עם שמות DNS לא חוקי.
• זה יהיה לנסות שוב אם DNS אינו זמין.

מה חדש בגרסת 1.11.1:

גרסה זו מתקנת התרסקות בעת השימוש בbackend S3 (רגרסיה הציגה במהדורה 1.11), מגדילה את גודל מערכת קבצים המינימום דווח ל1 TB, ועובדת מסביב באג df כך גודל מדווח כראוי.

מה חדש בגרסה 1.11:

• מידע אודות אובייקטים מאוחסנים מחולק כעת לשדות מרובים, כך אין שדה הוא יותר מ256 בתים. (זה עושה S3QL תואם עם מגוון רחב יותר של ספקי אחסון.) Backend SWIFT עכשיו ניסיונות אם הוא מקבל 5xx קודי שגיאה מהשרת המרוחק, וכבר לא נכשל כאשר מנסה להעלות נתונים עם אסימון אימות שפג תוקפו.

מה חדש בגרסה 1.10:

s3s, s3cs, ומסדי השב"כ הוסרו. השתמש באפשרות --ssl החדשה יחד עם מסדי s3, S3C, וGS במקום.
• S3QL כבר לא עוקב אחר ערבויות עקביות למסדים השונים.
• מספר הגדל וההולך של ספקי אחסון שונים המציע אזורים שונים, יתירות, ורמות זמינות הופך כבר לא ריאלי.
זה
• המדריך למשתמש מכיל סעיף חדש, & quot; כללים חשובים כדי להימנע מאובדן נתונים & quot;.
• קריאה מומלצת מאוד.

מה חדש בגרסת 1.9:

• גרסה זו הופכת פעמים קובץ לשנות כבר לא בעת שינוי במערכת אזור זמן, תיקונים ומשפר contrib / benchmark.p, מתקן את & quot; הפניות רבות מדי כבול & quot; באג, ניסיונות על שגיאות שרת 5xx, ומוסיף תמיכה מקורית ניסיונית עבור שרתי OpenStack / SWIFT ותמיכת proxy ניסיוני.

מה חדש בגרסת 1.8:

• & quot; ValueError: לא יכול לזרוק את ערכים & quot NULL; התרסקות כאשר מטה מערכת קבצים הועלה במהלך כבדה פעילות מערכת קבצים הייתה קבועה.
• s3qlcp ורישום בספריית ביצועים עבור ספריות גדולות מאוד השתפרו.
• רגרסיה ביצועי rm הייתה קבוע.
• -. Blocksize היה שונה ל --max-obj גודל
• חלק הקריסות שקרתה תחת שימוש במערכת קבצים בו-זמנית בכבדות היו קבועים.
• משמש כיום פיתון-llfuse 0.37.

מגבלות :

• יש עדיין הרבה באגים בקוד ואתה צריך להיות מוכן להתמודד עם שלהם. עם זאת, אתה יכול להיות בטוח באופן סביר שהחרקים (אם כי לא נוח) לא יסכנו את הנתונים המאוחסנים שלך.