יבמ: 10 מיליארד קבצים ב-43 דקות
חוקרי החברה השיגו שיא של מהירות וקיבולת בניהול אחסון בנפחי ענק על גבי מערכת בודדת
חוקרים של יבמ הציגו בסוף השבוע שיא של מהירות בתחום האחסון של נפחים גדולים במיוחד. החוקרים במעבדות יבמ בסן חוזה בקליפורניה הצליחו לסרוק ולמיין 10 מיליארד קבצים על גבי מערכת בודדת, בתוך 43 דקות. תוצאה זו משפרת פי 37 את שיא הטיפול הקודם בקבצים, שעמד על מיליארד קבצים בשלוש
האפשרות להגדיל בשיעור כה גבוה את נפחי המידע המאוחסן על גבי מערכת בודדת, במקום לבזר אותו בין מספר גדול של שרתי אחסון הדורשים ניהול נפרד, תפשט את משימות הניהול ותייעל את תהליכי העבודה.
ההישג הטכנולוגי הנוכחי של יבמ מתאפשר בזכות התקדמות במערכת ניהול הקבצים המקבילית, GPRS, אותה החלה יבמ לפתח ב-1998. השימוש במערכת ניהול קבצים אחת תוך מידרוג והרחבה של מספר הקבצים ונפח האחסון הכולל מתאים במיוחד ליישומים הדורשים גישה מהירה לכמויות גדולות של מידע, דוגמת מערכות כריית מידע, עיבוד נתונים סייסמיים, ניהול סיכונים, ניתוח פיננסי, חיזוי אקלים ומחקר מדעי.
שיא הביצועים הנוכחי נרשם על ידי מערכת GPFS הפועלת על גבי אשכול של עשר מערכות בעלות שמונה ליבות, ואחסון על גבי שבבים (SSD). מנוע החוקים של מערכת הקבצים מאפשר לשרת כל סוג של נתונים, ולבצע את מכלול משימות הניהול.
האלגוריתם המתקדם של מערכת ניהול הקבצים של יבמ מאפשר שימוש מלא בכל ליבות המעבדים של מערכות האחסון, בכל שלבי העבודה: קריאת נתונים, מיון, והערכה על פי בסיס החוקים. מערכות GPFS מנצלות את מאגרי הזיכרון בשבבי פלאש, בנפח כולל של 6.8 טרא-בייט, ששולבו במערך האחסון השלם. זאת על מנת להציע גישה מהירה במיוחד לנתונים, וקצב גבוה של העברת נתונים.
דיסק הפלאש משמש לשמירת נתוני-על (meta-data), על מנת לאפשר למערך האחסון כולו לבצע מאות מיליוני פעולות קלט-פלט בשניה, תוך שמערכת ה- GPFS מזהה, בוחרת ומיינת את הקבצים הנכונים מתוך 10 מיליארד הקבצים המאוחסנים.
