ביג דאטה: חלום המידע הגולמי ושברו

הנחת הבסיס היא שמי שקורא את השורות הבאות כבר מבין מה רלוונטי לארגונו, ונמצא בשלב בחירת החלופות ליישום, אחרי שעבר כבר את שלושת השלבים שמאפיינים אימוץ טכנולוגיה חדשה. שלב ההבנה - מה זה בכלל? שלב הצורך - למה צריך? שלב התכנון ובחינת החלופות - אם כבר שוכנעתי לגבי הצורך, מהי האלטרנטיבה הטובה ביותר עבורי?

To ביג דאטה or not to ביג דאטה

השימוש בביג דאטה מתבסס על 2 טענות עיקריות: האחת – שאין שום הצדקה לקבל החלטות קריטיות על סמך תחושת בטן בזמן שהמידע קיים וזמין לאיסוף, ארגון, ניהול וניתוח. השנייה – שכיום יש קשר הדוק וישיר בין הצלחת העסק לכמות וטיב המידע המצוי ברשותו. תופעת הדאטה-פיקציה (Datafication), במסגרתה מתרגמים כל אספקט בחיינו למידע, מספקת לארגונים הזדמנות ליצירת תמונה כוללת הניתנת לתחקור והסתכלות מזוויות שונות ומגוונות.

למה הביג דאטה לא מאומץ על ידי ארגונים?	צילום: שאטרסטוק

ניתן לדוגמה להבין: את הלקוח על צרכיו, שאיפותיו, תסכוליו, ניתן להבין כיצד הוא מקבל את החלטות הרכישה שלו, את מגמות השוק ועוד. הטכנולוגיות הקיימות מאפשרות לאסוף מידע חדש לחלוטין המסייע לארגונים לעבור ממוד של אנליזה "משקפת מציאות" , כזו שמנתחת רק את מה שכבר אירע, למוד של אנליזה "משנה מציאות" או "אנליזה צופה עתיד" (predictive Analytics) המאפשרת ניבוי ומתן תחזית.

האתגר של Hadoop

עם התבססותה של פלטפורמת Hadoop (שפותחה כקוד פתוח על בסיס העבודה והידע שנצבר בחברות כגון פייסבוק, גוגל ואחרות) כתקן לאיסוף, טיפול, ניהול ואנליזה של נתונים לא מובנים, החלו לקוחות ה-Enterprise לבדוק את היתכנות היישום שלה כפרויקט ביג דאטה. רבים מהם נתקלו בקשיים. לא בגלל שהטכנולוגיה לא מקיימת את מה שהיא מבטיחה אלא בגלל שקשה מאוד לשלבה בארכיטקטורה הקיימת ומפני שמדובר בטכנולוגיה חדשה יחסית, עם מספר רב של רכיבים שמציבה אתגרים לא פשוטים לארכיטקטים של IT, מנוסים ככל שיהיו.

מדעני מידע – מצרך נדיר

McKinsey Global Institute מדווח כי עד 2018 , בארה"ב בלבד, ייווצר מחסור של עד 190,000 משרות במדעני מידע (Data Scientist). מדען מידע, אחד המקצועות המבוקשים ביותר בשנים הקרובות, נדרש לידע והבנה בתחומים רבים: מתמטיקה, סטטיסטיקה, שפות פיתוח, בסיסי נתונים רלציוניים, BI, כריית מידע, ויזואליזציה, הבנה עסקית ועוד. פלא שיש מעט כאלה? חשוב להבין: שבפרויקט ביג דאטה האתגר האמיתי הוא לא באיסוף המידע אלא בניתוחו לצורך זיהוי (Discovery) מגמות, תובנות וקשרים חדשים בין יישויות ופרטי מידע שיביאו ערך לארגון, וכי בד"כ חלק גדול מהמידע שנאסף הנו חסר ערך, ויש צורך בידע רב, מומחיות ועבודה רבה בכדי לשלוף את המידע הרלוונטי בתהליך של Discovery.

תפקידם העיקרי של מדעני מידע הוא למצוא תובנות בתוך המידע הגולמי צילום: shutterstock

ללא מדעני מידע מנוסים ויצירתיים וללא תשתית אנאליטית מתאימה יהיה זה כמעט בלתי אפשרי לייצר ערך עסקי מהנתונים הגולמיים הנאספים. פרויקט ביג דאטה הינו פרויקט עסקי קלאסי, שמאפשר טרנספורמציה של מידע גולמי לנכס אסטרטגי, ושבמסגרתו הארגון יכול: לקבל החלטות טובות ומדויקות יותר, לשפר תהליכים, ליצור הזדמנויות עסקיות חדשות ולעודד חדשנות ארגונית שתייצר שירותים חדשים ואפילו עסקים חדשים על בסיס מידע ותובנות שלא היה זמינות לנו בעבר.

אך בכדי לספק מענה לאתגרים המתעוררים בפרויקטי ביג דאטה ובכדי לקצר את משך הפרויקט תוך מיקסום הערך העסקי מהפרויקט, ספקים ואינטגרטורים יצטרכו לספק כלים טובים ומתודולוגיות סדורות יותר על מנת: לפשט את הפרויקט ואת הגישה לכלל הנתונים (מובנים ולא מובנים), לספק כלי תחקור אינטואיטיבים יותר לשימוש המשתמשים העסקיים ואנשי ה-IT (לא רק למדעני מידע יחידי סגולה), לבנות use cases ברורים פר תעשיה (לטלקום, פיננסים...) לטובת חדשנות עסקית מבוססת טכנולוגיה, ולייצר מערכות מדף סגורות ופשוטות לניהול והטמעה, שיקלו על צוות ה IT הקיים באימוץ טכנולוגיות ביג דאטה ושילובה לתוך הארכיטקטורה הקיימת במינימום מאמץ וזעזוע.

הכותב הינו מנהל בכיר לפיתוח עסקי באורקל ישראל