המחיר שנשלם על הטעיות מערכת המעקב של נפתלי בנט

בינה מלאכותית צילום: שאטרסטוק

מאז, מעט מאוד השתנה. מערכות בינה מלאכותית מקודמות לא פעם כפתרון טכנולוגי מושלם, אובייקטיבי לחלוטין, נטול דעות קדומות, אלגוריתם שלא יכול לטעות, לפחות לא בגדול. אבל גם עתה, קרוב לשלושה עשורים אחרי אותו ניסוי גורלי, מתברר פעם אחר פעם שמערכות בינה מלאכותית סובלות מהטיה מובנת, שפוגעת לרוב לרעה במיעוטים ובקבוצות חלשות. הטיה שדווקא היום רלוונטית מתמיד לאזרחי ישראל, לאור התוכנית של שר הביטחון היוצא בממשלת המעבר, נפתלי בנט, לדרג את רמת הסיכון של כל האזרחים להדבק בקורונה באמצעות מערכת כזו בדיוק, שפותחה בחשאי ושההטיות האפשריות שלה עלולות לסכן אזרחים ואף לפגוע במאבק להגבלת התפשטות נגיף הקורונה.

פרופ' קרין נהון צילום: עמית שעל

"מערכות בינה מלאכותית נוטות להקצין יחסי גומלין במערכות חברתיות", אמרה לדו"ח טכנולוגי פרופ' קרין נהון מהמרכז הבינתחומי בהרצליה. "אם קיים אי-שוויון בין קבוצות שונות בחברה, המערכות עשויות לשעתק ואפילו להקצין אתו. אנחנו צריכים מאוד לחשוש מהמערכת שמוצעת כאן, כי אדם שיקבל מספר גבוה, החברה תוקיע אותו כמסוכן, תבודד אותו, לא תיתן לו ללכת לעבודה, ואולי גם הקצאת משאבים אחרים תמנע ממנו. סביר שהמערכת, מכיוון שתיקח בחשבון משתנים קרבה לאנשים ומשפחות עם הרבה אנשים, תתן באופן לא מוצדק ציון גרוע יותר לאנשים לקהילות ומגזרים עם הרבה ילדים כמו חרדים וערבים, שיכולים לסבול הרבה יותר מהמערכת הזו ומההחלטות שלה".

המערכת שהציג בנט אמורה לדרג כל אזרח בהתאם לסיכון שלו להדבק בקורונה ולשמש כבסיס לפעולות להגבלת התפשטות המגפה. בפיתוחה השתתפו משרד הביטחון, המינהל למחקר, פיתוח אמצעי לחימה ותשתית טכנולוגית (מפא"ת), 8200 ו"חברת הייטק אזרחית". בנט לא נקב בשם החברה, אך כמה מקורות אישרו לכלכליסט שמדובר ב-NSO. המערכת תתדרג כל אזרח בציון של 1 עד 10 לפי הסבירות שהוא ידביק אחרים בקורונה – ככל שהציון גבוה יותר, כך עולה הסיכוי שהאזרח מדבק.

שר הביטחון נפתלי בנט צילום: ynet

לדברי בנט, לתוך המערכת "שופכים" תוצאות בדיקות קורונה שנעשו לאזרחים ואיכונים סלולריים מחברות הסלולר, ואז היא "עושה נפלאות". "היא מדרגת כל אזרח מה סבירות שהוא מדביק כרגע בקורונה", הוא הסביר בחשבון הטוויטר שלו. "הכל אוטומטי. נניח ביקרת שלשום בכספומט ששעה קודם לכן היה שם נשא-קורונה, הציון שלך יעלה, נניח ל-9. מזהה עבורנו בזמן אמת מבנים, שכונות ומוקדי הדבקה, ועליהם 'נתנפל', ונבצע בהם סגר או המון בדיקות. זה במקום חקירה ידנית מסורבלת שאי אפשר לבצע בהיקף רחב".

מומחים משפט ופרטיות נחרדו מעצם התוכנית, והזהירו שמדובר במהלך חסר תקדים בכל הנוגע למעקב של הממשל אחרי אזרחי מדינה דמוקרטית, כאשר הדירוג שמוענק להם הזכיר בעבור רבים את מערכת הדירוג החברתי שבה משתמש המשטר בסין על מנת לשלוט ולדכא את האוכלוסייה. ובינתיים, התברר שהמכשולים בדרך להפעלת המערכת רבים מכפי שבנט רמז בדבריו.

חלק ניכר מהביקורת על המערכת עסק, ובצדק, בפגיעה החמורה שהיא תגרום לפרטיות וזכויות האזרח של תושבי ישראל, ובחשש המבוסס שהיכולות שלה יישארו בשימוש גם אחרי שהמגיפה תחוסל, ואף יורחבו לתחומים אחרים. אבל חשש נוסף, מהותי לא פחות, קשור לעצם העבודה של המערכת. גם אם המערכת תשמש רק לדירוג חולי קורונה, וגם אם השימוש בה יפסק מיד עם ההשתלטות על המגיפה, עדיין היא יכולה לגרום נזק מהותי לאור העובדה שפעם אחר פעם כאשר נעשה שימוש בבינה מלאכותית למטרות חברתיות שונות, התברר שהאלגוריתם מתקשה להיות אובייקטיבי ושהתוצאות מוטות, לעתים בצורה מסוכנת.

אחת הדוגמאות הבולטות בהקשר זה היא מערכת להערכת מסוכנות של עצירים שבה נעשה שימוש בכמה מחוזות בארה"ב (מרבית הדוגמאות נלקחו מדו"ח ועדת משנה של המיזם הלאומי למערכות נבונות בנושא אתיקה ורגולציה של בינה מלאכותית שפורסם בנובמבר. פרופ' נהון עמדה בראש הוועדה). "בעת החלטה על הארכת מעצר של עציר אחד השיקולים המובאים בחשבון הוא רמת המסוכנות של העציר", נכתב בדו"ח. "החלטה זו מבוססת על פרמטרים רבים כגון עברו הפלילי של העציר. מספר מחוזות בארצות הברית אימצו מערכת בינה מלאכותית בשם Compas על מנת לסייע לשופטים בהערכת המסוכנות. בדיקה של המערכת גילתה שהיא מוצאת עצירים לבנים כמסוכנים פחות מעצירים שחורים".

אמזון צילום: רויטרס

מקרה ידוע אחר הוא מערכת שפיתחה אמזון שמאפשרת לחברות מסחריות לבצע סינון מהיר של פניות מועמדים למשרות בחברה. האלגוריתם התבסס על סמך החלטות עבר של החברה – כלומר, המערכת אומנה על מנת לתעדף עובדים בעלי פרופיל דומה לעובדים שכבר התקבלו לעבודה בחברה. ואולם, בדיקה העלתה שהמערכת מפלה בקביעות נשים שמגישות מועמדות למשרות טכניות. הסיבה? בעבר מנהלים בחברה נטו להפלות נשים בקבלה לעבודה והמערכת למדה לחקות התנהגות זו.

אמזון בכלל ידועה לשמצה בהקשר זה. למשל, בדיקה של מערכת זיהוי הפנים של החברה, שנמצאת בשימוש נרחב בקרב גורמי אכיפת חוק בארה"ב, גילתה שמהערכת מבצעת אחוז גדול בהרבה של שגיאות כאשר היא מופעלת על אנשים בעלי גוון עור כהה מאשר כאשר היא מופעלת על אנשים עם גוון עור בהיר.

סירי באייפון X

וממש בשבוע שעבר, מחקר שפורסם בכתב העת המדעי Proceedings of the National Academy of Sciences העלה שסייענים קוליים כמו סירי של אפל, קורטנה של מיקרוסופט, אלקסה של אמזון ואסיסטנט של גוגל מתקשים יותר לזהות בני מיעוטים מאשר לבנים: המערכות ביצעו זיהוי שגוי של מלים ב-19% מהמקרים בקרב דוברים לבנים וב-35% מהמקרים בקרב דוברים שחורים. ב-2% מהמקרים המערכות לא הצליחו לזהות כלל קטעי דיבור של דוברים לבנים, בעוד שבקרב שחורים קפץ הנתון ל-20%.

הסיבות להטיות האלו מורכבות, אך פעמים רבות קשורות למידע שמוזן למערכת. מערכות זיהוי פנים וקול טובות יותר בזיהוי לבנים, מכיוון שהמהנדסים מלמדים אותן עם דגימות של אנשים לבנים בשיעור גבוה הרבה יותר מאשר דגימות של בני מיעוטים. הטעות של המערכת משנות ה-90? הנתונים שהוזנו הצביעו על שיעורי החלמה גבוהים של חולי אסטמה שלקו בדלקת ריאות, כאשר ההתערבות המהירה שבוצעה לא שוקללה. ההטיה היא אולי של האלגוריתם, אבל הטעות היא לרוב של מפתחי המערכת.

וזה אחד הדברים שכל כך מפחידים במערכת שהציג בנט. "אנשים חושבים שזה באמת מדעי", אמרה נהון. "הם לוקחים את התוצר של מערכות כאלו כנכון ומדויק, ולא מבינים שזו מערכת שמוטה בהתאם להטיות בחברה, בטח כשמדובר במערכת שנבנתה במהירות. זו תפיסה מסוכנת מאוד. כשמשתמשים בבינה מלאכותית בחברה על אנשים צריך להשתמש בתוצרים בזהירות, וזה לא מה שקורה פה".

ההטיה קשורה לפעמים בהעדר גיוון בצוות הפיתוח של המערכת. "גברים לבנים מהמערב מגיל מסוים, מפתחים מערכת בצורה פרטנית. הרבה פעמים כשמגוונים את צוות מערכות הפיתוח מקבלים תוצרים אחרים לגמרי. צוותים לא מגוונים מייצרים תוצרים בעייתיים", אמרה נהון. לא קיים מידע על המגוון המגדרי והאתני של צוותי הפיתוח של המערכת, אך מכיוון שרובם ככולם הם אנשי מערכת הביטחון ויוצאי 8200, אפשר להעריך בסבירות גבוהה שאין שם ייצוג יחסי הולם לחרדים וערבים, ושיש ייצוג מועדף לאלו שמשתייכים לשכבות החזקות בחברה.

יכול להיות שהמערכת עובדת מצוינת וחפה מהטיות. לאור זמן הפיתוח המהיר שלה, אם אכן זה המצב יהיה מדובר בהישג משמעותי. הבעיה היא שאין לנו נכון לרגע זה שום דרך לדעת האם יש הטיות או האם המערכת עובדת בצורה תקינה: הפיתוח נעשה בחשאי, הקוד סגור וכנראה גם יישאר ככה, והמערכת עצמה לא נבדקה עדיין בעולם האמיתי. אם אכן היא סובלת מהטיות, אם הפעלתה אכן תפלה לרעה אוכלוסיות שונות ללא סיבה מספקת, הדבר יתגלה רק בעוד שבועות, אולי אפילו חודשים, אחרי שהמערכת כבר תפעל במלוא הקיטור, אולי אפילו אחרי שתשווק לפעילות במדינות אחרות, ואחרי שהנזק שהטיה זו גרמה – בדמות בידוד שלא לצורך, אבדן הכנסה בגין אי-אפשרות לצאת לעבודה ועוד – כבר ייגרם.

ומה שיותר גרוע, סביר שגם אם זה מה שיקרה וגם אם כל אלו יתגלו, לאף אחד ממקבלי ההחלטות בנושא לא יהיה אכפת. העיקר שיש לנו מערכת תיוג אוכלוסיות שעובדת. בואו נראה מה עוד אנחנו יכולים לעשות איתה עכשיו.

קצרצרים

1) עובדי מחסנים של אמזון ושירות משלוחי הסופרים אינסטקרט מרחבי ארה"ב יצאו אתמול לשורת השבתות ומחאות, לאור תנאי העבודה הירודים בצל מגיפת הקורונה . עובדי עובדים באינסטקרט נשארו בבית במקום לצאת ולמלא הזמנות, עובדי אמזון טענו שהם חולים או יצאו במפגין ממחסני החברה בסטטן איילנד באמצע יום העבודה.

עובדי המחסנים של אמזון

2) אמזון פיטרה את העובד שארגן את המחאה בסטטן איילנד, כריס סמולס. "הפעולה גרמה לי לאבד את משרתי. מכיוון שניסית להגן על מה שנכון, החברה החליטה לנקום בי", הוא אמר לבלומברג. אמזון בתגובה טענה שמה פתאום, אין קשר, סמולס פוטר בכלל כי לא שמר על כללי הריחוק החברתי. משכנע מאוד.

3) איירבנב התעשתה על עצמה והקצתה 250 מיליון דולר על מנת לשלם למארחים שנפגעו בעקבות הביטולים הרחבים של הזמנות ומדיניותיה שלא לחייב משתמשים בדמי ביטול, גם אם תנאי ההזמנה כללו תשלום שכזה. המארחים לא יקבלו את מלוא הכסף, אלא רק 25% מהסכום שהיו אמורים לקבל. גם זה משהו.

airbnb

4) OpenTable עשתה במשך שנים עסק טוב מפיתוח אפליקציה להזמנת מקום במסעדות. אבל, אם שמתם לב, אנשים לא ממש יוצאים בימים אלו למסעדות. אז בחברה מצאו פתרון: במקום להזמין מקום במסעדה, אפשר מעתה להזמין מועד לרכישה בסופר. סופרים נאלצים לווסת את מספר הרוכשים בחנות (גם בישראל, היכן שמצטברים לא פעם תורים מחוץ לחנות), ועתה באמצעות האפלקיציה ניתן יהיה לשריין זמן קנייה. אחלה רעיון, שיביאו גם לכאן.