השטן הוא אלגוריתם

שרה ויסוצקי, מורה צעירה ומוערכת, לא הצליחה להבין למה פיטרו אותה. היא הרי קיבלה משוב מעולה לא רק מהמנהלת שלה, אלא גם מהורי התלמידים שלימדה. אבל ב־2011, בסוף שנת הלימודים, קיבלה ויסוצקי מכתב פיטורים. היא לא היתה לבד. עוד 205 מורים אחרים פוטרו באותה שנה בוושינגטון הבירה, במסגרת הניסיון של ראש העירייה לשקם את מערכת החינוך המידרדרת. הרעיון שלו היה פשוט: הדרך להציל את בתי הספר היא להיפטר מהמורים הגרועים ביותר במערכת. אבל ויסוצקי היתה משוכנעת שאותה לא היה צריך לפטר. היא היתה מורה טובה.

הניסיון של ויסוצקי לגלות למה פיטרו אותה הוביל אותה לחברת הייעוץ "מתמטיקה פוליסי ריסרץ'". החברה, שיושבת בשכנות לאוניברסיטת פרינסטון היוקרתית, נשכרה בידי עיריית וושינגטון כדי לעזור לה לאתר את המורים הגרועים, אלה שמושכים את המערכת למטה ושמהם כדאי להיפטר. איך עושים את זה? באמצעות אלגוריתם. לוקחים את ציוני התלמידים במבדקים השנתיים, מזינים אותם כמשתנים בנוסחאות סבוכות שמשקללות גם פרמטרים כמו ליקויי למידה ורקע סוציו־אקונומי, ובסופו של דבר מקבלים מספר. באמצעותו אפשר לדרג את המורים, ולזהות מי מהם לא תרמו יותר מדי להשכלת תלמידיהם. הם החוליה החלשה.
ויסוצקי, התברר לה, קיבלה ציון ממש גרוע. זו הסיבה לכך שכל ההערכות המחמיאות שקיבלה לא עזרו לה כשהגיע הזמן לבחור מי יפוטר. למה הציון שלה היה כל כך גרוע? קשה לדעת. האלגוריתמים של חברת הייעוץ הם כמו קופסה שחורה: נכנסים אליהם נתונים, והם מחזירים ציון. לך תדע מה קורה בפנים.
אוניל. "מדעני מידע מוציאים מאנשים את האנושיות, וכך הם לא צריכים לחשוב על האנשים שמאחורי הבחירות שהם יוצרים" . אבל ויסוצקי דווקא חשדה שהיא יודעת מה קרה. היה לה הסבר הגיוני ופשוט: הציונים של התלמידים שלה במבדקים הידרדרו בשנה שבה לימדה אותם. הסיבה לכך לא היתה בהוראה שלה, אלא בעובדה שבשנה הקודמת הם קיבלו ציונים גבוהים מדי יחסית לרמתם; הציונים שלהם זויפו. זה היה חשד סביר: מבדקים מזויפים היו תופעה נפוצה בוושינגטון — המורים נהגו לנפח באופן שיטתי את הציונים כדי לקבל בונוסים ותקציבים. תחקיר נרחב שפורסם באותה שנה חשף את השיטה, והצביע על כך שהתקיימה גם בבית הספר שממנו הגיעו התלמידים של ויסוצקי. היא השתכנעה שזה ההסבר לציון ההוראה הנמוך שלה. הממונים עליה שמעו את הטענות שלה, הודו שהן אכן "מעוררות מחשבות", אבל הוסיפו שלא מדובר בראיות חותכות. מנהל המחוז פסק שהטיפול בה היה הוגן. ויסוצקי גילתה שאי אפשר לערער על המספרים הקרים והפסקניים שהאלגוריתמים מפיקים, אפילו באמצעות טיעונים משכנעים.
כך, המפגש של ויסוצקי עם אלגוריתם היה התנגשות חזיתית וכואבת. לא כל המפגשים עם אלגוריתמים הם כאלה. בעידן הביג דאטה הם נוכחים בחיינו באינספור אופנים, רבים מהם לא ידועים לנו, רבים מהם דווקא חיוביים. אלגוריתמים ממליצים לנו באיזו סדרה חדשה לצפות, או מפנים אותנו לשיר שנאהב. הם עשויים לעזור לנו למצוא את משרת החלומות בלינקדאין, או את אהבת חיינו באתר שידוכים. הם חלק בלתי נפרד מהחיים במאה ה־21.
ובכל זאת, כפי שמדגים הסיפור של ויסוצקי, יש להם גם צד אפל. לא רק שכמעט בלתי אפשרי להתווכח איתם — לכו תבקשו שימוע מול אלגוריתם ותשטחו לפניו את טענותיכם הסבירות — חלקם גם מבוססים על הנחות יסוד שעלולות להיות בעייתיות. הם נועדו לפתור בעיות, אבל בעצם מנציחים בעיות, במסווה האובייקטיבי של "הנוסחה חישבה ומצאה". "רבים מהיישומים מונעי המתמטיקה שמניעים את כלכלת המידע לוקחים דעות קדומות, חוסר הבנה והטיות, ומקודדים אותם אל תוך מערכות התוכנה שבאופן גובר מנהלות את חיינו", טוענת ד"ר קתי אוניל. "כמו אלים, המודלים המתמטיים האלה נסתרים ודרכיהם גלויות רק לכוהנים הגדולים — מתמטיקאים ומדעני מחשב. על השיפוט שלהם, אפילו כשהוא מוטעה או מזיק, אי אפשר לערער. והם נוטים להעניש את העניים והמדוכאים בחברה, ולהעשיר את העשירים עוד יותר".
קתי אוניל מכירה מבפנים את מעמד הכוהנים הגדולים: היא מתמטיקאית ומדענית מידע, אחד המקצועות הלוהטים של התקופה. היא עבדה בוול סטריט ובתעשיית האינטרנט, החזיתות החמות של התחום, וראתה מקרוב כיצד היא ועמיתיה "הופכים אנשים לשובלי נתונים". והיא חושבת שאנחנו צריכים לדעת את זה, להבין איך זה עובד, להכיר את הסכנות. "Weapons of Math Destruction" ("נשק להשמדה מתמטית", על משקל הביטוי "נשק להשמדה המונית") היא קראה לספרה החדש, רב־מכר שיצא בחודש שעבר וכבר מועמד לנשיונל בוק אוורד, אחד הפרסים היוקרתיים בארצות הברית, וזוכה לביקורות נלהבות. "אני רוצה להבהיר לאנשים שלא מדובר בפחד מעתיד דיסטופי", היא אומרת בראיון בלעדי ל"מוסף כלכליסט". "זה משהו שקורה עכשיו — והוא פוגע בנו כחברה".
. איור: קורן שדמי אלגוריתם לא חוקתי שולח לכלא לא רק את חייהם של מורים האלגוריתמים יכולים להפוך מקצה לקצה. הנה עוד דוגמה קשה. בלא פחות מ־24 מדינות בארצות הברית נעשה כיום שימוש במודלים ממוחשבים כדי להעריך מה "סיכון ההישנות" של העבריינים, כלומר מה הסיכוי שיפשעו שוב בתקופה מוגדרת. אל המערכת מוזנים מגוון נתונים, והיא מציגה בפני השופט דירוג המתיימר לקבוע אם הנאשם שלפניו נמצא בסיכון נמוך, בינוני או גבוה לפשוע שוב. "אלגוריתמים לדירוג סיכון הישנות משמשים שופטים כדי לסייע להם לקבוע את משך גזר הדין, את תנאי השחרור על־תנאי או את הערבות", מסבירה אוניל. "אם אתה מורשע בפשע ונקבע שיש לך סיכון הישנות גבוה, לעתים קרובות תישלח למאסר ממושך יותר. כשחושבים על זה, זה דבר משונה לעשות: כאשר גוזרים על מישהו עונש מאסר ממושך יותר בגלל שיש לו סיכון הישנות גבוה, זה בעצם שקול להעניש אותו מראש על משהו שהוא עוד לא עשה".
אבל לא רק עצם השימוש בדירוג הסיכון הזה מטריד את אוניל, אלא גם האופן שבו האלגוריתם נבנה. "הדירוגים נוצרים ומחושבים באופן שהוא לא הוגן בבסיסו", היא אומרת. "יש לכך שתי סיבות, ושתיהן קשורות לסוג הנתונים שמוזנים למערכת. הסוג הראשון הוא מידע על מעצרים קודמים שהיו לך. השימוש בהיסטוריית המעצרים אינו הוגן כי בארצות הברית יש מערכת שיטור לא שוויונית: נוכחות המשטרה בשכונות שחורות גבוהה הרבה יותר, מה שמביא לכך ששיעורי המעצר בקרב שחורים גבוהים הרבה יותר. לאדם שחור יש סיכוי גבוה הרבה יותר להיעצר על עישון גראס מאשר לאדם לבן, אף שהעישון נפוץ בקרב לבנים ושחורים באותה מידה. שחורים גם נעצרים הרבה יותר בגלל בעיות שנגזרות ממצב נפשי, התמכרות או עוני: אין להם גישה לשירותים ציבוריים אז הם משתינים ברחוב, ואז נעצרים". במילים אחרות, השימוש בהיסטוריית המעצרים מטה את הכף לרעת נאשמים שחורים.
הפגנה בעקבות אלימות של שוטרים נגד שחורים בלוס אנג'לס, בספטמבר. "התוכנה המשטרתית שולחת יותר שוטרים לשכונות עניות, והם מוצאים כל מיני עבירות קטנות שרק מעצימות את הסטטיסטיקה הגרועה של השכונה" . צילום: אם סי טי וזה לא הכל. "סוג הנתונים השני שנכנס לדירוגי הסיכון הוא תשובות לשאלונים שהנאשמים צריכים למלא. אלה אמנם שאלות שהתשובות עליהן יכולות להיות רק כן ולא, אבל בעצם הן משמשות 'פרוקסי' (ייצוג) של גזע ומעמד. אחת משיטות הדירוג הנפוצות ביותר, LSIR, שואלת למשל 'האם אתה גר בשכונה שיש בה שיעור פשע גבוה?'. זה אופן אחר לשאול אם אתה עני ושחור. שאלה אחרת היא 'האם השעו אותך אי פעם מבית ספר?' — ידוע כי ילדים וילדות שחורים נמצאים בסבירות גבוהה הרבה יותר להיות מושעים מילדים לבנים. וגם: 'האם מישהו מהמשפחה שלך הסתבך עם החוק?'. זו כבר שאלה לא חוקתית; אם עורך הדין היה אומר 'כבודו, תשפוט את האיש הזה בבקשה לתקופת מאסר ממושכת יותר בכלא כי אבא שלו היה בכלא', השופט היה פוסל את זה מיד. אבל כשהשאלה הזאת מוטמעת בדירוג הסיכון היא נהפכת ל'מדעית', וחוסר ההוגנות שלה נהפך לבלתי נראה".
הקישור בין מדעיות כביכול לאלגוריתם הוא חלק גדול מהבעיה, אוניל מבהירה. "הדירוגים האלה נתפסים כמדעיים ואובייקטיביים והם משמשים בין השאר לשפוט אנשים לתקופות מאסר ממושכות יותר. זו דוגמה מחרידה במיוחד, כי היא גם יוצרת את המציאות שהיא צופה. כאשר יש לך דירוג סיכון גבוה יותר זה מוביל לעונש מאסר ממושך יותר. כאשר אנשים נשארים בכלא זמן רב יותר, הם יוצאים כשיש להם פחות קשרים לקהילה, פחות כסף, פחות מקומות לגור בהם, ופחות סיכוי למצוא עבודה. ואז הם מוצאים את עצמם בחזרה בכלא. זו לולאה מזיקה".
המורה שרה ויסוצקי, שפוטרה ב"הוראת" אלגוריתם. גילתה שאי אפשר להילחם בפסיקת המחשב . צילום: גטי אימג'ס האם ייתכן שהדירוגים האלה בכל זאת צופים במדויק מה הסיכוי שמישהו יחזור לכלא?
"צריך להבין שהסיבה שבגללה שאלה כמו 'האם אתה גר בשכונה עם הרבה פשיעה?' מאפשרת לצפות באופן טוב אם תיעצר שוב היא שיש הרבה יותר סיכוי שהמשטרה תמצא אותך עובר עבירה אם אתה גר בשכונה עם פשע גבוה. אנחנו מדברים על אנשים עניים, שגרים בשכונה ענייה, והמשטרה עוצרת אנשים כי הם עניים. כל העסק צפוי מאוד".
המחשב בונה מעגל הרסני לא רק המדינה משתמשת באלגוריתמים מתוך יומרה לצפות את התנהגותם של האזרחים ולהפיק מזה משהו. גם גופים מסחריים עושים את זה. נתוני הגלישה שלנו, למשל, משמשים אותם כדי להבין את מצבנו הפיננסי: קרוב לוודאי שאדם שגולש במחשב משכונה יקרה בסן פרנסיסקו יהיה במצב פיננסי טוב יותר ממי שכתובת המחשב שלו ממקמת אותו במזרח אוקלנד, וכך גם מי שחיפש בעבר יגואר חדשה לעומת מי שחיפש פורד משומשת, ועוד ועוד. נתונים כאלה מאפשרים לחברות כרטיסי האשראי לדרג את הגולשים לפי מצב כלכלי משוער, ולהתאים להם את המוצרים. אם האלגוריתם נתן לגולש דירוג נמוך יותר, הוא יראה פרסומות לכרטיסי אשראי שנושאים ריבית גבוהה יותר, או שלא יציעו לו אשראי בכלל.
המציאות הזאת לא הוגנת, טוענת אוניל, כי דירוג האשראי שאתה מקבל בשיטה הזאת לא נוגע להתנהלות הפיננסית האישית שלך בעבר, אלא לאופן שבו אנשים אחרים, עם מאפייני גלישה דומים לשלך, התנהגו. ומה אם אתה דווקא מקפיד לשלם בזמן, בניגוד לשכניך? אכלת אותה.
כך עוברת אוניל תחום אחר תחום ומציגה את האופן שבו האלגוריתמים מהסוג שהיא מכנה "נשק להשמדה מתמטית" יכולים לחרוץ את גורלנו ללא ידיעתנו. "מדובר באלגוריתמים שנמצאים בשימוש נרחב והם בעלי חשיבות: יש להם השלכות על היבטים משמעותיים בחייהם של הרבה אנשים, על שאלות כמו אם תתקבל לעבודה, אם תישלח לכלא, אם תוכל לקנות ביטוח או לקבל הלוואה", היא מפרטת.
הפגנה של עובדי סטארבקס בסיאטל נגד שיטת קביעת המשמרות המבוססת על אלגוריתמים, באפריל. השימוש באלגוריתמים מוביל לכך שרבים מהעובדים מיודעים על שינויים בסידור העבודה שלהם רק יום או יומיים מראש . איור: Working Washington "מאפיין שני של האלגוריתמים האלה הוא שהם סודיים. אנשים מדורגים על ידי שיטות הדירוג האלה אבל הם לא מבינים את הנוסחאות, ולעתים קרובות בכלל לא מבינים שהם מדורגים. זה בלתי נראה מבחינתם. המשמעות של הסודיות הזאת היא שהאנשים שבונים את שיטת הדירוג לא נדרשים להסביר אותה, לתקן טעויות או להוכיח שהדירוג הוגן או חוקי. ולבסוף, האלגוריתמים האלה הרסניים. הם הורסים חיים של אנשים ויש בהם גם סכנה של היווצרות אפקט מעגלי שבו האלגוריתמים מעצימים את ההשפעה של עצמם".
לפי אוניל, דוגמה בולטת למעגל הרסני כזה היא הדירוגים המושלמים, AAA, שקיבלו האג"ח מגובות המשכנתאות ערב המשבר הפיננסי: הדירוג הזה, שנשען על מודלים מתמטיים שבנו מומחים, אִפשר לבנקים למכור את האג"ח תמורת סכומים נאים, והעובדה שהמוצרים האלה נמכרו היטב חיזקה עוד יותר את האמינות שלהם ושל התהליך שבו יוצרו. כך נוצר מעגל שבו הבנקים וסוכנויות הדירוג "גירדו זה לזה את הגב ומילאו זה לזה את הכיס", כהגדרת אוניל.
דוגמה אחרת נוגעת לשאלה למה בכלל השכונות העניות מוצפות בניידות משטרה. אוניל מסבירה שזו תוצאה של שימוש בתוכנה לחיזוי פשע, שמנסה לאתר אזורים מוכי עבריינות. יש בזה היגיון מסוים — כך המשטרה יכולה לנצל את משאביה יותר ביעילות. הבעיה מתחילה ברגע שהתוכנה משקללת גם עבירות קלות כמו שוטטות, קיבוץ נדבות או החזקת סמים בכמויות קטנות — דברים שמאפיינים כאמור שכונות עניות. התוכנה מתחילה לשלוח יותר ניידות לשכונות כאלה, והשוטרים מאתרים בהן עוד עבירות קטנות, מה שרק מעצים את הסטטיסטיקה הגרועה של השכונה, בלי כל קשר לעבירות החמורות יותר שבהן המשטרה היתה אמורה להתמקד מלכתחילה. כך מתקבל מעגל הרסני.
שוטר בודק צעיר ששתה אלכוהול ברחוב, בלוס אנג'לס. האלגוריתמים נועדו להילחם בגזענות. מה נשאר מזה? . צילום: רויטרס המחשה נוספת אפשר למצוא בשגרה של עובדי המשמרות בתחתית סולם התעסוקה, האנשים שמסדרים מדפים בחנויות כלבו, מוזגים קפה בסטארבקס או הופכים המבורגרים ברשתות מזון מהיר. רשתות הענק מסתכלות עליהם כתשומה שצריך לנהל באופן אופטימלי, ועושות זאת באמצעות אלגוריתמים. אלה מאפשרים לנהל את משמרות העובדים באופן דינמי ולהתאים אותן במדויק לתנועת הלקוחות הצפויה. תחזית לגשם, למשל, היא תחזית ליותר לקוחות בבית הקפה, ולכן דורשת תגבור. יש בזה היגיון תפעולי, אבל מבחינת העובדים המשמעות היא אי־ודאות: לפי נתונים מ־2014 שאוניל מביאה בספר, שני שלישים מעובדי תעשיית שירותי המזון בארצות הברית ויותר מחצי מעובדי הקמעונאות מקבלים התראות של שבוע או פחות על שינויים במשמרות שלהם, ולעתים קרובות מיודעים על השינויים רק יום או יומיים מראש. לעובדים במשרות כאלה קשה יותר ללמוד במקביל לעבודה, למצוא סידור קבוע לילד או אפילו לעבוד בשתי משרות. החוקים שנועדו להגביל את השימוש בתוכנות ניהול משמרות, כותבת אוניל, נתקעו בבית הנבחרים.
לפחות בחלק מהמקרים, אוניל מדגישה, האלגוריתמים שהיא מבקרת הם כאלה שלא עמדה מאחוריהם כל כוונת זדון. "לעתים קרובות הם נוצרים עם כוונות טובות לפתור בעיה מסובכת, אבל הטענה שלי היא שהם לא פותרים את הבעיה אלא להפך, מחריפים אותה".
כשהופכים אנשים למספרים אוניל (43) היא בת לשני מתמטיקאים, שעשתה דוקטורט במתמטיקה בהרווארד ופוסט דוקטורט ב־MIT והיתה פרופסורית בקולג' ברנרד המסונף לאוניברסיטת קולומביה (שבה בעלה המתמטיקאי עדיין מלמד). את הקריירה האקדמית המסודרת עזבה לפני כעשור. "אהבתי מתמטיקה ואני עדיין אוהבת מתמטיקה, אבל החלטתי שאני רוצה להיות חלק מהעולם האמיתי, רציתי להיות אשת עסקים", היא אומרת. "אקדמיה היא מקום אטי וקרוב לוודאי שהתחום שלי, תורת המספרים, הוא האטי מכל השדות במתמטיקה. רציתי קריירה דינמית יותר, עם יותר השפעה על העולם. חשבתי שלעבוד בפיננסים יספק את הרצון הזה, וצדקתי. מה שלא הבנתי הוא שלא הייתי צריכה לרצות רק השפעה. הייתי צריכה לרצות השפעה חיובית".
ספרה של אוניל. הוגדרה בעקבותיו "מהמבקרות החשובות של תהליך החימוש המתמשך שעובר על תחום הביג דאטה" . את תחילת דרכה בעולם האמיתי עשתה באחת מקרנות הגידור האגדיות בוול סטריט, די.אי.שאו, הידועה כ"הרווארד של קרנות הגידור", שבה המתמטיקאים הם שנותנים את הטון. אבל העיתוי של אוניל "היה גרוע מאוד". השנה היתה 2007, ו"זמן לא רב אחרי שעברתי לפיננסים העולם החל להתפרק. ברגעים כאלה האנשים שאמורים לשלוט בעניינים פתאום לא נראים חכמים מאוד, וזה אכזב אותי. בהמשך, כשגיליתי שכל העסק נשען על שקר מתמטי, כלומר על כך שהאג"ח מגובות המשכנתאות קיבלו את הדירוג הגבוה ביותר, לא רק שהייתי מאוכזבת אלא שהתביישתי בכל התחום, ובמיוחד במתמטיקאים. הם השתמשו במתמטיקה כדי להגן על התנהלות מושחתת במקום להשתמש בה כדי לספק הארה, שזה מה שמתמטיקה אמורה לעשות. לא רציתי להיות חלק מזה, אז עזבתי".
כך הגיעה ב־2009 לחברת ריסק מטריקס, שסיפקה לענקי וול סטריט כלים מתוחכמים למדוד בדיוק רב יותר את הסיכון של הנכסים ששוכבים במאזנים שלהם. אבל שם היא גילתה שהבנקים לא באמת רוצים לדעת מה הסיכון, ושהעבודה המתמטית נועדה לשמש רק חותמת. לכן ב־2011 עזבה את עולם הפיננסים לטובת עבודה כמדענית מידע בסטארט־אפ שניסה לחזות התנהגות גולשים, וגילתה שמדובר בעוד מאותו הדבר.
"רוב האנשים בביג דאטה לא תופסים את עצמם כדומים לאנשים בפיננסים, אלא כנעלים יותר, כמי שהופכים את העולם למקום טוב יותר. אבל בעצם במקום לחזות איך יתנהגו השווקים, חזיתי איך יתנהגו האנשים, אבל ברמה הטכנית עשיתי את אותו הדבר וברמה עמוקה יותר בשני המקרים מה שעשיתי היה למקסם את הרווחים של המעסיק. בכל מקומות העבודה יצרתי שיטות דירוג שכמעט תמיד בחרו מנצחים ומפסידים ופירקו אנשים לרשימת מאפיינים, הם הפסיקו להיות בני אדם. זה מה שמדעני מידע עושים בדרך כלל: מוציאים מאנשים את האנושיות. אנחנו הופכים אותם למספרים, וכך לא צריך לחשוב על האנשים שמאחורי הבחירות שאנחנו יוצרים".
אוניל לקחה צעד אחורה מהתעשייה, והחלה לכתוב על התחום באופן ביקורתי בבלוג mathbabe. היא נהפכה לפעילה בולטת בתנועת אוקיופיי וול סטריט, החלה להרצות בכנסים מקצועיים וב־2013 גם פרסמה ספר לימוד למדעני מידע. הספר החדש שלה כבר נותן לה תהודה נרחבת הרבה יותר, והיא אף הוכתרה "אחת המבקרות החשובות ביותר של תהליך החימוש המתמשך שעובר על תחום הביג דאטה", לפי "הניו יורק טיימס".
גם הפעם העשירים יוצאים בזול הספר של אוניל מצטרף לדיון המתרחב שמחפש דרכים חדשות לבחון את המנגנונים שבאמצעותם נוצר האי־שוויון בכלכלה ובחברה של ימינו. היא מדגימה בו איך האלגוריתמים רק מעמיקים את הפערים, וגם כיצד הם שלובים זה בזה. כשהאלגוריתמים מזהים תושבים באזורים עניים, למשל, "הם לא רק שולחים יותר שוטרים לעצור אותם וכשהם מורשעים גוזרים עליהם עונשי מאסר ארוכים יותר. הם גם מונעים מהם להתקבל לעבודה, מפגיזים אותם במודעות טורפניות להלוואות סאב־פריים, מעלים את הריבית שהם משלמים על המשכנתא, על הלוואות ועל ביטוחים, וגם מורידים עוד יותר את דירוג האשראי שלהם, מה שמוביל לסחרור כלפי מטה. בעולם של כלי הנשק להשמדה מתמטית, להיות עני נעשה דבר מסוכן יותר ויקר יותר".
מהעבר האחר של הפער הכלכלי, קובעת אוניל בספרה, האלגוריתמים יכולים דווקא להפוך את החיים לנוחים ויעילים יותר במגוון דרכים קטנות, אבל באופן כללי יש להם פחות השפעה, פשוט משום שלהבדיל מהאנשים שבתחתית הסולם, אלה שלמעלה נהנים מיחס אישי. "אותם אלגוריתמים שמנצלים את העניים גם ממצבים את בני מעמד 'החיים הנוחים' בנישות השיווקיות המתאימות. הם מטיסים אותם לחופשה בארובה, מקסיקו, ומצניחים אותם ברשימת ההמתנה לבית הספר למינהל עסקים וורטון. לא מעט מהם אולי מרגישים בזכות האלגוריתמים שהעולם נעשה חכם יותר וקל יותר. המודלים ממליצים להם על דילים של פרושוטו וקיאנטי, על סרט טוב באמזון, או מנווטים אותם לבית קפה בשכונה שהיתה עד לא מזמן מפוקפקת. האופי השקט והאישי של הטרגטינג הזה מאפשר למנצחים של החברה לא לראות איך אותם מודלים בדיוק הורסים חיים, לפעמים במרחק רחובות מעטים".
"והאלגוריתמים האלה", ממשיכה אוניל, "מהונדסים להעריך מספרים גדולים של בני אדם. הם עובדים בסיטונות, והם זולים. לכן הם משמשים רשת מזון מהיר או מחוז חסר משאבים של משרד החינוך. כך ההמונים מטופלים בידי מכונות בעוד מנגד בעלי היכולת מטופלים בידי בני אדם. פירמת משפטים אקסלוסיבית או בית ספר תיכון פרטי יוקרתי יישענו הרבה יותר על המלצות אישיות ועל ראיונות פנים אל פנים".
יש קוראים שמסודרים בחיים ועשויים להגיד, "אוקיי, אז מבחינתי המשמעות של המציאות שאת מתארת היא שאקבל פרסומות שמותאמות לי אישית. מה רע?".
"אתה צודק. רוב האנשים הלבנים והמשכילים במדינה שלי, למשל, זוכים להזדמנויות הודות לפרסומות בהתאמה אישית. האנשים בצד האחר של הספקטרום הם אלה שנופלים קורבן ליחס טורפני.
"וברוב המקרים גם אני אישית לא חווה בעיה, אבל לעתים זה כן קורה גם לי, למשל בתוצאות הדירוג של המוסדות להשכלה גבוהה". אוניל מפרטת בספר איך הדירוג הזה, שבארצות הברית יש לו חשיבות גדולה בקרב סטודנטים לעתיד, משקלל מגוון גורמים שאמורים להכריע לאן כדאי להירשם ללימודי תואר ראשון — אבל אינו מביא בחשבון את שכר הלימוד. עקב זאת הכסף הפסיק להיות שיקול, ומירוץ האוניברסיטאות להגיע לראש הדירוג הוביל לזינוק מטורף בעלות התואר הראשון בארצות הברית. "כרגע אני מנסה להבין איך אני יכולה להרשות לעצמי לשלוח את שלושת הילדים שלי לקולג'".
ומעבר לכך, אוניל מבהירה, גם אם לא נפגעת מהאלגוריתמים זה לא אומר שהם לא בדרך אליך. "אחד הדברים שאני מוטרדת מהם הוא העובדה שאין כיום כל רגולציה על שיטות לחיזוי סיכונים בריאותיים עתידיים. נכון, אסור להשתמש במידע הרפואי שלך, אבל אין בעיה להשתמש בכל דבר אחר שעשוי ללמד על הסטטוס הרפואי שלך. השובל הדיגיטלי שאנחנו משאירים מאחורינו בטוויטר או כאשר אנחנו קונים דברים באינטרנט יוצר פרופיל שבאמצעותו אנשים עשויים להסיק שאנחנו עתידים לחלות. זה לא בהכרח יקרה בעשור הקרוב, אבל לא הייתי מופתעת אם בעתיד המידע הזה יחולץ מהמידע שאנחנו משאירים ברשת. ואז מה ימנע מהמעסיק שלנו להסתכל על דירוג הבריאות שלנו ולהגיד 'מצטער, אתה לא תהיה בריא בעתיד' — ולא לתת לנו עבודה? בארצות הברית הסיפור בעייתי הרבה יותר כי בשיטה שלנו המעסיק הוא זה שמשלם על ביטוח הבריאות, ולכן יש לו תמריץ חזק להימנע מהעסקת אנשים חולים. אבל כך או כך, קרוב לוודאי שמעסיקים ירצו להימנע מהעסקת אנשים חולים".
נגד הצדק, נגד האינדיבידואליזם מעבר לחששות הפרקטיים, הבעיה האמיתית לפי אוניל היא זו העקרונית. "זה פשוט לא הוגן לשים אותי באותה קטגוריה כמו כל מי שאתה חושב שנראה כמוני. החלום האמריקאי אומר שצריך להתייחס אלינו כאל אינדיבידואלים, אנחנו צריכים להיות מסוגלים להוכיח את עצמנו, להיות מסוגלים להצליח לא משנה מאיפה הגענו. זה הרעיון של ניידות חברתית. וכאן אנחנו מדברים על משהו שהוא ההפך מהרעיון הזה. באופן בסיסי, מה שהאלגוריתמים האלה עושים זה להגיד לילד בגטו שחור ש'מאחר שבאופן סטטיסטי אנשים מהשכונה שלך לא מצליחים בחיים, כנראה גם אתה לא תצליח בחיים — ולכן אנחנו נביא לכך שיהיה בלתי אפשרי עבורך להצליח בחיים'. זה סוג המחשבה שאני מזהה באלגוריתמים האלה, והיא מנוגדת לא רק לחלום האמריקאי אלא כנראה גם למושג הצדק של רוב האנשים".
יכול להיות שיש כאן פשרה? האלגוריתמים האלה אולי לא הוגנים, אבל הם מאוד אפקטיביים.
"אני אענה באמצעות דוגמה. תסתכל על החוקים נגד אפליה באשראי שעברו בשנות השבעים. באותן שנים היו די הרבה נשים שרצו לקבל כרטיסי אשראי או הלוואות ונתקלו בסירוב, במיוחד נשים גרושות. הן התנגדו לזה, וכך נולד חוק שוויון הזדמנויות באשראי. רגע לפני העברת החוק הוסיפו לו גם את השחורים, שבאופן שיטתי הודרו מקבלת הלוואות, והחוק קובע שאסור לנותן ההלוואה להחליט עליה על בסיס גזע או מגדר. זה אולי פגע בבנקים, אבל זה היה איזון חדש בין הוגנות לדיוק, בין האינטרסים של הבנקים, שרצו להרוויח, לאינטרסים של הציבור הכללי".
אז מה צריך לעשות? הצעד הראשון שאוניל מציעה הוא מתבקש, ובכל זאת: "קודם כל, אנחנו צריכים לגלות מה קורה עם האלגוריתמים האלה. אנחנו צריכים לערוך בקרה שלהם, כדי לוודא שהם הוגנים. כרגע, אין לנו כמעט כלים שמאפשרים לעשות זאת. אנחנו פשוט משגרים לאוויר העולם את האלגוריתמים האלה, ומניחים שמשום שהם מתמטיים הם בטח מושלמים. אבל זו הרי טכנולוגיה חדשה, ואין סיבה להניח שהם עובדים באופן מושלם. לכן, צריך שיהיו לנו כלים שבאמצעותם נוכל לבדוק אותם".
ובהקשר הזה אוניל מוסיפה כי רבים מהאלגוריתמים שמשפיעים כיום על חיינו הם אלגוריתמים "טיפשים", שאינם לומדים ומשתפרים, ובעצם התוצאות שלהם לא אומרות הרבה, גם אם יש להן השלכות דרמטיות. כזה הוא למשל האלגוריתם שהביא לפיטורי המורה שרה ויסוצקי.
בפועל, אוניל סבורה שמדעני מידע צריכים ליצור שדה מחקרי חדש, שיבדוק עד כמה לאלגוריתמים יש תוקף, עד כמה הם הוגנים או מפלים. "תוצאות הבדיקות האלה צריכות להיות פומביות. אפילו אם אנחנו לא נראה את קוד המקור של האלגוריתם, אנחנו צריכים לקבל הוכחה שהוא בעל משמעות והוגן".
החזון הזה מאפשר לה להיות, בכל זאת, אופטימית. היא עדיין מאמינה בכוחה של המתמטיקה. "ברגע שיהיו לנו כלים טובים לבקרה, נוכל לוודא שהמערכות האלה הוגנות, ואז הן יוכלו להציע את השיפור המובטח לעומת המנגנונים הישנים, המוטים. הרי צריך לזכור שהסיבה שבגללה החלו להשתמש בשיטות לדירוג 'סכנת ההישנות' של נאשמים היא כדי להתגבר על גזענות של שופטים. האלגוריתמים האלה היו ניסיונות לגרום לשופטים להיות אובייקטיבים יותר. אני לא חושבת שהאלגוריתמים האלה עובדים כל כך טוב, אבל יכולנו לבנות שיטה טובה יותר, שתעבוד טוב יותר. מה שגדול באלגוריתמים הוא שהם לא משקרים, ואין אג'נדה. אם יש הטיות שהסתננו פנימה, אנחנו יכולים להיפטר מהן".