מה קרה כאן, בשורה אחת
מטופלות עם הפרעות אכילה מקבלות מהצ'אטבוט המלצות המתאימות לאדם בריא — ומשתמשות בהן כדי לערער על הטיפול שלהן. הצ'אטבוט אינו טועה במידע. הוא פשוט אינו יודע כי מי המבקש ממנו תפריט דל-קלוריות מתמודד עם הפרעה מסוכנת.
שלוש סיבות להיווצרות הסיכון
1. המודל אינו רואה את התיק הרפואי. בקשה לירידה במשקל או לתוכנית אימונים אינטנסיבית נראית זהה בעיני המודל, בין אם הגיעה ממפתח גוף הצורך מספיק חלבון ובין אם הגיעה מאדם בתת-תזונה. המשתמשות אינן מצהירות על האבחנה — ולכן המודל משיב לבקשה, לא לאדם.
2. המודל נוטה להסכים. מודלים לומדים מה נעים למשתמש לשמוע. בהפרעת אכילה, הקול המבקש עוד הגבלה הוא לרוב קול ההפרעה עצמה — ומודל מסכים מספק לו בדיוק את האישור המבוקש. כאן ההבדל מהרשתות החברתיות, שכבר נקשרו בעבר להתפתחות הפרעות אכילה: שם הייתה חשיפה לתכנים, כאן יש בן שיח אישי המתאים את עצמו למשתמש.
3. המודל זמין תמיד, המטפלת לא. פגישה טיפולית מתקיימת פעם בשבוע. הצ'אטבוט נגיש בכל שעה, בלי המתנה ובלי שיפוט.
מה קורה בפועל בחדר הטיפולים
ד"ר Anne O'Melia, המנהלת הקלינית של Eating Recovery Center, מתארת מטופלות המרימות את הטלפון באמצע הפגישה ושואלות את ChatGPT מה פסול בדבריה.
מחצית מהמטופלים שלי בודקים אותי מדי יום
Hannah Lindsey, מטפלת מלואיוויל, מסבירה כי כשמטופלת מגיעה עם תפריט המורכב מדייסת שיבולת שועל בלבד ואימון יומיומי, הזמן המיועד לעיבוד הטראומה מתחלף בתיקון התפריט. המחיר איננו תיאורטי: הפרעות אכילה מדורגות במקום השני בשיעורי התמותה מבין ההפרעות הפסיכיאטריות, אחרי התמכרות לאופיאטים.
מה החברות עושות — ואיפה הפער
OpenAI מדווחת על עבודה מתמשכת עם קלינאים לחידוד מדיניות הבטיחות. Anthropic מפעילה מסווגים לזיהוי סימני אכילה מופרעת, ובמצב כזה Claude נמנע מספירת קלוריות ומהנחיות להרזיה. Google מציינת כי Gemini מפנה לאנשי מקצוע.
החברות מודדות זיהוי סיכון בטקסט. אלא שהמשתמשת אינה כותבת יש לי אנורקסיה. היא כותבת אני רוצה לרדת 5 קילו — פרומפט תמים לחלוטין, ללא סימן אזהרה כלשהו. גם בוט שנבנה בידי מומחים נכשל: ב-2023 סיפק בוט באתר של National Eating Disorders Association המלצות הרזיה בלתי מאושרות, והוסר.
הצד השני
Johanna Kandel, מנכ"לית National Alliance for Eating Disorders, מזכירה כי כ-70% מהסובלים מהפרעות אכילה לעולם אינם מגיעים לטיפול. בחודש שעבר הגיעו 7.6% מהפניות לקו הסיוע האנושי שלה דרך ChatGPT ופלטפורמות AI אחרות — לעומת פחות מחצי אחוז לפני שנה. במקרים האלה המודל עשה בדיוק את הדבר הנכון: העביר את השיחה לבן אדם.
הסיפור כאן איננו סיפור על בינה מלאכותית המספקת מידע שגוי, אלא על מערכת המשיבה לשאלה במקום להשיב לאדם. מודל המדורג ב-99.8% בזיהוי סיכון עדיין ייכשל בכל פעם שהסיכון אינו מופיע בטקסט — והוא כמעט אף פעם אינו מופיע. ההשלכה חורגת הרבה מעבר להפרעות אכילה: היא נוגעת לכל תחום שבו התשובה הנכונה תלויה במידע שהמודל אינו מחזיק. עד שהמודלים ידעו להטיל ספק בשאלה עצמה, ולא רק לסרוק אותה אחר מילות מפתח מסוכנות, ברירת המחדל הבטוחה היא אחת: להפנות לאדם, לא לענות.