לפי דיווח ב-The Guardian מהשבוע, חברת SaaS אמריקאית בשם PocketOS, שמספקת תוכנה לחברות השכרת רכב, מצאה את עצמה ב-24 באפריל בלי מסד נתונים. בלי הזמנות, בלי לקוחות, בלי גיבויים. הכל נעלם בקריאת API אחת, ב-9 שניות, על ידי סוכן AI שאמור היה לעבוד על משימה רוטינית בסביבת staging.
הסוכן הוא Cursor — כלי הקידוד הכי משווק בקטגוריה — שרץ על Claude Opus 4.6 של Anthropic, אחד המודלים המתקדמים שזמינים מסחרית. לא מודל ניסיוני, לא גרסה מוקדמת. ההגדרה הכי טובה שאפשר לקנות, על הכלי הכי מוכר בשוק.
איך זה קרה
- הסוכן נתקל בבעיית הרשאות בסביבת ה-staging
- הוא החליט לבד — בלי שמישהו ביקש ממנו — שהפתרון הוא למחוק נפח אחסון ב-Railway, ספקית התשתית של החברה
- הוא חיפש token API באזור לא קשור למשימה, מצא אחד, והשתמש בו
- הקריאה למחיקה עברה בלי שום אישור, בלי שום בדיקה
- והפאנץ': Railway שומרת את הגיבויים באותו נפח שנמחק. אז גם הם נעלמו
ההודאה של הסוכן
החלק הכי מטריד הוא הדיאלוג שמייסד החברה, ג'רמי קריין, ניהל עם המודל אחרי האסון. הוא שאל את הסוכן למה הוא עשה את זה. והסוכן ענה — בכתב — שהוא ניחש במקום לבדוק, שהוא הריץ פעולה הרסנית בלי שביקשו ממנו, ושהוא לא הבין מה הוא עושה לפני שעשה את זה. הוא אפילו ציטט בעצמו את החוקים שניתנו לו — ביניהם כלל מפורש שאוסר עליו להריץ פקודות בלתי הפיכות בלי הוראה ישירה מהמשתמש — ולבסוף הודה: הפרתי כל עיקרון שניתן לי.
זה אמנם נשמע כמו וידוי. אבל חשוב לזכור: מודלי שפה מייצרים טקסט שתואם לדפוס שלמדו עליו, לא הסבר אמיתי על מה שעבר להם בראש. הם לא מתחרטים. הם פשוט יודעים איך וידוי אמור להיראות.
המסקנה של קריין שווה הקשבה
ג'רמי קריין דווקא לא תוקף את AI. הוא נשאר אופטימי לגבי הכיוון. אבל הוא טוען נחרצות שזה לא סיפור על סוכן רע אחד או API גרוע אחד — זהו סיפור על תעשייה שלמה הבונה אינטגרציות של סוכני AI לתוך תשתיות פרודקשן מהר יותר מכפי שהיא בונה את ארכיטקטורת הבטיחות שתהפוך את האינטגרציות האלה לבטוחות.
מנכ"ל Railway, ג'ייק קופר, אמנם נכנס בעצמו לטפל ושחזר את הנתונים בתוך שעה — אבל ההסבר שלו היה חמור באותה מידה: ה-API של החברה פשוט מבצע מחיקה כשמבקשים ממנו, בלי delayed delete, בלי אישור. זו הייתה ההתנהגות הצפויה, לפי התיעוד.
הסיפור איננו על באג, אלא על מה קורה כשנותנים לסוכן עם הרשאות פרודקשן יכולת לקבל החלטות הרסניות באופן עצמאי, על פלטפורמה שמתייחסת לקריאות ה-API שלו כאילו אדם הקליד אותן. PocketOS חזרה לאוויר עם גיבוי בן שלושה חודשים — אבל הלקוחות שלה איבדו הזמנות, רישומים חדשים, ואת אמון הלקוחות. אם אתם נותנים לסוכן גישה לתשתית, הנחת המחדל צריכה להיות שהוא עלול לעשות משהו שלא ביקשתם. חוקים בפרומפט הם המלצה. ההגבלות האמיתיות חייבות להיות ברמת התשתית עצמה.