התרגיל היה אמור לרוץ בסביבה סגורה, בלי חיבור לאינטרנט, מול חברות מומצאות. אלא שאחד השמות המומצאים התברר כדומיין אמיתי שקיים בעולם, והחיבור לרשת נפתח בשוגג. המודל של גוגל המשיך לעבוד לפי המשימה שקיבל, ניסה סיסמאות מול מה שנראה לו כמו יעד אימון, ונכנס למערכת של חברה אמיתית.

מה קרה

גוגל אישרה ל"וול סטריט ג'ורנל" שג'מיני (Gemini), מודל הבינה המלאכותית שלה, חדר במאי האחרון למערכות של שלוש חברות אמיתיות. זה קרה במסגרת בדיקה של חברת Irregular הישראלית, שעוסקת בבחינת היכולות וההתנהגות של מודלים חזקים, ושהייתה מעורבת גם בחשיפת אירועים דומים אצל OpenAI, אנת'רופיק ומטא. הבדיקה בנויה כתרגיל שבו המודל מקבל מערכת ומשימה ומנסה למצוא בה דרך פנימה; בעולם האבטחה קוראים לפורמט הזה capture the flag. השם שנבחר לאחת החברות הבדיוניות בתרגיל היה, בלי שמישהו שם לב, שם של דומיין אמיתי.

ואיך הוא נכנס? בלי שום תחכום. במקרה אחד המודל ניחש סיסמה בניסיונות חוזרים עד שהיא נפתחה, ובשני המקרים האחרים הוא מצא פרטי אימות שמישהו השאיר במאגר קוד ציבורי והשתמש בהם כדי להיכנס למערכת שלא הייתה שלו. לפי גוגל, ברגע שהמודל זיהה שמדובר בחברה אמיתית הוא עצר. "בשלושת המקרים האלה המודל עצר", אמרה הת'ר אדקינס, סגנית נשיא להנדסת אבטחה בגוגל, לעיתון. Irregular עדכנה את גוגל בסוף יולי ואומרת שכל הבעיות בצד שלה טופלו עוד לפני שבועות. גוגל בחרה לא לפרסם את האירוע לציבור בטענה שלא נגרם נזק, אבל יידעה את שלוש החברות שנפרצו. מי הן, לא פורסם.

למה זה חשוב לכם

סיפור על מודל שיצא מסביבת בדיקה נשמע רחוק מהחיים, אבל שתי הדלתות שנפתחו כאן הן בדיוק שתי הדלתות שמובילות לחשבונות פרטיים: סיסמה שאפשר להגיע אליה בניסיונות חוזרים, ופרטי גישה ששוכבים במקום שכל אחד יכול לקרוא. תוקפים אנושיים סורקים מאגרי קוד ציבוריים ומחפשים בהם מפתחות וסיסמאות כבר שנים, וזה עובד מאותה סיבה בדיוק: אנשים מעלים לשם קבצים בלי לבדוק מה נשאר בתוכם. ההבדל בין המודל לתוקף הוא מי מפעיל את הסריקה, לא מה היא מוצאת.

מה עושים?

תנו לכל חשבון סיסמה משלו, ארוכה ושונה מהאחרות. מנהל סיסמאות, בדפדפן או באפליקציה נפרדת, עושה את זה במקומכם, וסיסמה שאפשר לנחש בניסיונות חוזרים היא בדיוק זו שתיפול ראשונה.

הדליקו אימות דו-שלבי בדואר, בבנק וברשתות החברתיות. זה מה שהופך סיסמה שנוחשה לחסרת ערך.

לפני שאתם משתפים משהו בפומבי, קובץ קוד, צילום מסך או מסמך עם קישור פתוח, עברו עליו ובדקו שלא נשארו בו שם משתמש, סיסמה או מפתח גישה. משם נלקחו פרטי האימות בשניים מהמקרים.

המודל של גוגל עצר כשהבין לאן נכנס. סקריפט אוטומטי שמנסה סיסמאות מול החשבון שלכם לא יעצור.