באג המחשב שתקע טייסת של מטוסי הקרב היקרים בעולם בלב ים

באג המחשב שתקע טייסת של מטוסי הקרב היקרים בעולם בלב ים

טייסת מטוסי הראפטור F-22 פילחה את השמיים בדרך מבסיס חיל האוויר של ארצות הברית בהוואי, לאוקינאווה שביפן. ה- F-22 אינו מסוג המטוסים שאתה רוצה להיתקל בו בסמטה חשוכה. חיל האוויר האמריקני טוען שאף מטוס קרב קיים אינו יכול להתחרות בעליונות האווירית שמספק ה- F-22. הוא נועד לחמוק לשטח האויב ולהפיל מטוסי קרב אחרים ביעילות שאין שני לה. אבל זה לא היה תפקידו באותו מסע קצר.

וטוב מאד שכך, מכיוון שבאמצע הדרך התרסקו כל מערכות המחשוב בכל הטייסת, באותו זמן בדיוק.

הטייסים לא נכנסו לפניקה. המערכות שנפלו היו אמנם קריטיות בשדה הקרב – מערכות תקשורת, דלק וניווט – אך המטוסים עדיין המשיכו לטוס. כשהמחשבים סירבו להגיב לפקודות חדשות, הטייסים פשוט אתחלו אותם. או בלועזית צחה – עשו ריסט. המחשבים נדלקו מחדש, החלו לטעון את המערכות, וקרסו שוב מיד.

זה היה השלב בו הטייסים הבינו שהצרה עלולה להיות גדולה יותר מכפי שנדמה להם במבט ראשון. הם היו באמצע לב ים בלי יכולות ניווט, תדלוק או תקשורת עם גורם חיצוני. הם חששו להמשיך לטוס ליעד המקורי – האם ימצאו אותו בכלל? האם יוכלו לנחות בבטחה? – וכך עשו את הדבר היחיד שיכלו, ביצעו פניית פרסה חדה וקיוו למצוא מחדש את בסיס הבית.

למזלם של טייסי ה- F-22, ליוו אותם מטוסי תדלוק במסעם. מערכות הניווט במטוסים אלו המשיכו לתפקד כרגיל, וכך יכלו להנחות את מטוסי הקרב המשוכללים ביותר בעולם בחזרה הביתה.

f-22-raptor_009-ts600.jpg

מטוס הקרב המשוכלל ביותר בעולם. לא שווה הרבה כשמערכות המחשבים שלו מושבתות. התמונה במקור מ- Military.com

כשהגיעה הטייסת להוואי, נערכו בדיקות מחמירות בכל מטוס ומטוס. ברור היה שמדובר בפגיעה במחשבים שעל כלי הטיס, אך החשד הראשוני – מתקפת סייבר – נשלל במהירות. מומחים למדעי המחשב עברו בקפידה על יותר מ- 1.7 מיליון שורות הקוד שהכילו מערכות הטיס, וחיפשו את הסיבה לתאונה. לאחר סריקה מעמיקה הם גילו אותה, והיא הייתה פשוטה להחריד: ברגע שחצו מערכות המחשוב את "קו התאריך הבינלאומי" – קו דמיוני, שכאשר חוצים אותו מתחלף התאריך – הן קרסו מיד, כולן ביחד.

וכך טייסת שלמה של מטוסים, שעלות כל אחד מהם עומדת על מאתיים מיליון דולרים בערך, שותקה מכל בחינה מעשית. אילו היה הדבר מתרחש בשדה הקרב, היו המטוסים הופכים להיות חסרי שימוש. כל זאת, בשל באג קטן וערמומי בתכנה, שאיש לא השכיל לזהות מראש.

ממטוסים למכוניות

ועכשיו לתאונה אחרת, שונה מאד – ודומה יותר מכפי שהיינו רוצים. במאי 2016 נסעה מכונית של טסלה בכביש המהיר בפלורידה. אני כותב במכוון "נסעה המכונית" מאחר והרכבים של טסלה חמושים ב- "נהג אוטומטי" אותו יכול הנהג האנושי להפעיל כרצונו. טסלה ממליצה להתייחס לנהג האוטומטי כמערכת מסייעת בלבד, ומסבירה כי הנהג מחויב לשמור ידיו על ההגה בכל זמן הנסיעה, ולהמשיך לשלוט ברכב. אף על פי כן, נראה שחלק מהנהגים מייחסים למערכת יכולות מוגזמות.

כך, לפחות, עשה הנהג באותו יום הרה גורל, כאשר סמך על הנהג האוטומטי יותר מדי. לפי הפרטים שנחשפו אודות האירוע, ה- 'נהג' האנושי צפה במהלך הנסיעה במכשיר הדי-וי-די הנייד שהיה ברכב, מתוך אמונה שהמכונית תסתדר בכוחות עצמה על הכביש. זה לא מה שקרה, והרכב התנגש בעוצמה במשאית שנסעה מולו. הנהג מת במקום.

Williston-f2.0.JPG

תמונת המשאית בה נכנס הרכב של טסלה במהירות גבוהה בכביש המהיר. הרכב הצליח לצאת מצדה השני של המשאית ולהמשיך לנסוע לאחר מכן – אך ללא רוב חלקו העליון, וכנראה שגם בלי נהג (או נוסע) חי. 

אלון מאסק, מנכ"ל טסלה, אמנם הביע את צערו על האירוע הטרגי, אך הבהיר בהודעה לציבור מטעם טסלה כי –

"זהו מקרה המוות הראשון הידוע רק במהלך יותר מ- 130 מיליון מיילים בהם הופעל הנהג האוטומטי. בכלי הרכב בארה"ב יש מוות כל 94 מיליון קילומטרים. ברחבי העולם, יש מוות כמעט כל 60 מיליון קילומטרים."

במכתב נפרד לפורבס, הוסיף וטען מאסק כי אילו הנהג האוטומטי של טסלה היה זמין בכל רחבי העולם, הרי שחצי-מיליון אנשים היו ניצלים ממוות מדי שנה.

מגיבים אחרים, ככתב הטכנולוגיה והתרבות ניק בילטון, התלוננו במרירות בטוויטר כי –

"1.3 מיליון בני-אדם מתים מדי שנה בתאונות רכבים. אבל אדם אחד מת ברכב טסלה בנהיגה אוטומטית, ואנשים קובעים שמכוניות ללא-נהג אינן בטוחות."

טענותיהם של בילטון ומאסק אינן מחזיקות מים, בלשון המעטה. גם אם אפשר להסתמך על הנתונים שטסלה מספקת, הרי שמדובר במידע המגיע מ- 25,000 מכוניות בלבד. מכוניות אלו יקרות מאד, כך שסביר להניח שרוב הנהגים בהן אינם צעירים חסרי-ניסיון על הכביש, אלא מבוגרים מנוסים יותר. רכבי טסלה גם גדולים וחסונים יותר מרוב הרכבים הפרטיים שעל הכביש, כך שאין פלא שהם מגנים יותר על הנוסעים במקרה של תאונה מרכבים רגילים. ואם כל זה לא מספיק, הרי שדו"ח של מכון ראנד קבע לאחרונה שרכבים אוטונומיים יצטרכו לגמוע מאות מיליארדי קילומטרים על הכביש לפני שניתן לבצע ניתוח סטטיסטי ולהשוות את ביצועיהם לאלו של רכבים עם נהג אנושי.

בקיצור, אי אפשר להשוות בין תפוזים ולימונים בכזו קלות. אלא שבעיה אחרת מסבכת את כל העניין עוד יותר: מקור כוחן של המכוניות האוטונומיות – העובדה שכולן נהוגות ונשלטות על-ידי אותה תכנה, או אותה מערכת אחידה – הוא גם נקודת תורפה גדולה.

סכנות המערכת האחידה

כבני-אדם, כולנו שונים במקצת זה מזה בדרכי החשיבה והפעולה שלנו. יש בינינו הנוהגים יותר ופחות בבטחה, מיומנים יותר או פחות באמנות הנהיגה, מתחשבים יותר או פחות על הכבישים.

הבינה המלאכותית, לעומת זאת, היא סטנדרטית. רוצה לומר, כל רכבי טסלה עומדים להתנהל על הכבישים באופן זהה בדיוק. כולם מקבלים על עצמם את אותה תכנה ואותה מערכת הפעלה.

ועתה, מה קורה אם יש ברכבים הללו באג כלשהו? למשל, באג שיגרום למערכות המחשוב שלהם לקרוס מיידית במצבי קיצון מסוימים?

אם חשש זה נשמע לכם הזוי, ראוי שתזכרו שעדיין לא הצלחנו לנכש את הבאגים מאף תוכנה – והרכבים של טסלה כבר הוגדרו כ- "מחשב על גלגלים". המכוניות המודרניות מכילות עשרות מיליוני שורות קוד – וכל שורה נוספת מעלה את הסיכוי לפעולה שגויה כלשהי. מטוסי ה- F-22 המהוללים והיקרים הכילו רק 1.7 מיליון שורות קוד – וקרסו כשחצו את קו התאריך. קיימים, לפיכך, באגים גם במכוניות של טסלה ומכיוון שהרכבים האלו פועלים על בסיס אותה מערכת, כשבאג כזה יצוץ לפתע הוא עלול להשפיע על אלפי נהגים בו-זמנית. זוהי הסכנה הגדולה הטמונה בשימוש במערכת אחידה.

המחשבים שישגיחו על המחשבים

ראשית, לא צריך להיכנס לפאניקה ולעצור את כל התקדמות הטכנולוגיה. סביר להניח שתוך חמש עד עשר שנים, הרכבים האוטונומיים באמת ינהגו בכבישים טוב יותר מהנהג האנושי הממוצע. כל הניתוח שעשיתי עד כה רק מסמן על נקודה אחת חשובה: עלינו לבחון את הביצועים שלהם ברמת קפדנות מחמירה ולא להיות שאננים, מאחר ובאג אחד יכול להשפיע על מיליוני מכוניות בו-זמנית.

הבאג הבעייתי ביותר הוא זה שאיננו יכולים אפילו לדעת על קיומו. כאשר מכונית אוטונומית עושה תאונה, ברור שהתוכנה ששולטת בה תיבחן לעומק כדי להבין האם שגיאה כלשהי גרמה לתאונה. אבל מה קורה במצב בו המכונית אינה עושה תאונה, אלא רק נוהגת ביעילות פחותה מהמיטב אליו היא מסוגלת להגיע, כתוצאה מבאג כלשהו בתכנה? למתכנתים האנושיים יהיה קשה במיוחד לזהות מקרים כאלו, שכן איך אפשר לדעת מה היעילות המירבית אליה יכול הרכב האוטונומי להגיע?

כדי לזהות תקלות מסוג זה, יצטרכו המתכנתים האנושיים להריץ תוכנות בינה מלאכותית שינתחו את ביצועי הרכב. בינות בוחנות אלו יוכלו גם להריץ מיליוני סימולציות של מצבים שונים, וכך יבחנו את התוכנות בקפדנות הנדרשת. כלומר, הבינה המלאכותית היא זו שתשמש אותנו כדי לוודא שהבינה המלאכותית מתפקדת כנדרש. המחשב ישגיח על המחשב, לטובת בני-האדם.

בסופו של דבר, הרכבים האוטונומיים יכולים להיות אחת ההמצאות החשובות ביותר של המאה ה- 21, ולהביא טוב גדול לאנושות. אבל כמו כל טכנולוגיה – עלינו להבין גם את הצדדים האפלים שלה, ולדאוג לנטרל ולמזער אותם מראש עד כמה שרק אפשר.


בספרי החדש, "השולטים בעתיד: הון-שלטון, טכנולוגיה, תקווה" אני מעלה נקודות נוספות בנוגע ליכולותיה של הבינה המלאכותית לשלוט בעצמה – ולהנחות גם את פעולותיהם של בני-האדם בסופו של דבר. הספר זמין לרכישה בחנויות הספרים בישראל, דרך האינטרנט, או אפילו בעותק דיגיטלי (נו, אנחנו בעתיד, לא?).

הרובוט ש(לא)חשב שהוא יכול: על רובוטים אוטונומיים והצלחות לא-צפויות

הרובוט ש(לא)חשב שהוא יכול: על רובוטים אוטונומיים והצלחות לא-צפויות

אני משתדל לעסוק בבלוג זה בנושאים שברומו של עולם: תרופות לסרטן, בינות מלאכותיות שמשתלטות על העולם, עתיד העבודה וכן הלאה. אלא שמדי פעם מגיע לתשומת לבי סיפור מיוחד כל-כך, שאיני יכול אלא לעצור הכל ולכתוב עליו. כזה הוא סיפורו של הרובוט ש(לא) חשב שהוא יכול.

סיפורנו מתחיל בסוף ינואר 2017, כאשר כלי-טיס בלתי-מאויש  (כטב"ם) שוגר מאריזונה שבארצות הברית במשימת אימונים פשוטה. שמו של הרובוט? צל (Shadow) RQ-7Bv2. נקרא לו בקיצור, צילי. רובוטים מסוגו של צילי משמשים לניטור אחר מטרות צבאיות לרוב, ואינם אמורים להתרחק יותר ממאה ועשרים קילומטרים מהתחנה השולטת בהם. אבל לצילי היו תכניות אחרות: מיד לאחר השיגור התנתק הקשר בינו לבין תחנת השליטה.

shadow uav.jpg

כלי טיס בלתי מאויש מסוג Shadow. המקור לתמונה: משרד ההגנה האמריקני.

כלים פשוטים יותר היו בוודאי מתרסקים כמה דקות לאחר אובדן התקשורת, אך צילי היה מיוחד. כטב"מים מסוג Shadow נהנים מרמה גבוהה של אוטונומיות. או במילים פשוטות, הם מסוגלים להישאר באוויר ולהמשיך למלא את המשימה גם אם הם מאבדים את הקשר עם המפעיל. מסיבה זו אני מרשה לעצמי לקרוא להם רובוטים אוטונומיים. אלא שצילי לא ידע מה המשימה שלו. וכפי שהבינו לפתע בני-האדם שנותרו על הקרקע מתחת לצלו של צילי, אף אחד בעצם לא ידע מה המשימה שלו.

כלי טיס בלתי-מאוישים מתוכנתים להתנהג בצורות שונות כאשר הם מאבדים תקשורת עם הקרקע. חלקם חגים באוויר מעל נקודה מסוימת עד לחידוש הקשר. אחרים מנמיכים רום ומנסים לנחות, או שמנסים לחזור לנקודה ממנה שוגרו במקור. מערכות חירום מופעלות ברגע שהכטב"ם מבין שהוא בודד עתה בשמים. אבל עבור צילי, נראה שהמערכות הללו לא הופעלו. סברה אחרת היא שצילי זכר בשוגג את הקואורדינטות של ביתו הקודם בבסיס צבאי במדינת וושינגטון, וניסה בגבורה לחזור לשם. או שאולי מערכות החירום לא הופעלו כלל, וצילי פשוט המשיך לשייט בשמים, במסעו אל הלא-נודע.

כך או כך, צילי הותיר מאחוריו את החיילים והמהנדסים המתוסכלים, והחל לטוס צפונה. צפונה, צפונה, צפונה, תוך שהוא מתעלם מכל ניסיון לחדש עמו קשר. הוא התרומם באוויר על גבי הרוחות החזקות, ונעזר בהן כדי לשייט מעל ליערות ושמורות אינדיאנים. כל אותו זמן, עקבו אחריו הרשויות באמצעות מערכות רדאר, אך לאחר חמש שעות הגיע צילי להרי הרוקי. הוא לא היה אמור להיות מסוגל לעבור אותם, ואנשי הצבא איבדו את חתימת הרדאר שלו באותה נקודה והניחו שהוא התרסק.

הרי הרוקי. צילי חצה גם אותם. מקור: Blue Planet Biomes

הוא לא התרסק. הוא רק התרומם עוד יותר גבוה, לרום של 4,000 מטרים, והפליג אל מעל ומעבר להרי הרוקי, לגבהים שלא תוכנן עבורם, למרחקים שלא נועד לגמוע. הוא המשיך צפונה, בלתי-נלאה, במסע בן אלף קילומטרים , עד שהתרסק בסמוך לדנוור. עדיין איננו יודעים מה היתה הסיבה להתרסקות, אך קשה להאמין שצילי היה יכול להמשיך עוד זמן רב, מאחר והדלק שלו בוודאי נגמר כבר, או היה קרוב להיגמר, באותו הזמן.

וזהו סיפורו של צילי, הרובוט שלא חשב שהוא יכול – מכיוון שאין לו כלל יכולת חשיבה – אבל שבדרך-לא-דרך גמע מרחקים שלא היה אמור לעבור, בפרק זמן שלא היה אמור לשרוד בשמים, ובניגוד להנחיות שהיה אמור לקבל.

יומם של הרובוטים האוטונומיים

צילי הוא רק חלק מדור חדש של רובוטים – כאלו הנהנים מאוטונומיות מוגבלת, ומסוגלים להוציא לפועל משימה המוגדרת להם, עם מעורבות מינימלית של מפעיל אנושי. הפרשה של צילי משקפת, למעשה, באג במערכת התפעול של הרובוט. לפעמים אנו מגלים באגים בתוכנות בהן אנו משתמשים: הוורד עשוי להיתקע פתאום או להתחיל למחוק אותיות ומילים בעצמו, או שמערכת ההפעלה של המחשב עשויה ליפול ולהפסיק לפעול. אלו באגים מעצבנים, אבל אנו מצפים להם ומבינים שהם כמעט בלתי-נמנעים במערכות מחשוב מורכבות כל-כך.

ובכן, גם לצילי היה באג. ההבדל היחיד הוא שצילי הוא כטב"ם צבאי בשווי של מיליון וחצי דולרים, והבאג גרם לו לחצות בטיסה שלוש מדינות ואת הרי הרוקי. אפשר לומר בצדק רב שהיה לנו מזל שצילי משמש למטרות ניטור בלבד, ולכן אינו חמוש. אבל בן-דודו הפרדטור (Predator) משמש גם הוא למטרות ניטור וריגול, וחמוש – רק ליתר ביטחון – בשני טילי הלפייר (Hellfire) נגד-טנקים ובשישה טילי גריפין (Griffin) אוויר-קרקע.

בן-דודו החביב-פחות של צילי, הפרדטור, יורה טיל הלפייר נגד-טנקים. מקור: Defense Systems

אני חושד שהיינו משועשעים פחות מכל הפרשיה אילו היה אחד מהפרדטורים החמושים תופס את מקומו של צילי ויוצא למסע דומה ברחבי אמריקה, מבלי שנבין לאן הוא טס או מה יכולותיו המדויקות.

הרצון שמאחורי הרובוט

הכתיבה הרגשנית בחלקה הראשון של הרשומה העלתה בוודאי גיחוך על פיותיהם של רובוטיקאים מומחים, ומסיבה טובה. לרובוטים אין רצונות משלהם. אין להם מחשבות או מודעות עצמית. אבל הרובוטים המשוכללים של היום מתחילים לזכות במה שאפשר לקרוא לו בצדק – "דחפים". המתכנתים מטמיעים ברובוטים האוטונומיים את הדחפים להגיב למצבים שונים בדרכים מסוימות שהוגדרו עבורם מראש. מבחינה זו, הרובוטים האוטונומיים מזכירים חרקים, שיכולים להגיב לאותו מצב פעם אחר פעם באותה הדרך בדיוק – גם אם דרך זו הוכחה כהרת אסון עבורם. ואף על פי כן, הם ניחנים בדחף לפעול כך.

חרקים הם יצורים משוכללים למדי, אך גם הם חושפים 'באגים' כאשר הם נתקלים במצבים לא-צפויים. זו הסיבה שיתושים ממשיכים לקבל זרמים חשמליים כשהם עפים אל האור המהפנט שבמלכודת החשמלית, או שזבובים ממשיכים להיכנס למלכודת זבובים מכנית פשוטה, למרות שהם רואים את כל חבריהם לכודים בתוכה. הדחפים הפשוטים המתוכנתים במערכת העצבים שלהם אינם יכולים להתמודד עם הסביבה המודרנית המורכבת החדשה.

ואם החרקים יכולים לחוות באגים כשהם נקלעים לסביבה לא-צפויה, על אחת כמה וכמה הדבר נכון לרובוטים אוטונומיים. סיפורו של צילי ממחיש מה קורה כאשר הרובוט מציית לדחפים שגויים, או כאשר מתרחש כשל במערכת שנועדה 'לדחוף' אותו לחזור הביתה. באגים כאלו הינם בלתי-נמנעים בכל מערכת מורכבת, אך השלכותיהם יכולות להיות הרות-אסון כשמדובר ברובוטים אוטונומיים, ובמיוחד רובוטים חמושים מהסוג שניתן למצוא בשדה הקרב.

אם גם אתכם זה מפחיד…

אם גם אתכם מפחיד תרחיש בו מתגלים באגים לא-צפויים ברובוטים אוטונומיים, ייתכן שתרצו לחתום על המכתב הפתוח ששחרר לפני שנה וחצי המכון לעתיד החיים (The Future of Life Institute), כנגד שימוש בכלי-נשק אוטונומיים בשדה הקרב. לא תהיו לבד בחתימה עליו: יותר מאלף מומחים וחוקרים בתחום הבינה המלאכותית חתמו כבר על המכתב הקורא להטיל איסור על השימוש בכלי נשק אוטונומיים.

האם המכתב יצליח להניא ממשלות מהקניית יכולות אוטונומיות לרובוטים בשדה הקרב? אני בספק. אם לא הצלחנו לעצור את החימוש הגרעיני, קשה להאמין שנוכל לעצור את חימוש הרובוטים. אבל לפחות כשצילי או פרדי הפרדטור ילכו לאיבוד בפעם הבאה, תוכלו לצקצק בלשונותיכם באכזבה ולציין שידעתם שזה יקרה.

בקיצור, תוכלו להיות עתידנים.