באג המחשב שתקע טייסת של מטוסי הקרב היקרים בעולם בלב ים

באג המחשב שתקע טייסת של מטוסי הקרב היקרים בעולם בלב ים

טייסת מטוסי הראפטור F-22 פילחה את השמיים בדרך מבסיס חיל האוויר של ארצות הברית בהוואי, לאוקינאווה שביפן. ה- F-22 אינו מסוג המטוסים שאתה רוצה להיתקל בו בסמטה חשוכה. חיל האוויר האמריקני טוען שאף מטוס קרב קיים אינו יכול להתחרות בעליונות האווירית שמספק ה- F-22. הוא נועד לחמוק לשטח האויב ולהפיל מטוסי קרב אחרים ביעילות שאין שני לה. אבל זה לא היה תפקידו באותו מסע קצר.

וטוב מאד שכך, מכיוון שבאמצע הדרך התרסקו כל מערכות המחשוב בכל הטייסת, באותו זמן בדיוק.

הטייסים לא נכנסו לפניקה. המערכות שנפלו היו אמנם קריטיות בשדה הקרב – מערכות תקשורת, דלק וניווט – אך המטוסים עדיין המשיכו לטוס. כשהמחשבים סירבו להגיב לפקודות חדשות, הטייסים פשוט אתחלו אותם. או בלועזית צחה – עשו ריסט. המחשבים נדלקו מחדש, החלו לטעון את המערכות, וקרסו שוב מיד.

זה היה השלב בו הטייסים הבינו שהצרה עלולה להיות גדולה יותר מכפי שנדמה להם במבט ראשון. הם היו באמצע לב ים בלי יכולות ניווט, תדלוק או תקשורת עם גורם חיצוני. הם חששו להמשיך לטוס ליעד המקורי – האם ימצאו אותו בכלל? האם יוכלו לנחות בבטחה? – וכך עשו את הדבר היחיד שיכלו, ביצעו פניית פרסה חדה וקיוו למצוא מחדש את בסיס הבית.

למזלם של טייסי ה- F-22, ליוו אותם מטוסי תדלוק במסעם. מערכות הניווט במטוסים אלו המשיכו לתפקד כרגיל, וכך יכלו להנחות את מטוסי הקרב המשוכללים ביותר בעולם בחזרה הביתה.

f-22-raptor_009-ts600.jpg

מטוס הקרב המשוכלל ביותר בעולם. לא שווה הרבה כשמערכות המחשבים שלו מושבתות. התמונה במקור מ- Military.com

כשהגיעה הטייסת להוואי, נערכו בדיקות מחמירות בכל מטוס ומטוס. ברור היה שמדובר בפגיעה במחשבים שעל כלי הטיס, אך החשד הראשוני – מתקפת סייבר – נשלל במהירות. מומחים למדעי המחשב עברו בקפידה על יותר מ- 1.7 מיליון שורות הקוד שהכילו מערכות הטיס, וחיפשו את הסיבה לתאונה. לאחר סריקה מעמיקה הם גילו אותה, והיא הייתה פשוטה להחריד: ברגע שחצו מערכות המחשוב את "קו התאריך הבינלאומי" – קו דמיוני, שכאשר חוצים אותו מתחלף התאריך – הן קרסו מיד, כולן ביחד.

וכך טייסת שלמה של מטוסים, שעלות כל אחד מהם עומדת על מאתיים מיליון דולרים בערך, שותקה מכל בחינה מעשית. אילו היה הדבר מתרחש בשדה הקרב, היו המטוסים הופכים להיות חסרי שימוש. כל זאת, בשל באג קטן וערמומי בתכנה, שאיש לא השכיל לזהות מראש.

ממטוסים למכוניות

ועכשיו לתאונה אחרת, שונה מאד – ודומה יותר מכפי שהיינו רוצים. במאי 2016 נסעה מכונית של טסלה בכביש המהיר בפלורידה. אני כותב במכוון "נסעה המכונית" מאחר והרכבים של טסלה חמושים ב- "נהג אוטומטי" אותו יכול הנהג האנושי להפעיל כרצונו. טסלה ממליצה להתייחס לנהג האוטומטי כמערכת מסייעת בלבד, ומסבירה כי הנהג מחויב לשמור ידיו על ההגה בכל זמן הנסיעה, ולהמשיך לשלוט ברכב. אף על פי כן, נראה שחלק מהנהגים מייחסים למערכת יכולות מוגזמות.

כך, לפחות, עשה הנהג באותו יום הרה גורל, כאשר סמך על הנהג האוטומטי יותר מדי. לפי הפרטים שנחשפו אודות האירוע, ה- 'נהג' האנושי צפה במהלך הנסיעה במכשיר הדי-וי-די הנייד שהיה ברכב, מתוך אמונה שהמכונית תסתדר בכוחות עצמה על הכביש. זה לא מה שקרה, והרכב התנגש בעוצמה במשאית שנסעה מולו. הנהג מת במקום.

Williston-f2.0.JPG

תמונת המשאית בה נכנס הרכב של טסלה במהירות גבוהה בכביש המהיר. הרכב הצליח לצאת מצדה השני של המשאית ולהמשיך לנסוע לאחר מכן – אך ללא רוב חלקו העליון, וכנראה שגם בלי נהג (או נוסע) חי. 

אלון מאסק, מנכ"ל טסלה, אמנם הביע את צערו על האירוע הטרגי, אך הבהיר בהודעה לציבור מטעם טסלה כי –

"זהו מקרה המוות הראשון הידוע רק במהלך יותר מ- 130 מיליון מיילים בהם הופעל הנהג האוטומטי. בכלי הרכב בארה"ב יש מוות כל 94 מיליון קילומטרים. ברחבי העולם, יש מוות כמעט כל 60 מיליון קילומטרים."

במכתב נפרד לפורבס, הוסיף וטען מאסק כי אילו הנהג האוטומטי של טסלה היה זמין בכל רחבי העולם, הרי שחצי-מיליון אנשים היו ניצלים ממוות מדי שנה.

מגיבים אחרים, ככתב הטכנולוגיה והתרבות ניק בילטון, התלוננו במרירות בטוויטר כי –

"1.3 מיליון בני-אדם מתים מדי שנה בתאונות רכבים. אבל אדם אחד מת ברכב טסלה בנהיגה אוטומטית, ואנשים קובעים שמכוניות ללא-נהג אינן בטוחות."

טענותיהם של בילטון ומאסק אינן מחזיקות מים, בלשון המעטה. גם אם אפשר להסתמך על הנתונים שטסלה מספקת, הרי שמדובר במידע המגיע מ- 25,000 מכוניות בלבד. מכוניות אלו יקרות מאד, כך שסביר להניח שרוב הנהגים בהן אינם צעירים חסרי-ניסיון על הכביש, אלא מבוגרים מנוסים יותר. רכבי טסלה גם גדולים וחסונים יותר מרוב הרכבים הפרטיים שעל הכביש, כך שאין פלא שהם מגנים יותר על הנוסעים במקרה של תאונה מרכבים רגילים. ואם כל זה לא מספיק, הרי שדו"ח של מכון ראנד קבע לאחרונה שרכבים אוטונומיים יצטרכו לגמוע מאות מיליארדי קילומטרים על הכביש לפני שניתן לבצע ניתוח סטטיסטי ולהשוות את ביצועיהם לאלו של רכבים עם נהג אנושי.

בקיצור, אי אפשר להשוות בין תפוזים ולימונים בכזו קלות. אלא שבעיה אחרת מסבכת את כל העניין עוד יותר: מקור כוחן של המכוניות האוטונומיות – העובדה שכולן נהוגות ונשלטות על-ידי אותה תכנה, או אותה מערכת אחידה – הוא גם נקודת תורפה גדולה.

סכנות המערכת האחידה

כבני-אדם, כולנו שונים במקצת זה מזה בדרכי החשיבה והפעולה שלנו. יש בינינו הנוהגים יותר ופחות בבטחה, מיומנים יותר או פחות באמנות הנהיגה, מתחשבים יותר או פחות על הכבישים.

הבינה המלאכותית, לעומת זאת, היא סטנדרטית. רוצה לומר, כל רכבי טסלה עומדים להתנהל על הכבישים באופן זהה בדיוק. כולם מקבלים על עצמם את אותה תכנה ואותה מערכת הפעלה.

ועתה, מה קורה אם יש ברכבים הללו באג כלשהו? למשל, באג שיגרום למערכות המחשוב שלהם לקרוס מיידית במצבי קיצון מסוימים?

אם חשש זה נשמע לכם הזוי, ראוי שתזכרו שעדיין לא הצלחנו לנכש את הבאגים מאף תוכנה – והרכבים של טסלה כבר הוגדרו כ- "מחשב על גלגלים". המכוניות המודרניות מכילות עשרות מיליוני שורות קוד – וכל שורה נוספת מעלה את הסיכוי לפעולה שגויה כלשהי. מטוסי ה- F-22 המהוללים והיקרים הכילו רק 1.7 מיליון שורות קוד – וקרסו כשחצו את קו התאריך. קיימים, לפיכך, באגים גם במכוניות של טסלה ומכיוון שהרכבים האלו פועלים על בסיס אותה מערכת, כשבאג כזה יצוץ לפתע הוא עלול להשפיע על אלפי נהגים בו-זמנית. זוהי הסכנה הגדולה הטמונה בשימוש במערכת אחידה.

המחשבים שישגיחו על המחשבים

ראשית, לא צריך להיכנס לפאניקה ולעצור את כל התקדמות הטכנולוגיה. סביר להניח שתוך חמש עד עשר שנים, הרכבים האוטונומיים באמת ינהגו בכבישים טוב יותר מהנהג האנושי הממוצע. כל הניתוח שעשיתי עד כה רק מסמן על נקודה אחת חשובה: עלינו לבחון את הביצועים שלהם ברמת קפדנות מחמירה ולא להיות שאננים, מאחר ובאג אחד יכול להשפיע על מיליוני מכוניות בו-זמנית.

הבאג הבעייתי ביותר הוא זה שאיננו יכולים אפילו לדעת על קיומו. כאשר מכונית אוטונומית עושה תאונה, ברור שהתוכנה ששולטת בה תיבחן לעומק כדי להבין האם שגיאה כלשהי גרמה לתאונה. אבל מה קורה במצב בו המכונית אינה עושה תאונה, אלא רק נוהגת ביעילות פחותה מהמיטב אליו היא מסוגלת להגיע, כתוצאה מבאג כלשהו בתכנה? למתכנתים האנושיים יהיה קשה במיוחד לזהות מקרים כאלו, שכן איך אפשר לדעת מה היעילות המירבית אליה יכול הרכב האוטונומי להגיע?

כדי לזהות תקלות מסוג זה, יצטרכו המתכנתים האנושיים להריץ תוכנות בינה מלאכותית שינתחו את ביצועי הרכב. בינות בוחנות אלו יוכלו גם להריץ מיליוני סימולציות של מצבים שונים, וכך יבחנו את התוכנות בקפדנות הנדרשת. כלומר, הבינה המלאכותית היא זו שתשמש אותנו כדי לוודא שהבינה המלאכותית מתפקדת כנדרש. המחשב ישגיח על המחשב, לטובת בני-האדם.

בסופו של דבר, הרכבים האוטונומיים יכולים להיות אחת ההמצאות החשובות ביותר של המאה ה- 21, ולהביא טוב גדול לאנושות. אבל כמו כל טכנולוגיה – עלינו להבין גם את הצדדים האפלים שלה, ולדאוג לנטרל ולמזער אותם מראש עד כמה שרק אפשר.


בספרי החדש, "השולטים בעתיד: הון-שלטון, טכנולוגיה, תקווה" אני מעלה נקודות נוספות בנוגע ליכולותיה של הבינה המלאכותית לשלוט בעצמה – ולהנחות גם את פעולותיהם של בני-האדם בסופו של דבר. הספר זמין לרכישה בחנויות הספרים בישראל, דרך האינטרנט, או אפילו בעותק דיגיטלי (נו, אנחנו בעתיד, לא?).