באג המחשב שתקע טייסת של מטוסי הקרב היקרים בעולם בלב ים

טייסת מטוסי הראפטור F-22 פילחה את השמיים בדרך מבסיס חיל האוויר של ארצות הברית בהוואי, לאוקינאווה שביפן. ה- F-22 אינו מסוג המטוסים שאתה רוצה להיתקל בו בסמטה חשוכה. חיל האוויר האמריקני טוען שאף מטוס קרב קיים אינו יכול להתחרות בעליונות האווירית שמספק ה- F-22. הוא נועד לחמוק לשטח האויב ולהפיל מטוסי קרב אחרים ביעילות שאין שני לה. אבל זה לא היה תפקידו באותו מסע קצר.

וטוב מאד שכך, מכיוון שבאמצע הדרך התרסקו כל מערכות המחשוב בכל הטייסת, באותו זמן בדיוק.

הטייסים לא נכנסו לפניקה. המערכות שנפלו היו אמנם קריטיות בשדה הקרב – מערכות תקשורת, דלק וניווט – אך המטוסים עדיין המשיכו לטוס. כשהמחשבים סירבו להגיב לפקודות חדשות, הטייסים פשוט אתחלו אותם. או בלועזית צחה – עשו ריסט. המחשבים נדלקו מחדש, החלו לטעון את המערכות, וקרסו שוב מיד.

זה היה השלב בו הטייסים הבינו שהצרה עלולה להיות גדולה יותר מכפי שנדמה להם במבט ראשון. הם היו באמצע לב ים בלי יכולות ניווט, תדלוק או תקשורת עם גורם חיצוני. הם חששו להמשיך לטוס ליעד המקורי – האם ימצאו אותו בכלל? האם יוכלו לנחות בבטחה? – וכך עשו את הדבר היחיד שיכלו, ביצעו פניית פרסה חדה וקיוו למצוא מחדש את בסיס הבית.

למזלם של טייסי ה- F-22, ליוו אותם מטוסי תדלוק במסעם. מערכות הניווט במטוסים אלו המשיכו לתפקד כרגיל, וכך יכלו להנחות את מטוסי הקרב המשוכללים ביותר בעולם בחזרה הביתה.

f-22-raptor_009-ts600.jpg

מטוס הקרב המשוכלל ביותר בעולם. לא שווה הרבה כשמערכות המחשבים שלו מושבתות. התמונה במקור מ- Military.com

כשהגיעה הטייסת להוואי, נערכו בדיקות מחמירות בכל מטוס ומטוס. ברור היה שמדובר בפגיעה במחשבים שעל כלי הטיס, אך החשד הראשוני – מתקפת סייבר – נשלל במהירות. מומחים למדעי המחשב עברו בקפידה על יותר מ- 1.7 מיליון שורות הקוד שהכילו מערכות הטיס, וחיפשו את הסיבה לתאונה. לאחר סריקה מעמיקה הם גילו אותה, והיא הייתה פשוטה להחריד: ברגע שחצו מערכות המחשוב את "קו התאריך הבינלאומי" – קו דמיוני, שכאשר חוצים אותו מתחלף התאריך – הן קרסו מיד, כולן ביחד.

וכך טייסת שלמה של מטוסים, שעלות כל אחד מהם עומדת על מאתיים מיליון דולרים בערך, שותקה מכל בחינה מעשית. אילו היה הדבר מתרחש בשדה הקרב, היו המטוסים הופכים להיות חסרי שימוש. כל זאת, בשל באג קטן וערמומי בתכנה, שאיש לא השכיל לזהות מראש.

ממטוסים למכוניות

ועכשיו לתאונה אחרת, שונה מאד – ודומה יותר מכפי שהיינו רוצים. במאי 2016 נסעה מכונית של טסלה בכביש המהיר בפלורידה. אני כותב במכוון "נסעה המכונית" מאחר והרכבים של טסלה חמושים ב- "נהג אוטומטי" אותו יכול הנהג האנושי להפעיל כרצונו. טסלה ממליצה להתייחס לנהג האוטומטי כמערכת מסייעת בלבד, ומסבירה כי הנהג מחויב לשמור ידיו על ההגה בכל זמן הנסיעה, ולהמשיך לשלוט ברכב. אף על פי כן, נראה שחלק מהנהגים מייחסים למערכת יכולות מוגזמות.

כך, לפחות, עשה הנהג באותו יום הרה גורל, כאשר סמך על הנהג האוטומטי יותר מדי. לפי הפרטים שנחשפו אודות האירוע, ה- 'נהג' האנושי צפה במהלך הנסיעה במכשיר הדי-וי-די הנייד שהיה ברכב, מתוך אמונה שהמכונית תסתדר בכוחות עצמה על הכביש. זה לא מה שקרה, והרכב התנגש בעוצמה במשאית שנסעה מולו. הנהג מת במקום.

Williston-f2.0.JPG

תמונת המשאית בה נכנס הרכב של טסלה במהירות גבוהה בכביש המהיר. הרכב הצליח לצאת מצדה השני של המשאית ולהמשיך לנסוע לאחר מכן – אך ללא רוב חלקו העליון, וכנראה שגם בלי נהג (או נוסע) חי. 

אלון מאסק, מנכ"ל טסלה, אמנם הביע את צערו על האירוע הטרגי, אך הבהיר בהודעה לציבור מטעם טסלה כי –

"זהו מקרה המוות הראשון הידוע רק במהלך יותר מ- 130 מיליון מיילים בהם הופעל הנהג האוטומטי. בכלי הרכב בארה"ב יש מוות כל 94 מיליון קילומטרים. ברחבי העולם, יש מוות כמעט כל 60 מיליון קילומטרים."

במכתב נפרד לפורבס, הוסיף וטען מאסק כי אילו הנהג האוטומטי של טסלה היה זמין בכל רחבי העולם, הרי שחצי-מיליון אנשים היו ניצלים ממוות מדי שנה.

מגיבים אחרים, ככתב הטכנולוגיה והתרבות ניק בילטון, התלוננו במרירות בטוויטר כי –

"1.3 מיליון בני-אדם מתים מדי שנה בתאונות רכבים. אבל אדם אחד מת ברכב טסלה בנהיגה אוטומטית, ואנשים קובעים שמכוניות ללא-נהג אינן בטוחות."

טענותיהם של בילטון ומאסק אינן מחזיקות מים, בלשון המעטה. גם אם אפשר להסתמך על הנתונים שטסלה מספקת, הרי שמדובר במידע המגיע מ- 25,000 מכוניות בלבד. מכוניות אלו יקרות מאד, כך שסביר להניח שרוב הנהגים בהן אינם צעירים חסרי-ניסיון על הכביש, אלא מבוגרים מנוסים יותר. רכבי טסלה גם גדולים וחסונים יותר מרוב הרכבים הפרטיים שעל הכביש, כך שאין פלא שהם מגנים יותר על הנוסעים במקרה של תאונה מרכבים רגילים. ואם כל זה לא מספיק, הרי שדו"ח של מכון ראנד קבע לאחרונה שרכבים אוטונומיים יצטרכו לגמוע מאות מיליארדי קילומטרים על הכביש לפני שניתן לבצע ניתוח סטטיסטי ולהשוות את ביצועיהם לאלו של רכבים עם נהג אנושי.

בקיצור, אי אפשר להשוות בין תפוזים ולימונים בכזו קלות. אלא שבעיה אחרת מסבכת את כל העניין עוד יותר: מקור כוחן של המכוניות האוטונומיות – העובדה שכולן נהוגות ונשלטות על-ידי אותה תכנה, או אותה מערכת אחידה – הוא גם נקודת תורפה גדולה.

סכנות המערכת האחידה

כבני-אדם, כולנו שונים במקצת זה מזה בדרכי החשיבה והפעולה שלנו. יש בינינו הנוהגים יותר ופחות בבטחה, מיומנים יותר או פחות באמנות הנהיגה, מתחשבים יותר או פחות על הכבישים.

הבינה המלאכותית, לעומת זאת, היא סטנדרטית. רוצה לומר, כל רכבי טסלה עומדים להתנהל על הכבישים באופן זהה בדיוק. כולם מקבלים על עצמם את אותה תכנה ואותה מערכת הפעלה.

ועתה, מה קורה אם יש ברכבים הללו באג כלשהו? למשל, באג שיגרום למערכות המחשוב שלהם לקרוס מיידית במצבי קיצון מסוימים?

אם חשש זה נשמע לכם הזוי, ראוי שתזכרו שעדיין לא הצלחנו לנכש את הבאגים מאף תוכנה – והרכבים של טסלה כבר הוגדרו כ- "מחשב על גלגלים". המכוניות המודרניות מכילות עשרות מיליוני שורות קוד – וכל שורה נוספת מעלה את הסיכוי לפעולה שגויה כלשהי. מטוסי ה- F-22 המהוללים והיקרים הכילו רק 1.7 מיליון שורות קוד – וקרסו כשחצו את קו התאריך. קיימים, לפיכך, באגים גם במכוניות של טסלה ומכיוון שהרכבים האלו פועלים על בסיס אותה מערכת, כשבאג כזה יצוץ לפתע הוא עלול להשפיע על אלפי נהגים בו-זמנית. זוהי הסכנה הגדולה הטמונה בשימוש במערכת אחידה.

המחשבים שישגיחו על המחשבים

ראשית, לא צריך להיכנס לפאניקה ולעצור את כל התקדמות הטכנולוגיה. סביר להניח שתוך חמש עד עשר שנים, הרכבים האוטונומיים באמת ינהגו בכבישים טוב יותר מהנהג האנושי הממוצע. כל הניתוח שעשיתי עד כה רק מסמן על נקודה אחת חשובה: עלינו לבחון את הביצועים שלהם ברמת קפדנות מחמירה ולא להיות שאננים, מאחר ובאג אחד יכול להשפיע על מיליוני מכוניות בו-זמנית.

הבאג הבעייתי ביותר הוא זה שאיננו יכולים אפילו לדעת על קיומו. כאשר מכונית אוטונומית עושה תאונה, ברור שהתוכנה ששולטת בה תיבחן לעומק כדי להבין האם שגיאה כלשהי גרמה לתאונה. אבל מה קורה במצב בו המכונית אינה עושה תאונה, אלא רק נוהגת ביעילות פחותה מהמיטב אליו היא מסוגלת להגיע, כתוצאה מבאג כלשהו בתכנה? למתכנתים האנושיים יהיה קשה במיוחד לזהות מקרים כאלו, שכן איך אפשר לדעת מה היעילות המירבית אליה יכול הרכב האוטונומי להגיע?

כדי לזהות תקלות מסוג זה, יצטרכו המתכנתים האנושיים להריץ תוכנות בינה מלאכותית שינתחו את ביצועי הרכב. בינות בוחנות אלו יוכלו גם להריץ מיליוני סימולציות של מצבים שונים, וכך יבחנו את התוכנות בקפדנות הנדרשת. כלומר, הבינה המלאכותית היא זו שתשמש אותנו כדי לוודא שהבינה המלאכותית מתפקדת כנדרש. המחשב ישגיח על המחשב, לטובת בני-האדם.

בסופו של דבר, הרכבים האוטונומיים יכולים להיות אחת ההמצאות החשובות ביותר של המאה ה- 21, ולהביא טוב גדול לאנושות. אבל כמו כל טכנולוגיה – עלינו להבין גם את הצדדים האפלים שלה, ולדאוג לנטרל ולמזער אותם מראש עד כמה שרק אפשר.


בספרי החדש, "השולטים בעתיד: הון-שלטון, טכנולוגיה, תקווה" אני מעלה נקודות נוספות בנוגע ליכולותיה של הבינה המלאכותית לשלוט בעצמה – ולהנחות גם את פעולותיהם של בני-האדם בסופו של דבר. הספר זמין לרכישה בחנויות הספרים בישראל, דרך האינטרנט, או אפילו בעותק דיגיטלי (נו, אנחנו בעתיד, לא?).

8 מחשבות על “באג המחשב שתקע טייסת של מטוסי הקרב היקרים בעולם בלב ים

  1. אני חושב שאתה קצת טועה ומטעה כאן. אמנם יש סכנה לכשלים יחודיים במערכות אוטומאטיות שלא היו קורים עם בני אדם בשליטה ישירה. זה נכון. בני אדם עושים את הטעויות שלהם, אבל באגים של מתכנתים יכולים לגרום להתנגויות מוזרות מאוד שאף בן אדם לא היה מעלה על דעתו.

    אבל בסך הכל אחד האתגרים העיקריים של מערכות בינה מלאכותית הוא הצורך להתנהל בעולם שמלא בסוכנים שונים מהם (בין אם הסוכנים האלה הם אנושיים או ממוחשבים). זה הרבה יותר קל להתקיים בעולם שבו כל הסוכנים האחרים מתנהגים כמוך, כי אז אתה יכול לצפות את ההתנהגות שלהם, וניתן בקלות לקודד שיתוף פעולה ותקשורת לתוך האלגוריתם. הרבה יותר מסובך להתנהל כאשר אתה יכול לראות מה הסוכנים שמולך עושים כרגע, אבל אתה לא יודע למה.

    מאחר ונראה שחברות שונות מפתחות ישומי נהיגה אוטונומית שונים, יכול להיות שבעשורים הקרובים נראה נסיונות לפתח פרוטוקולי תקשורת שישמשו את הרכבים האלה (כמו האתת ברכבים של היום אבל הרבה יותר מורכב) כדי לאפשר שיתוף פעולה על הכביש. אני מאוד מקווה שלא נראה מצב שבו רכבים אוטונומיים ינסו לחתוך ולעקוף האחד את השני בלי סיבה אמיתית, ושלא יבצרו פקקים פתאומיים בלי עומס אמיתי, וכל שאר השטויות שנהגים אנושיים גורמים להם.

    Liked by 1 person

    • רגע, במה זה שונה ממה שכתבתי בעצמי?
      אני לא מתכחש לכך שרכבים אוטונומיים יוכלו לנסוע ברמה גבוהה של בטיחות (בעתיד), בין היתר מכיוון שיוכלו לתקשר זה עם זה. אני פשוט מזהיר מכך שכאשר כל חברה מייצרת פרוטוקולי נהיגה שנמצאים במיליוני מכוניות, באג אחד יכול לפגוע בהרבה שחקנים על הכביש באותו הזמן.

      אהבתי

      • זה נתון אולי לפרשנות הקורא. מהקריאה שלי משתמע ממה שכתבת שיש סכנה חריגה שנובעת ספציפית מאחידות הקוד. כלומר אם בכל מכונית היתה מערכת נהיגה אוטונומית איכותית שפותחה באופן עצמאי (לא מעשי כמובן אבל כניסוי מחשבתי) אז הכביש יהיה בטוח יותר כי לא לכולן יהיה את אותו הבאג. אבל המציאות היא שזה יהיה מצב מסוכן יותר כי כל נהג אוטומאטי יצטרך להתאים למיליוני נהגים אחרים על הכביש ולא רק לעותקים של עצמו. הסביבה המגוונת היא סביבה מורכבת יותר ודורשת מערכת נהיגה מורכבת יותר ולכן יכולים להיות יותר באגים שיותר קשה למצוא. יכול להיות באג באלגוריתם A שמתבטא במצב מסוים בהתקלות עם אלגוריתם B אבל לא עם אלגוריתם C. ויכול להיות באג באלגוריתם B שמתבטא במצב של שילוב בין אלגוריתם D ו-E. וכן הלאה. יותר אלגוריתמים זה יותר באגים ויוצר סיבות לבאגים בכל אלגוריתם.

        אהבתי

  2. אני מסכים גם עם זה 🙂
    יש סכנות בשני האופנים. ברור שככל שיש יותר מערכות נהיגה אוטונומיות עם כללים שונים, הכביש יהיה מסוכן יותר כי יהיו יותר באגים שקשים למצוא. לכן אני מניח שהשוק ילך למקום של מספר מצומצם מאד של מערכות נהיגה שונות. אולי אפילו מערכת אחת בלבד.
    הסכנה היא שדווקא במצב כזה, בו יש מערכת נהיגה אחידה אחת, הבאג שאינו מזוהה יכול לגרום לנזקים גדולים.

    אהבתי

    • אני חושש מאוד מהמצב שאתה מתאר כי הוא מצב מונופוליסטי מטריד. בסוף גוגל או פייסבוק או מיצובישי ישלטו בכל המכוניות שלנו. האופציה האחרת היא שהממשלה תקבע את האלגוריתם. זה יהיה מאוד כיף. אני הייתי מעדיף לראות פרוטוקולי תקשורת מתפתחים ומשאירים מקום לתחרות. אופציה מעניינת אחרת הוא שיהיו דרכים חכמות שיהיו להם אלגוריתמים משוייכים (ניתן לראות זאת כהרחבת הרעיון של חוקי הדרך לכל כביש יהיה פרוטוקול תנועה שהרכבים יצטרכו להוריד לפני שהם עולים עליו).

      אהבתי

      • גם אני חושש מהמצב הזה, אבל כפי שאני מתאר בספרי החדש – נראה שאליו אנחנו מתקדמים. נראה לי די ברור שאפקט "המנצח לוקח הכל" עומד להיות תקף גם עבור שוק הנהיגה החכמה.

        אהבתי

    • אלה נושאים מאוד מעניינים. מעניין אם מישהו כתב על זה ספר…

      למה נראה לך די ברור שזה יהיה המנצח לוקח הכל?

      אהבתי

      • "מצאתי לכך הוכחה נפלאה, אולם השוליים צרות מכדי להכיל אותה".
        אז כתבתי ספר 🙂

        וברצינות, צריך לקרוא את הפרקים הרלוונטיים בספר, מכיוון שהם מכילים את הטיעונים המלאים. בקצרה אענה שאפקט "המנצח לוקח הכל" נובע בעיקר מיכולת השיפור המתמיד של שירותי החברות שמתאפשרת בזכות האינטרנט ומסתמכת על מספר משתמשים שהולך וגדל בעצמו, לצד האוטומציה הגוברת של השירותים שניתנים מצד החברות בעלות שולית אפסית, ומתזרים מזומנים גדול שנובע מהגורם הקודם ומאפשר לחברות הללו לרכוש בקלות יחסית כל מתחרה. לכך יש להוסיף את "אפקט הרשת" שמביא לכך שמשתמשים נעים באופן טבעי לרשת גדולה אחת ולא למספר רב של רשתות נפרדות.

        אהבתי

כתיבת תגובה

הזינו את פרטיכם בטופס, או לחצו על אחד מהאייקונים כדי להשתמש בחשבון קיים:

הלוגו של WordPress.com

אתה מגיב באמצעות חשבון WordPress.com שלך. לצאת מהמערכת / לשנות )

תמונת Twitter

אתה מגיב באמצעות חשבון Twitter שלך. לצאת מהמערכת / לשנות )

תמונת Facebook

אתה מגיב באמצעות חשבון Facebook שלך. לצאת מהמערכת / לשנות )

תמונת גוגל פלוס

אתה מגיב באמצעות חשבון Google+ שלך. לצאת מהמערכת / לשנות )

מתחבר ל-%s