הרובוט ש(לא)חשב שהוא יכול: על רובוטים אוטונומיים והצלחות לא-צפויות

הרובוט ש(לא)חשב שהוא יכול: על רובוטים אוטונומיים והצלחות לא-צפויות

אני משתדל לעסוק בבלוג זה בנושאים שברומו של עולם: תרופות לסרטן, בינות מלאכותיות שמשתלטות על העולם, עתיד העבודה וכן הלאה. אלא שמדי פעם מגיע לתשומת לבי סיפור מיוחד כל-כך, שאיני יכול אלא לעצור הכל ולכתוב עליו. כזה הוא סיפורו של הרובוט ש(לא) חשב שהוא יכול.

סיפורנו מתחיל בסוף ינואר 2017, כאשר כלי-טיס בלתי-מאויש  (כטב"ם) שוגר מאריזונה שבארצות הברית במשימת אימונים פשוטה. שמו של הרובוט? צל (Shadow) RQ-7Bv2. נקרא לו בקיצור, צילי. רובוטים מסוגו של צילי משמשים לניטור אחר מטרות צבאיות לרוב, ואינם אמורים להתרחק יותר ממאה ועשרים קילומטרים מהתחנה השולטת בהם. אבל לצילי היו תכניות אחרות: מיד לאחר השיגור התנתק הקשר בינו לבין תחנת השליטה.

shadow uav.jpg

כלי טיס בלתי מאויש מסוג Shadow. המקור לתמונה: משרד ההגנה האמריקני.

כלים פשוטים יותר היו בוודאי מתרסקים כמה דקות לאחר אובדן התקשורת, אך צילי היה מיוחד. כטב"מים מסוג Shadow נהנים מרמה גבוהה של אוטונומיות. או במילים פשוטות, הם מסוגלים להישאר באוויר ולהמשיך למלא את המשימה גם אם הם מאבדים את הקשר עם המפעיל. מסיבה זו אני מרשה לעצמי לקרוא להם רובוטים אוטונומיים. אלא שצילי לא ידע מה המשימה שלו. וכפי שהבינו לפתע בני-האדם שנותרו על הקרקע מתחת לצלו של צילי, אף אחד בעצם לא ידע מה המשימה שלו.

כלי טיס בלתי-מאוישים מתוכנתים להתנהג בצורות שונות כאשר הם מאבדים תקשורת עם הקרקע. חלקם חגים באוויר מעל נקודה מסוימת עד לחידוש הקשר. אחרים מנמיכים רום ומנסים לנחות, או שמנסים לחזור לנקודה ממנה שוגרו במקור. מערכות חירום מופעלות ברגע שהכטב"ם מבין שהוא בודד עתה בשמים. אבל עבור צילי, נראה שהמערכות הללו לא הופעלו. סברה אחרת היא שצילי זכר בשוגג את הקואורדינטות של ביתו הקודם בבסיס צבאי במדינת וושינגטון, וניסה בגבורה לחזור לשם. או שאולי מערכות החירום לא הופעלו כלל, וצילי פשוט המשיך לשייט בשמים, במסעו אל הלא-נודע.

כך או כך, צילי הותיר מאחוריו את החיילים והמהנדסים המתוסכלים, והחל לטוס צפונה. צפונה, צפונה, צפונה, תוך שהוא מתעלם מכל ניסיון לחדש עמו קשר. הוא התרומם באוויר על גבי הרוחות החזקות, ונעזר בהן כדי לשייט מעל ליערות ושמורות אינדיאנים. כל אותו זמן, עקבו אחריו הרשויות באמצעות מערכות רדאר, אך לאחר חמש שעות הגיע צילי להרי הרוקי. הוא לא היה אמור להיות מסוגל לעבור אותם, ואנשי הצבא איבדו את חתימת הרדאר שלו באותה נקודה והניחו שהוא התרסק.

הרי הרוקי. צילי חצה גם אותם. מקור: Blue Planet Biomes

הוא לא התרסק. הוא רק התרומם עוד יותר גבוה, לרום של 4,000 מטרים, והפליג אל מעל ומעבר להרי הרוקי, לגבהים שלא תוכנן עבורם, למרחקים שלא נועד לגמוע. הוא המשיך צפונה, בלתי-נלאה, במסע בן אלף קילומטרים , עד שהתרסק בסמוך לדנוור. עדיין איננו יודעים מה היתה הסיבה להתרסקות, אך קשה להאמין שצילי היה יכול להמשיך עוד זמן רב, מאחר והדלק שלו בוודאי נגמר כבר, או היה קרוב להיגמר, באותו הזמן.

וזהו סיפורו של צילי, הרובוט שלא חשב שהוא יכול – מכיוון שאין לו כלל יכולת חשיבה – אבל שבדרך-לא-דרך גמע מרחקים שלא היה אמור לעבור, בפרק זמן שלא היה אמור לשרוד בשמים, ובניגוד להנחיות שהיה אמור לקבל.

יומם של הרובוטים האוטונומיים

צילי הוא רק חלק מדור חדש של רובוטים – כאלו הנהנים מאוטונומיות מוגבלת, ומסוגלים להוציא לפועל משימה המוגדרת להם, עם מעורבות מינימלית של מפעיל אנושי. הפרשה של צילי משקפת, למעשה, באג במערכת התפעול של הרובוט. לפעמים אנו מגלים באגים בתוכנות בהן אנו משתמשים: הוורד עשוי להיתקע פתאום או להתחיל למחוק אותיות ומילים בעצמו, או שמערכת ההפעלה של המחשב עשויה ליפול ולהפסיק לפעול. אלו באגים מעצבנים, אבל אנו מצפים להם ומבינים שהם כמעט בלתי-נמנעים במערכות מחשוב מורכבות כל-כך.

ובכן, גם לצילי היה באג. ההבדל היחיד הוא שצילי הוא כטב"ם צבאי בשווי של מיליון וחצי דולרים, והבאג גרם לו לחצות בטיסה שלוש מדינות ואת הרי הרוקי. אפשר לומר בצדק רב שהיה לנו מזל שצילי משמש למטרות ניטור בלבד, ולכן אינו חמוש. אבל בן-דודו הפרדטור (Predator) משמש גם הוא למטרות ניטור וריגול, וחמוש – רק ליתר ביטחון – בשני טילי הלפייר (Hellfire) נגד-טנקים ובשישה טילי גריפין (Griffin) אוויר-קרקע.

בן-דודו החביב-פחות של צילי, הפרדטור, יורה טיל הלפייר נגד-טנקים. מקור: Defense Systems

אני חושד שהיינו משועשעים פחות מכל הפרשיה אילו היה אחד מהפרדטורים החמושים תופס את מקומו של צילי ויוצא למסע דומה ברחבי אמריקה, מבלי שנבין לאן הוא טס או מה יכולותיו המדויקות.

הרצון שמאחורי הרובוט

הכתיבה הרגשנית בחלקה הראשון של הרשומה העלתה בוודאי גיחוך על פיותיהם של רובוטיקאים מומחים, ומסיבה טובה. לרובוטים אין רצונות משלהם. אין להם מחשבות או מודעות עצמית. אבל הרובוטים המשוכללים של היום מתחילים לזכות במה שאפשר לקרוא לו בצדק – "דחפים". המתכנתים מטמיעים ברובוטים האוטונומיים את הדחפים להגיב למצבים שונים בדרכים מסוימות שהוגדרו עבורם מראש. מבחינה זו, הרובוטים האוטונומיים מזכירים חרקים, שיכולים להגיב לאותו מצב פעם אחר פעם באותה הדרך בדיוק – גם אם דרך זו הוכחה כהרת אסון עבורם. ואף על פי כן, הם ניחנים בדחף לפעול כך.

חרקים הם יצורים משוכללים למדי, אך גם הם חושפים 'באגים' כאשר הם נתקלים במצבים לא-צפויים. זו הסיבה שיתושים ממשיכים לקבל זרמים חשמליים כשהם עפים אל האור המהפנט שבמלכודת החשמלית, או שזבובים ממשיכים להיכנס למלכודת זבובים מכנית פשוטה, למרות שהם רואים את כל חבריהם לכודים בתוכה. הדחפים הפשוטים המתוכנתים במערכת העצבים שלהם אינם יכולים להתמודד עם הסביבה המודרנית המורכבת החדשה.

ואם החרקים יכולים לחוות באגים כשהם נקלעים לסביבה לא-צפויה, על אחת כמה וכמה הדבר נכון לרובוטים אוטונומיים. סיפורו של צילי ממחיש מה קורה כאשר הרובוט מציית לדחפים שגויים, או כאשר מתרחש כשל במערכת שנועדה 'לדחוף' אותו לחזור הביתה. באגים כאלו הינם בלתי-נמנעים בכל מערכת מורכבת, אך השלכותיהם יכולות להיות הרות-אסון כשמדובר ברובוטים אוטונומיים, ובמיוחד רובוטים חמושים מהסוג שניתן למצוא בשדה הקרב.

אם גם אתכם זה מפחיד…

אם גם אתכם מפחיד תרחיש בו מתגלים באגים לא-צפויים ברובוטים אוטונומיים, ייתכן שתרצו לחתום על המכתב הפתוח ששחרר לפני שנה וחצי המכון לעתיד החיים (The Future of Life Institute), כנגד שימוש בכלי-נשק אוטונומיים בשדה הקרב. לא תהיו לבד בחתימה עליו: יותר מאלף מומחים וחוקרים בתחום הבינה המלאכותית חתמו כבר על המכתב הקורא להטיל איסור על השימוש בכלי נשק אוטונומיים.

האם המכתב יצליח להניא ממשלות מהקניית יכולות אוטונומיות לרובוטים בשדה הקרב? אני בספק. אם לא הצלחנו לעצור את החימוש הגרעיני, קשה להאמין שנוכל לעצור את חימוש הרובוטים. אבל לפחות כשצילי או פרדי הפרדטור ילכו לאיבוד בפעם הבאה, תוכלו לצקצק בלשונותיכם באכזבה ולציין שידעתם שזה יקרה.

בקיצור, תוכלו להיות עתידנים.