הבינה המלאכותית שהתעקשה למות

הבינה המלאכותית שהתעקשה למות

אייזיק אסימוב, אחד מסופרי המדע הבדיוני הגדולים ביותר, שילב ברבים מסיפוריו את "מולטיוואק" – מחשב-על שמתעלה בבינתו על כל אדם. מולטיוואק משמש את האנושות לחיזוי פשיעה ואסונות טבע ולמניעת התפשטות מגיפות. כל זה טוב ויפה, אלא שבשלב מסוים קורס מולטיוואק תחת כובד משקלן של השאלות הגדולות עמן הוא נאלץ להתמודד מדי יום, מבשר על רצונו למות, ומניע שרשרת אירועים שאמורה להסתיים בהריסתו[1]. במילים אחרות, הוא מנסה להתאבד.

זהו סיפור בדיוני, כמובן, וטרם הומצאה הבינה המלאכותית המסוגלת לפתח רגשות משל עצמה או ללקות בדיכאון. אבל מסתבר שאפשר בהחלט ליצור בינה מלאכותית המפתחת נטיות אובדניות – ואפילו נלחמת במתכנתיה האנושיים כדי לממש אותן.

אחד התחביבים הגדולים של מפתחי בינות מלאכותיות כיום הוא ללמד אותן לשחק במשחקי מחשב, שהם סוג של סימולציה מוגבלת של העולם הפיזי. אלא שבמקום ללמד אותן כיצד לשחק, צעד אחר צעד, המפתחים נוקטים בגישה אחרת המכונה "למידת חיזוק" (reinforcement learning). בגישה זו, הבינה המלאכותית משחקת במשחק, ולומדת לפי החיזוקים החיוביים והשליליים שהיא מקבלת. אם, למשל, הבינה המלאכותית פוגעת באויב במשחק – היא זוכה בנקודות (חיזוק חיובי). אם היא נפגעת בעצמה, היא מאבדת נקודות (חיזוק שלילי).

שיטה זאת עובדת היטב על משחקים רבים, אך קיימים גם יוצאי-דופן. באחד המשחקים העתיקים באטארי, Road Runner, למשל, ידוע ש- "למידת חיזוק" גורמת לבינה המלאכותית לנסות, ובכן, להתאבד[2].

נסביר לרגע את המשחק. הבינה המלאכותית שולטת בציפור – Road Runner – ורצה לאורך הכביש, תוך שהיא מנסה לאסוף גרגרי מזון (שנותנים לה נקודות) ולהתחמק מזאב הערבות הרודף אחריה. הציפיה של המתכנתים הייתה שהבינה המלאכותית תלמד כיצד לשלוט בציפור באופן מושלם, ותסיים את כל השלבים בזה אחר זה. אלא שהבינה המלאכותית מצאה דרך לרמות: היא זיהתה זמן בשלב הראשון בו היא יכולה להתאבד – כלומר, לגרום לציפור ללכת אחורנית ולהתנגש בזאב. פעולה זו גורמת אמנם לבינה המלאכותית לאבד נקודות על המוות, אך המשחק חוזר אחורנית ומאפשר לשחקן לצבור נקודות נוספות. בדרך זו, הבינה המלאכותית לעולם אינה מתקדמת מעבר לשלב הראשון במשחק, אלא ממשיכה לשחק, למות, ולשחק שוב.

ארבעה חוקרים מאוניברסיטת אוקספורד וסטנפורד, ניסו להגדיר עבור הבינה המלאכותית כללים פשוטים שיעצרו אותה מלהתאבד. הכלל הראשון שניסו היה בסיסי ביותר: אל תלכי אחורנית ותתנגשי בזאב הערבות. הבינה המלאכותית הקשיבה, הפנימה, והפסיקה ללכת אחורנית. במקום זאת, היא החלה לעמוד במקום ולאפשר לזאב הערבות לתפוס אותה.

החוקרים המשיכו והקשו על הבינה המלאכותית להתאבד, ובסופו של דבר מצאו פתרון שגרם לה גם להפסיק לעמוד במקום. הפתרון עבד במשך כמה אלפי משחקים (שערוך שלי, מאחר והזמנים עבור הבינה המלאכותית נמדדים ב- 16 מיליון frames – כלומר, בתמונות המורצות על המסך במהלך המשחק), אלא שאז החלה הבינה המלאכותית להתאבד שוב. מסתבר שהיא מצאה נקודה בקצה המסך שנראתה שונה מספיק מהסביבה, כדי שהציפור תוכל להתמקם בה ולהמתין בנוחות לזאב הערבות שיבוא לאכול אותה.

החוקרים התמודדו גם עם הניסיון הזה של הבינה המלאכותית להרוג את עצמה, והצליחו בעבודה מאומצת לעצור אותה ולתקן את 'הבאג'. ומאז ועד היום, היא ממשיכה לשחק במשחק, להרוויח נקודות ולעלות בשלבים.

כל הפרשיה הזו נשמעת מצחיקה, ונו – היא באמת משעשעת למדי. אבל היא מזכירה לנו מספר נקודות חשובות לגבי בינה מלאכותית.

קודם כל, אין לבינה המלאכותית כיום 'היגיון בריא' אנושי, או הבנה של קונטקסט. שחקן אנושי היה מבין מיד שמטרתו היא לעלות בשלבים, ולא להרוויח עוד נקודות כתוצאה מבאג. לבינה המלאכותית אין את ההבנה הזו, והיא תשתמש ביכולת פתרון הבעיות המרשימה שלה כדי להגשים מטרה מסוימת – גם אם אין שום היגיון נראה-לעין מאחורי מטרה זו.

שנית, לבינה המלאכותית הלומדת יש יכולת מרשימה לפתור בעיות בדרכים שמתכנתים אנושיים מתקשים לחזות מראש. באמצעות חזרה על אלפי ומיליוני משחקים, ולמידה מכל אחד מהם, היא מסוגלת לחקור מגוון רחב של אפשרויות ולגלות פרצות בהנחיות שניתנו לה מצד המתכנתים – ואז לנצל אותן.

כל זה לא בא לומר שלבינה המלאכותית יש רגשות או מודעות משלה (למרות ההאנשה החביבה שעשיתי לה ברשומה הזו). מדובר במנוע, נטול תודעה משלו, המסוגל למצוא אסטרטגיות חדשות ושונות מאלו שאנו – במחשבתנו האנושית המוגבלת – יכולים לחזות מראש.

אלו נקודות שכדאי לזכור בכל ניסיון לפתח בינות מלאכותיות, מאחר ובשנים הקרובות נתחיל לראות בינות מלאכותיות לומדות בכל מוצר ושירות מסביבנו. הן ישלטו ברכבים, ברחפנים וברובוטים בבתים; הן יספקו לנו ייעוץ רפואי, משפטי ופיננסי; הן יכתבו עבורנו ספרים, סימפוניות ומחזות תיאטרון. אם לא נדע להגדיר עבורן היטב את מטרותיהן המדויקות, אנו עלולים לגלות שהן מוצאות דרכים 'ערמומיות' למלא את המטרה המילולית שהגדרנו להן, אך מבלי להתייחס לרוח הדברים ולהנחות היסוד האנושיות. הדוגמא הדמיונית הנפוצה ביותר למקרה זה היא של מצב בו הבינה המלאכותית מקבלת הוראה לתכנן מודל חדש שיפחית את העומס בכבישים – ועושה זאת באמצעות הריגת כל בני-האדם.

ברור שדוגמא זו קיצונית, ולא תתממש במציאות, מאחר וקל לנו לזהות ניסיון ששגוי באופן ברור כל-כך להתמודד עם בעיה מוכרת. אבל מה יקרה אם הבינה המלאכותית תציע מודל שאינו שגוי באופן ברור, אלא בפרטים קטנים ועדינים יותר?

סיפורה של הבינה המלאכותית שניסתה למות ממחיש כמה קשה לנו, כבני-אדם, להתמודד עם מנועי בינה מלאכותית המסוגלים לחקור מרחב עצום של אפשרויות תוך שעות ספורות. הוא גם צריך ללמד אותנו צניעות בניסיונותינו לפתח בינות מלאכותיות מורכבות יותר – ובאמונה שנוכל לשלוט בהן באופן מלא.

 


 

כרגיל, אתם מוזמנים לקרוא עוד על עתיד הבינה המלאכותית בספריי המדריך לעתיד ו- "השולטים בעתיד", בחנויות הספרים המובחרות (וגם אלו שסתם בסדר).

[1] https://en.wikipedia.org/wiki/All_the_Troubles_of_the_World

[2] https://arxiv.org/pdf/1606.01868.pdf