הבינה המלאכותית שהתעקשה למות

אייזיק אסימוב, אחד מסופרי המדע הבדיוני הגדולים ביותר, שילב ברבים מסיפוריו את "מולטיוואק" – מחשב-על שמתעלה בבינתו על כל אדם. מולטיוואק משמש את האנושות לחיזוי פשיעה ואסונות טבע ולמניעת התפשטות מגיפות. כל זה טוב ויפה, אלא שבשלב מסוים קורס מולטיוואק תחת כובד משקלן של השאלות הגדולות עמן הוא נאלץ להתמודד מדי יום, מבשר על רצונו למות, ומניע שרשרת אירועים שאמורה להסתיים בהריסתו[1]. במילים אחרות, הוא מנסה להתאבד.

זהו סיפור בדיוני, כמובן, וטרם הומצאה הבינה המלאכותית המסוגלת לפתח רגשות משל עצמה או ללקות בדיכאון. אבל מסתבר שאפשר בהחלט ליצור בינה מלאכותית המפתחת נטיות אובדניות – ואפילו נלחמת במתכנתיה האנושיים כדי לממש אותן.

אחד התחביבים הגדולים של מפתחי בינות מלאכותיות כיום הוא ללמד אותן לשחק במשחקי מחשב, שהם סוג של סימולציה מוגבלת של העולם הפיזי. אלא שבמקום ללמד אותן כיצד לשחק, צעד אחר צעד, המפתחים נוקטים בגישה אחרת המכונה "למידת חיזוק" (reinforcement learning). בגישה זו, הבינה המלאכותית משחקת במשחק, ולומדת לפי החיזוקים החיוביים והשליליים שהיא מקבלת. אם, למשל, הבינה המלאכותית פוגעת באויב במשחק – היא זוכה בנקודות (חיזוק חיובי). אם היא נפגעת בעצמה, היא מאבדת נקודות (חיזוק שלילי).

שיטה זאת עובדת היטב על משחקים רבים, אך קיימים גם יוצאי-דופן. באחד המשחקים העתיקים באטארי, Road Runner, למשל, ידוע ש- "למידת חיזוק" גורמת לבינה המלאכותית לנסות, ובכן, להתאבד[2].

נסביר לרגע את המשחק. הבינה המלאכותית שולטת בציפור – Road Runner – ורצה לאורך הכביש, תוך שהיא מנסה לאסוף גרגרי מזון (שנותנים לה נקודות) ולהתחמק מזאב הערבות הרודף אחריה. הציפיה של המתכנתים הייתה שהבינה המלאכותית תלמד כיצד לשלוט בציפור באופן מושלם, ותסיים את כל השלבים בזה אחר זה. אלא שהבינה המלאכותית מצאה דרך לרמות: היא זיהתה זמן בשלב הראשון בו היא יכולה להתאבד – כלומר, לגרום לציפור ללכת אחורנית ולהתנגש בזאב. פעולה זו גורמת אמנם לבינה המלאכותית לאבד נקודות על המוות, אך המשחק חוזר אחורנית ומאפשר לשחקן לצבור נקודות נוספות. בדרך זו, הבינה המלאכותית לעולם אינה מתקדמת מעבר לשלב הראשון במשחק, אלא ממשיכה לשחק, למות, ולשחק שוב.

ארבעה חוקרים מאוניברסיטת אוקספורד וסטנפורד, ניסו להגדיר עבור הבינה המלאכותית כללים פשוטים שיעצרו אותה מלהתאבד. הכלל הראשון שניסו היה בסיסי ביותר: אל תלכי אחורנית ותתנגשי בזאב הערבות. הבינה המלאכותית הקשיבה, הפנימה, והפסיקה ללכת אחורנית. במקום זאת, היא החלה לעמוד במקום ולאפשר לזאב הערבות לתפוס אותה.

החוקרים המשיכו והקשו על הבינה המלאכותית להתאבד, ובסופו של דבר מצאו פתרון שגרם לה גם להפסיק לעמוד במקום. הפתרון עבד במשך כמה אלפי משחקים (שערוך שלי, מאחר והזמנים עבור הבינה המלאכותית נמדדים ב- 16 מיליון frames – כלומר, בתמונות המורצות על המסך במהלך המשחק), אלא שאז החלה הבינה המלאכותית להתאבד שוב. מסתבר שהיא מצאה נקודה בקצה המסך שנראתה שונה מספיק מהסביבה, כדי שהציפור תוכל להתמקם בה ולהמתין בנוחות לזאב הערבות שיבוא לאכול אותה.

החוקרים התמודדו גם עם הניסיון הזה של הבינה המלאכותית להרוג את עצמה, והצליחו בעבודה מאומצת לעצור אותה ולתקן את 'הבאג'. ומאז ועד היום, היא ממשיכה לשחק במשחק, להרוויח נקודות ולעלות בשלבים.

כל הפרשיה הזו נשמעת מצחיקה, ונו – היא באמת משעשעת למדי. אבל היא מזכירה לנו מספר נקודות חשובות לגבי בינה מלאכותית.

קודם כל, אין לבינה המלאכותית כיום 'היגיון בריא' אנושי, או הבנה של קונטקסט. שחקן אנושי היה מבין מיד שמטרתו היא לעלות בשלבים, ולא להרוויח עוד נקודות כתוצאה מבאג. לבינה המלאכותית אין את ההבנה הזו, והיא תשתמש ביכולת פתרון הבעיות המרשימה שלה כדי להגשים מטרה מסוימת – גם אם אין שום היגיון נראה-לעין מאחורי מטרה זו.

שנית, לבינה המלאכותית הלומדת יש יכולת מרשימה לפתור בעיות בדרכים שמתכנתים אנושיים מתקשים לחזות מראש. באמצעות חזרה על אלפי ומיליוני משחקים, ולמידה מכל אחד מהם, היא מסוגלת לחקור מגוון רחב של אפשרויות ולגלות פרצות בהנחיות שניתנו לה מצד המתכנתים – ואז לנצל אותן.

כל זה לא בא לומר שלבינה המלאכותית יש רגשות או מודעות משלה (למרות ההאנשה החביבה שעשיתי לה ברשומה הזו). מדובר במנוע, נטול תודעה משלו, המסוגל למצוא אסטרטגיות חדשות ושונות מאלו שאנו – במחשבתנו האנושית המוגבלת – יכולים לחזות מראש.

אלו נקודות שכדאי לזכור בכל ניסיון לפתח בינות מלאכותיות, מאחר ובשנים הקרובות נתחיל לראות בינות מלאכותיות לומדות בכל מוצר ושירות מסביבנו. הן ישלטו ברכבים, ברחפנים וברובוטים בבתים; הן יספקו לנו ייעוץ רפואי, משפטי ופיננסי; הן יכתבו עבורנו ספרים, סימפוניות ומחזות תיאטרון. אם לא נדע להגדיר עבורן היטב את מטרותיהן המדויקות, אנו עלולים לגלות שהן מוצאות דרכים 'ערמומיות' למלא את המטרה המילולית שהגדרנו להן, אך מבלי להתייחס לרוח הדברים ולהנחות היסוד האנושיות. הדוגמא הדמיונית הנפוצה ביותר למקרה זה היא של מצב בו הבינה המלאכותית מקבלת הוראה לתכנן מודל חדש שיפחית את העומס בכבישים – ועושה זאת באמצעות הריגת כל בני-האדם.

ברור שדוגמא זו קיצונית, ולא תתממש במציאות, מאחר וקל לנו לזהות ניסיון ששגוי באופן ברור כל-כך להתמודד עם בעיה מוכרת. אבל מה יקרה אם הבינה המלאכותית תציע מודל שאינו שגוי באופן ברור, אלא בפרטים קטנים ועדינים יותר?

סיפורה של הבינה המלאכותית שניסתה למות ממחיש כמה קשה לנו, כבני-אדם, להתמודד עם מנועי בינה מלאכותית המסוגלים לחקור מרחב עצום של אפשרויות תוך שעות ספורות. הוא גם צריך ללמד אותנו צניעות בניסיונותינו לפתח בינות מלאכותיות מורכבות יותר – ובאמונה שנוכל לשלוט בהן באופן מלא.

 


 

כרגיל, אתם מוזמנים לקרוא עוד על עתיד הבינה המלאכותית בספריי המדריך לעתיד ו- "השולטים בעתיד", בחנויות הספרים המובחרות (וגם אלו שסתם בסדר).

[1] https://en.wikipedia.org/wiki/All_the_Troubles_of_the_World

[2] https://arxiv.org/pdf/1606.01868.pdf

19 מחשבות על “הבינה המלאכותית שהתעקשה למות

  1. מענין רועי , אבל הרי אותה ציפור ניתן להקשות , כלל לא מופעלת אם כך , על ידי בינה מלאכותית . שהרי על פי הפוסט , אותם מתכנתים , הגבילו את הבינה המלאכותית לכאורה , מלתמרן באופן בסיסי . שהרי , במקום שהיא תצבור כושר תמרון ותחכום , חסמו לה ווקטורים : לא ללכת אחורה , לא לעמוד , לא להתאבד למעשה וכו…. אז איך בדיוק זוהי בינה מלאכותית ?

    הטבע של האדם , וממילא של שאיפה לבינה מלאכותית , זה ללכת אחורה , או לתמרן " לירידה לצורך עליה " מה שנקרא במליצה . ונמחיש זאת :

    במלחמה , מבצעים תדיר , נסיגה טקטית , הנסיגה היא טקטית ,על מנת שאפשר יהא יותר מאוחר , בהמשך הלחימה לשאוף למטרה האסטרטגית , ביתר יעילות , או תוך שידוד מערכות ו – רה – ארגון . אז הולכים אחורה , בשביל ללכת חזק יותר קדימה בסוף .

    ברפואה , מדכאים לפעמים את מערכת החיסון , על מנת שגוף זר ייקלט ביתר יעילות וקלות בגוף , והגוף , או מערכת החיסון לא תילחם בו ותדחה אותו . או , שמזריקים וירוס מת מוחלש , על מנת שקונפיגורציית הווירוס תזוהה , ומכאן ואילך , ווירוס של ממש , יושמד על ידי מערכת החיסון .

    מערכת בתי המשפט בנויה לדבר מרכזי ביותר : להרשיע עבריינים , ולכלוא אותם או להענישם . אבל , המערכת הזו , משקיעה לא פעם , הרבה יותר משאבים , למנוע מאדם חף מפשע להיכנס לכלא , מאשר להרשיע עבריין , גם במחיר שיחרור עבריין . אז תדיר , מערכות הולכות אחורה , על מנת ללכת קדימה ביתר שאת .

    אז זה לא עובד . אם אתה מתכנת הציפור , כך עשי , כך אל תעשי , לא עובד !!

    תודה

    אהבתי

    • לא תכננו את הציפור, תכננו את השחקן, וגם לשחקן בשר ודם יש כללים ומגבלות. זה לא עושה אותו חסר אינטלגנציה. במערכת בתי המשפט אין אינטלגנציה ובהחלט הזרקת דם של אינטלגנציה מלאכותית נדרשת. כיום מערכת בתי המשפט בנויה לדבר מרכזי אחד, להאדיר את האיגו של השופטים. לרובוט לא יהיה איגו

      אהבתי

      • בטח בי , שאני יודע על הציפור ועל השחקן , ולא כתבתי כלל על אינטיליגנציה , בחייך , קרא פעם פעמיים ושלש אם צריך .

        אם היית מכיר בכלל את מערכת בתי המשפט , אבל , אינך מכיר כלל , לא המערכת , לא השופטים , לא כלום שם !! בטח בי !! אין לך מושג קלוש על המערכת .אם היינו שואלים אותך דברים בסיסיים ביותר, לא היית יודע כלום , אבל , אתה משוכנע , שיש להם אגו לשופטים , קראת איזה טור דיעה שטוח , ותו לאיו באיזה מקום . פטור אותנו ….

        ואגב , אם לרובוט לא היה אגו , אז הוא היה גרוע מבחינת אינטילגנציה מלאכותית , שהרי , הוא לא היה יכול להשליך ולהבין בני אדם עם אגו . עלה על דעתך כדבר הזה ?

        אהבתי

      • מה הקשר בין מערכת המשפט לאינטלגנציה מלאכותית? בכל מקום אתה צריך לדחוף אית בית המשפט? נושא הכתבה הוא היכולת להבהיר לאינטלגנציה המלאכותית מה המטרה ולחסום תוך כדי כך את כל הלופ הולס. מערכת המשפט מוצאת לופ הולס על מנת שתוכל לעוות את החוק ולהציג את הדברים כמו שנוח לשופט שרוצה לצאת לארוחת צהרים ולנקות את השולחן ולא לחפש צדק.

        אהבתי

      • בית המשפט קבע כי גם עמידה ברמזור אדום עולה לכדי ההגדרה של "רכב בתנועה".
        לזה אתה קורא אינטלגנציה? איזה מחשב היה אומר לך שעמידה זו תנועה?
        ולטענתך מחשב צריך איגו כדי להבין איגו? אז גם שופט צריך להיות נוכל כדי להבין נוכל?

        אהבתי

    • אל רום
      מטרת הכתבה היא להצביע על חוסר היגיון בריא. כפי כמו ששופט מבין מדוע נכתב החוק ומה היתה כוונת המחוקק, על האינטלגנציה המלאכותית להבין בין השורות מה באמת התכוון המשורר ולא את המילים היבשות והיא לא מסוגלת, עדיין.
      יש בזה יתרון, היא לא מוטה, שופט עלול לפרש את הדברים לפי דעותיו הפוליטיות או קשריו עם הנאשם, אבל היא לא תתמודד עם מקרים יוצאי דופן. גם כיום כשאתה עונה למענה שרות אוטומטי אתה תהיה מתוסכל כשהוא לא מסוגל להתמודד עם מקרה פרטני מעט יוצא דופן שמתכנן המערכת לא שילב במענה מתוך קוצר ראיה

      אהבתי

  2. פינגבק: רועי צזנה: הבינה המלאכותית שהתעקשה להתאבד... - ייצור ידע

  3. על בתי ספר בינה מלאכותית ופרסונליזציה בחינוך…
    מן המפורסמות היא שבתיה"ס לא השתנו מאז הקמתם (להרחבת הדעת – מגזין "השפעה" מס.1 של אגף מו"פ ניסויים ויוזמות הכתבה: אל המרחב האין סופי- בית הספר הבדיוני http://www.edumop.com/-).
    כאן, עולה השאלה- מה הערובה שמוסדות חינוך אשר לא השתנו מאות בשנים הפעם ישתנו? ואם כן, מה יהיה אופי השינוי?

    התשובה טמונה ב"בינה המלאכותית". במה דברים אמורים? מדובר ביכולתם של מחשבים לפעול באופן שאפיין את הבינה האנושית בלבד. כלומר, הם יוכלו לדבר אתנו אבל יוכלו גם לדבר בינם לבין עצמם וצפויים להפוך לחלק מהותי מחיי היום יום שלנו.
    כיום, כפי שכתבת בספרך, מדברים על זמנים בהם הבינה המלאכותית תשלוט בחיי היום יום שלנו ותנהל את חיינו.
    אותי מעניין לשמוע את דעתך על השפעת הבינה המלאכותית על החינוך-
    האם הבינה המלאכותית תכפה שינוי תפיסת החינוך, בדרכי ההתנהלות של מוסדות החינוך? – נושאי הלימוד ודרכי הלימודים היום הלומד נדרש להתאים את עצמו למערכת.
    השאלה המתבקשת אינה במה תשפיע הבינה המלאכותית על החינוך, אלא כיצד ולמה עלינו לכוון היום על מנת להכין ילדינו הצעירים לסביבת החיים החדשה?

    אהבתי

    • מורים יהיו האטחרונים שיוחלפו על ידי רובוטים היות ויש צורך במגע אישי. כל המחשבים למינהם לא שווים כלום בלי האינטלגנציה האנושית של המורה

      אהבתי

    • שאלה גדולה ומורכבת. בגדול, מי שידע להשתמש בטכנולוגיה ולהבינה לעומק, יהיה אחד מ- "המנצחים הגדולים" – מהנדסי-העל שירוויחו הרבה וכולם ירצו להעסיק אותם. כמו מתכנתי הבינה המלאכותית היום.

      אפשרות אחרת היא להפוך ל- "כוכב על" חברתי – למשל באמצעות נוכחות ברשתות החברתיות, יוטיוב, וכדומה. אבל בשביל זה צריך סוג אחר של אישיות (וסליחה על הסטראוטיפיזציה) מזו שמאפיינת בדרך-כלל מדענים ומהנדסים.

      Liked by 1 person

  4. פשוט תענוג לקריאה.
    אתה מסביר ומפשט דברים בצורה ברורה, מילולית, הומוריסטית קלילה, אינטראקטיבית וראויה להערצה.

    תודה רבה רועי יקר 🙂

    אהבתי

  5. פינגבק: רועי צזנה: הבינה המלאכותית שהתעקשה להתאבד... - ייצור ידע

  6. גם אנשים מנסים למות כי לא מצאו דרך אחרת וזה נראה המוצא היחיד.

    בעניין "לחקור מגוון רחב של אפשרויות ולגלות פרצות בהנחיות" יש את המאמר הזה

    The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities
    https://arxiv.org/abs/1803.03453

    אהבתי

  7. התשובה של תום נהדרת:גם אנשים מנסים למות כי לא מצאו דרך אחרת וזה נראה המוצא היחיד

    רובנו לא עמדנו שם לכן אנחנו מתקשים להבין.
    מאחר ומחשב הוא בסופו של דבר העתק של דרך המחשבה של בן אדם ניתן לבקש מהמחשב באופן קבוע לבדוק אם הוא לא מזיק לעצמו ולהגדיר עד איזה מידה ומתי הוא יכול להזיק.
    ההבדל בין מחשב לאדם בתחום הזה הוא שתמיד אפשר לאתחל את המחשב מחדש.

    אהבתי

  8. האם לדעתך אנחנו עומדים על סף מצב שבו מחשבים יוכלו לקחת את האינטלגנציה המלאכותית שקיבלו ולהמשיך בכוחות עצמם לפתח אותה ולהתקדם הרבה מעבר להשגת מוח האדם? האם האלברט אינשטיין הבא יהיה מחשב?

    אהבתי

  9. הנה כתבה שקראתי על הקונטינרים, ההמצאה ששינתה את פני התובלה והביאה לכך שכדאי יותר ליצר וליבא מסין בגדים שיוצרו מכותנה שיובאה מארה"ב ונארגה בהודו וכו.

    כיום לדוגמה חברת טלסה מיצרת את המודלים החדשים שלה ללא מגע יד אדם, הכל רובוטים. האם האינטלגנציה המלאכותית תחזיר את היצור למדינות המערביות המפותחות ותהפוך את היצרן הזול של העולם השלישי למיותר.

    https://alaxon.co.il/article/%D7%94%D7%A7%D7%95%D7%A4%D7%A1%D7%94-%D7%A9%D7%A9%D7%99%D7%A0%D7%AA%D7%94-%D7%90%D7%AA-%D7%94%D7%A2%D7%95%D7%9C%D7%9D/

    Liked by 1 person

להשאיר תגובה

הזינו את פרטיכם בטופס, או לחצו על אחד מהאייקונים כדי להשתמש בחשבון קיים:

הלוגו של WordPress.com

אתה מגיב באמצעות חשבון WordPress.com שלך. לצאת מהמערכת /  לשנות )

תמונת גוגל פלוס

אתה מגיב באמצעות חשבון Google+ שלך. לצאת מהמערכת /  לשנות )

תמונת Twitter

אתה מגיב באמצעות חשבון Twitter שלך. לצאת מהמערכת /  לשנות )

תמונת Facebook

אתה מגיב באמצעות חשבון Facebook שלך. לצאת מהמערכת /  לשנות )

מתחבר ל-%s