איך דיסני שומרת את מיקי מאוס מאחורי סורג ובריח

איך דיסני שומרת את מיקי מאוס מאחורי סורג ובריח

מכון מופ"ת הזמין אותי להרצות השבוע על עתיד זכויות היוצרים. בחרתי להתמקד באחת הזוויות החורה לי אישית ביותר: זו העוסקת במאמרים אקדמיים. אני מקווה שתיהנו מהרשומה, שנגזרה מתוך ההרצאה המקורית.

 

אם אתם חוקרים באקדמיה ובתעשיה, בוודאי תכירו את התהליך הבא: אתם מקבלים גראנטים ממשלתיים, עורכים מחקר מעמיק, משקיעים כל טיפה של מרץ ואנרגיה ויאוש שיש לכם כדי להשיג תוצאות, ואז מנסים לפרסם אותן. כותבים מאמר אחד. מתקבל. ואז, במאמר השני, מתחילה הבעיה. בכל מאמר אתם צריכים לכתוב הקדמה – Introduction – שהיא עמוד או שניים של רקע על מצב התחום כיום. צריך לכתוב את השיטות. והדבר הכי מתסכל הוא שבחצי מהמאמרים שאתם כותבים, ההקדמה יכולה להיות כמעט זהה. חלק גדול מהשיטות אפשר להעתיק מילה במילה – והן עדיין יהיו מתאימות גם במאמרים הבאים.

אבל אנחנו לא עושים את זה. אנחנו לא מעתיקים בעצמנו. במקום זה, אנחנו מסתכלים על ההקדמות של המאמרים הקודמים שלנו וכותבים אותן מחדש. לא מעתיקים – זה אסור. רק… כותבים מחדש לפי בדיוק אותו סדר רעיוני ועם מילים אחרות ואולי רפרנס חדש פה ושם. ולמה? כי אסור לנו להעתיק ממאמרים קודמים שכתבנו. כי זהו חטא ה- Self plagiarism – שחוקרים גדולים וחשובים כבר לקו בו: ההעתקה מעצמך, או "גנבה ספרותית מעצמך".

אבל רגע. יש כמה סוגים של העתקות. אתה יכול להעתיק במבחן מחבריך לכתה, וזה בוודאי פסול כי אתה נבנה ומתבסס על ידע שלא זכית בו בצדק. אתה יכול להעתיק ממאמר של חוקרים אחרים פסקה או אפילו את כל הטקסט, וזה פסול מאותה הסיבה בדיוק: אתה לוקח ידע של אחרים ומעמיד פנים שהגעת אליו בעצמך. אבל בסוג השלישי של העתקות, ההעתקה העצמית, אתה רק לוקח ידע קודם שזכית בו ביושר ומשתמש בו בשנית.

אז למה אנחנו מתייחסים לחיה המוזרה הזו, "העתקה עצמית", כאל מנהג פסול? את מי מרמה המעתיק העצמי, בעצם?

והתשובה היא שהוא מרמה את המוציאים לאור. כי בדרכי הפרסום המסורתיות, מהרגע שחוקר כתב את המחקר שלו והצליח להביא שיתקבל למגזין מדעי, המאמר כבר אינו שלו. ההקדמה כבר אינה שלו. המילים של החוקר כבר אינן שלו – הן של המגזין. וכפי שנכתב באתר American Journal Experts

"מילותיך שלך עשויות שלא להיות שייכות לך… על אף שאתה הבעלים האינטלקטואלי של הרעיונות והתוצאות [במאמר, ר.צ.], הפרסום הוא רכוש כתב העת. … למרות שזה בניגוד לאינטואיציה, מיחזור מילותיך שלך נתפש בעיני החוק כהפרת זכויות יוצרים, אפילו אם אתה כתבת אותן."

חכו רגע. משהו לא בסדר כאן. הייתי יכול להבין מצב בו תוצרי המחקר היו שייכים לגוף שמממן את המחקר. זה נראה לי הגיוני וסביר – מי שמשלם על הזמן של החוקר ולמעשה מפעיל אותו כעובד קבלן, אמור להיות בעל הזכויות. אבל המצב הפוך: הגופים המממנים משלמים הון תועפות, ואז החוקר משלם לפעמים למגזינים עצמם עוד כמה מאות דולרים כדי שיקבלו את המאמר ויוציאו אותו לאור… ויקבלו עליו את הזכויות!

כדי להבין איך הגענו למצב הזה, אנו צריכים לחזור הרחק אחורנית בזמן ולבחון את הסיבות ליצירת המגזינים המדעיים.

חזרה לעבר

הכל התחיל בשנת 1665, כשהחברה המלכותית בבריטניה החלה לפרסם תוצאות מחקריות במגזין שנקרא Philosophical Transactions of the Royal Society. מכיוון שמספר העמודים בכל גיליון היה מוגבל, העורכים היו יכולים לבחור רק את המאמרים המעניינים והאמינים ביותר. כתוצאה, מדענים מכל בריטניה נלחמו על הזכות לפרסם את מאמריהם במגזין, וחוקר צעיר שהצליח לפרסם את מחקרו שם זכה להכרה מיידית בכל רחבי הממלכה. המדענים הסכימו אפילו לערוך מאמרים של אחרים עבור המגזינים, מכיוון שזו הייתה עמדה שהקנתה להם כבוד, ואפשרה להם לבקר את המתחרים.

וכך נחתמה העסקה הלא-כתובה בין המוציאים לאור למדענים: המגזינים סיפקו פלטפורמה על גביה הציגו המדענים את המחקר, והמדענים נלחמו והתאמצו כדי שהמאמרים שלהם יתקבלו, ולעתים אף שילמו מכיסיהם בשביל התענוג. בעלי המגזינים היו גם בעלי הכוח, ויכלו לדרוש מהחוקרים זכויות מלאות על מאמריהם, כדי לוודא שאותו מאמר לא יתפרסם בשנית במגזין מתחרה.

התנאים האלו הגיוניים, אבל רק בעולם הישן של הפרסום המדעי, משתי סיבות: ראשית, בעלי המגזינים היו מוגבלים במקום – כלומר, במספר הדפים במגזין – ולכולם היה ברור שעל מקום מוגבל צריך לשלם; ושנית, בעלי המגזינים היו האגרגטורים של מספר רב של שירותים נחוצים: עריכה, הגהה, עימוד, שינוע המגזין לספריות מדי שבוע או חודש, וכן הלאה. אלו דברים שהמדענים פשוט לא רצו להתעסק עמם, ושניתן היה לבצע באופן יעיל יותר כשהם מכונסים תחת גג אחד.

ואז, לפתע פתאום, הגיעה האינטרנט בה המקום קרוב להיות אינסופי, ובה השינוע של תוכן דיגיטלי אינו עולה דבר. ולצדה הופיעו גם שפע של תוכנות אוטומטיות – כמו וורד – שמאפשרות לכל מדען להגיה בעצמו את המאמר שלו, לעמד אותו בעצמו, לעצב אותו בעצמו וכן הלאה.

הקלות הבלתי-נסבלת של הפרסום

בואו נעבור לרגע ביחד על תהליך פרסום מאמר חדש, ונראה כמה קל ונוח הוא הפך להיות בזכות האוטומציה והאינטרנט:

  1. המדען שולח את כתב העת למגזין: ניתן לבצע עתה בקלות דרך האינטרנט, ללא עלות משלוח.
  2. המאמר מועבר לעורך בתחום הרלוונטי. כיום, כותבי המאמר מציינים את תחום המאמר, כך שהמאמר מועבר אוטומטית לעורך המתאים.
  3. העורך שולח את המאמר למבקרים מדעיים רלוונטיים. כולם עובדים בחינם, כך שהמוציא לאור לא מוציא כסף על שירותיהם. נניח שהם מאשרים את המאמר. במקרה זה אנו עוברים לשלבים הבאים.
  4. המאמר עובר הגהה, עימוד ועיצוב גרפי. מטלות אלו מבוצעות כיום באופן כמעט אוטומטי על-ידי החוקר עצמו, אם הוא רק יודע להשתמש במעבד תמלילים מודרני.
  5. השלב האחרון הוא הדפסת והפצת המגזין, והוא היחיד שחייב לעלות כסף מכיוון שהוא מתבצע בעולם הפיזי, ואטומים עולים הרבה יותר כסף מביטים. וזה שלב מאד חשוב, כמובן, מכיוון שחוקרים הולכים בתחילת כל חודש לספריות המוסדות האקדמיים בהתרגשות גדולה ובפיק ברכיים, כדי להחזיק את העותק הפיזי החדש של הירחון שיצא זה עתה, לדפדף בו בחרדת קודש ולהתענג על מילותיו המודפסות.

מה, לא?

האמת היא שכיום, החוקר הטיפוסי הולך לרשת כדי לקרוא את המאמרים שמעניינים אותו. הוא מקבל התראות אוטומטיות כשיוצאים מחקרים בתחומים שרלוונטיים עבורו. הוא מוריד את המאמרים אליו למחשב או לטאבלט וקורא אותם שם – או פשוט מדפיס אותם אצלו על חשבונו. החוקרים כבר הבינו שאין טעם בקריאת המגזין השלם, שהוא תוצר של העולם הישן בו היה צורך לדחוס מילים ומחקרים בפורמט שיהיה קל לשנע ממקום למקום. בעולם החדש, אין משמעות פרקטית למקום בו מתפרסמים המחקרים הללו – מנועי החיפוש מביאים את החוקרים אליהם בקלות ובאופן מיידי.

רשימת הצעדים הזו מראה למה המוציאים לאור כבר פשוט אינם רלוונטיים היום, למרות התפקיד החשוב ששיחקו במדע במאות השנים האחרונות. את כל הצעדים אפשר להוציא לפועל בעלות שולית אפסית, ולמעשה אנו מתקדמים כבר עכשיו לדרכי פרסום קהילתיות וחינמיות כגון arXiv, או כאלו בהן הברירה של מאמרים ברמה גבוהה מתבצעת על-ידי קהילת המדענים במשותף, בפורומים של עשרות-אלפי מדענים כגון Faculty of 1,000.

המוציאים לאור הפכו למיותרים בחלקם הגדול. אז למה אנחנו נותנים להם עדיין את זכויות היוצרים על המאמרים שלנו?

יש שלוש תשובות לשאלה. מצד אחד, המנהגים הללו כבר השתרשו בקהילה המדעית. אתה חייב לפרסם במגזינים נחשבים כדי לזכות בכבוד, בהכרה ובגראנטים נוספים. מצד שני, מדענים מעריכים מאמרים שעברו ביקורת עמיתים. אבל היום אפשר לבצע ביקורת אמיתים גם רטרואקטיבית – ומסתבר שביקורת שכזו, המתבצעת בפורומים מקוונים על-ידי עשרות מדענים תוך ימים ספורים מהרגע בו המאמר מתפרסם, יכולה להיות מוצלחת עוד יותר במציאת שגיאות וזיופים, מביקורת עמיתים המתבצעת על-ידי שניים-שלושה מדענים לפני שהמאמר יוצא לאור.

והתשובה השלישית היא שנדרש זמן רב עד שהחברה מסתגלת לשינויים טכנולוגיים – והשינוי החברתי לוקח זמן רב עוד יותר כשיש כוחות שמרוויחים מהמצב הקיים. וכדי להסביר את הקביעה הזו ואת הקשר שלה לזכויות יוצרים, נבחן עכשיו את ההיסטוריה של אחת הדמויות המצוירות המוכרות והאהובות ביותר בעולם.

דיסני.jpg

העכבר שדיסני לא מוכנים לשחרר לחופשי. הזכויות שמורות (איך לא) לדיסני.

מזהים אותו?

זהו מיקי מאוס, כמובן, והעכבר התמים לכאורה הזה עומד מאחורי אחד המאבקים המעניינים יותר בקונגרס האמריקני בשלושים השנים האחרונות.

העכבר שדיסני לא מוכנים לשחרר לחופשי

מיקי מאוס נחשף לראשונה לציבור בשנת 1928, בסרטון שחור לבן ששילב אפקטים קוליים ומוזיקה בתיאום מושלם עם האנימציה. הוא הפך בן לילה לכוכב, והופיע על ילקוטי בית-ספר, על חולצות, על כובעים, על כוסות, ואפילו במקומות אקזוטיים יותר. זכויות היוצרים עליו היו שמורות לדיסני ל- 56 שנים, כמוגדר בחוק. כלומר, עד ל- 1984. אבל דיסני לא אהבה את הרעיון שתאבד מיליארדי דולרים ברווחים, וחמור מכך – שמיקי יהפוך לנחלת הכלל.

וכך, בתחילת שנות השמונים הפעילה דיסני את קשריה בקונגרס האמריקני והביאה להארכת זכויות היוצרים על כל היצירות, לכל החברות, בעשרים שנים נוספות. מיקי נשמר בידי דיסני עד 2003, ובתקופה זו הניב לה חמישה מיליארד דולרים.

ומה קרה ב- 2003? דיסני עתרה לקבלת הארכה נוספת כבר בשנות התשעים, תוך שהיא מגייסת לעזרתה קבוצות אחרות כמו טיים וורנר ואת יורשיהם של יוצרים מפורסמים כמו ג'ורג' גרשווין שרצו להמשיך להרוויח מהיצירות של אבא-סבא. הפעם המאבק היה קשה במיוחד, אחרי ההארכה הקודמת של עשרים שנים. הנה מה שכתב הסנאטור האנק בראון שהשתתף בדיונים בנושא בוועדת הסנאט לענייני משפט –

"התמריץ האמיתי כאן הינו לבעלי תאגידים שקנו זכויות יוצרים, ועותרים בקונגרס כדי לזכות בעוד עשרים שנים של רווחים – ולא ליוצרים שיהיו מתים זמן רב לפני שהארכת זכויות היוצרים הזו תתממש."

אבל ההתנגדות הייתה לשווא, והתיקון לחוק עבר. דיסני קיבלה עוד עשרים שנים של נחת, ורק ב- 2023 צפויה לאבד את זכויות היוצרים. אתם יכולים להבין שהיא מתחילה כבר עכשיו לגייס את חברי הקונגרס והסנאט לטובתה לקראת המאבק של 2023.

אגב, כמעט אפשר להשוות את המצב לשוד של הציבור. דיסני הרוויחה יפה מדמויות כמו פיטר-פן, סינדרלה, שלגיה ואחרות, שהיו פתוחות לשימוש חופשי על-ידי הציבור – ולכן דיסני הייתה יכולה ליצור מסביבן סרטים עם הכנסות יפות. אבל כשהגיע הזמן בו דיסני הייתה אמורה להחזיר את חובה לחברה ולשחרר את היצירות בחזרה לציבור, היא בחרה לשנות את החוק במקום זאת.

ולמה אני מספר את כל הסיפור הזה? כדי להראות עד כמה זכויות היוצרים הן תוצר של כוחות מתחרים ושונים בחברה – של מאבק בין טובת הציבור לבין טובת בעלי ההון וחברות מסחריות שיכולים להשפיע על נציגי הציבור ולקדם כללים שאינם מספקים בהכרח מענה אופטימלי לצרכי הציבור. במקרה של דיסני, החברה הפעילה לוביסטים כדי להשפיע על נציגי הציבור. במקרה של המוציאים לאור האקדמיים לא ידוע לי האם הם הפעילו השפעה כלשהי על הקונגרס, אבל ברור שבמקום בו יש כסף, יש גם השפעה – בין שהיא מוחצנת וברורה, ובין שהיא מקובלת על כולם במשתמע.

מעכבר למדע

עזבו לרגע את מיקי. לא אכפת לי באמת מהעכבר הזה. הבעיה האמיתית היא שחברות מסחריות משתפות פעולה עם נציגי הציבור באופן שפוגע באינטרסים של הציבור הרחב. מכיוון שהתיקון לחוק זכויות היוצרים גורף כל-כך, מאות-אלפי ספרים מהמחצית הראשונה של המאה ה- 20 אינם פתוחים לקריאה חופשית על הרשת. גוגל חוששת אפילו לסרוק אותם ולהיתבע על הפרת זכויות יוצרים – למרות שרובם מהווים "יצירות מיותמות" שאיש אינו באמת דואג לזכויות שלהן. וכך, הציבור מאבד גישה ליצירות רבות וחשובות בגלל הצרכים האנוכיים של החברות הגדולות.

מה שיותר חמור הוא שכיום אנחנו מתחילים להיכנס לתקופה בה בינות מלאכותיות מסוגלות לעבור על מספר עצום של מאמרים מדעיים – למשל, מאמרים רפואיים – ולהפיק מהם משמעות. אני קורא להתנהלות הזו "מחקר רטרוספקטיבי", והיא עתידה להניב עבורנו שפע של תובנות מדעיות. אבל במצב כיום, רק החברות הגדולות והמרכזים האקדמיים הגדולים ביותר יכולים להרשות לעצמם את העלות השנתית הגדולה לגישה נרחבת למאמרים… ואפילו לא הם – מכיוון שאפילו הרווארד הגדולה התלוננה כבר שאינה יכולה לעמוד במחיריהם של המוציאים לאור. התוצאה היא שאנו חוסמים חוקרים רבים מגישה לחומרים שיכולים להניב להם ערך רב – ועל הדרך גם לאנושות. וכל זאת, בגלל התנהלות שכלליה נקבעו לפני מאות שנים, ושכבר אינם רלוונטיים להווה.

אבל זה כבר לא חייב להיות המצב. גם בעלי ההון החזקים ביותר אינם יכולים לעמוד לאורך זמן בסכר ולעצור את הקדמה הטכנולוגית ואת השינויים שהיא מביאה לצדה, אלא אם ישתנו בעצמם.

בהמשך הרשומה אביא דוגמה אחת לכוח מניע – השיתופיות מצד הציבור – שימנע מהמוציאים לאור להצליח אלא אם ישתנו בעצמם. ואחריו, אציג כוח מניע אחר – האוטומציה – שיכול לאפשר למוציאים לאור להשתנות ולתפקד באופן יעיל וידידותי יותר למשתמש – אך רק אם ידעו להשתמש בו נכון.

שיתופיות וסיי-האב

האינטרנט מחברת אנשים זה לזה, ובכל מקום בו בני-אדם מחוברים אחד לשני נוצרים קשרי סחר חליפין. בעולם הדיגיטלי, בו ניתן לשכפל סחורות בעלות אפסית (כלומר, להעתיק קבצים) ולשנע אותן בעלות אפסית (כלומר, לשלוח אותם באימייל או לאפשר שיתוף שלהם בתכנה ייעודית כמו ביט-טורנט), אנשים נוטים לשתף ברצון את הסחורות הללו זה עם זה. או במילים פשוטות יותר: אם למישהו יש גישה לקובץ של מאמר מסוים, הוא יחלוק אותו בשמחה עם אחרים.

נטייה זו לשיתופיות בעולם הדיגיטלי גורמת לכך שאקדמאים מתחילים לשתף זה עם זה מאמרים לגמרי בחינם. בשנים האחרונות בטוויטר היה מקובל שירות בו אנשים שמחפשים מאמר מסוים מבקשים מאחרים להוריד אותו עבורם באמצעות הצמדת התגית ICanHazPDF# לבקשה. זו הייתה פיראטיות 'בקטנה', שלא הפריעה במיוחד למוציאים לאור.

ואז הגיעה אלכסנדרה אלבאקיאן ויצרה את סיי-האב.

סיי-האב (Sci-Hub) הוא שירות פיראטי ברמה שמעמידה את כל שאר הפיראטים האקדמים הקודמים בצל. אתם יכולים להיכנס לאתר של סיי-האב, ולהזין את כתובתו של מאמר מסוים בו אתם חושקים. האתר בודק אם המאמר נמצא בספריית Libgen שמכילה חמישים מיליון מאמרים אקדמיים. אם כן, הוא שולח לך אותו. אם לא, הוא משתמש בסיסמאות של חוקרים אקדמיים עם גישה לאותו מאמר, כדי להוריד אותו, לצרף אותו לספריית Libgen, ולשלוח לך אותו.

סיי-האב פועל בקצב מסחרר. הוא מוריד מאות-אלפי מאמרים חדשים ביום, וכפי שהצהירה אלבאקיאן לאחרונה –

"הורדנו כבר את רוב המאמרים מאחורי חומת תשלום לספריה… יש לנו כמעט הכל!"

sci-hub.jpg

סיי-האב. יש להם כמעט הכל.

את כל המאמרים האלו משתף סיי-האב עם 19 מיליון משתמשים. וכולם משתמשים בו – אפילו אנשי אקדמיה רבים שכבר גילו שקל להם יותר למצוא, להוריד ולקרוא מיד את המאמרים דרך השירות. כלומר, יש כאן גם סוג של מרד נגד השירותים שמציעים המוציאים לאור הנפרדים זה מזה – וקשה להם מאד להתחרות בפשטות של סיי-האב כרשת אחת המאחדת את כל המגזינים ביחד.

אגב, בואו לא נהיה תמימים: סיי-האב מאפשר גניבה. אם אתם רוצים שאגנה את המיזם, אז הנה: אני מגנה את הגניבה של סיי-האב. עזר? מרגישים יותר טוב? נהדר. אבל הגינוי שלי לא יעזור למוציאים לאור יותר מכפי שהגינוי של חברות המוזיקה עזר להן כשכולם התחילו לשתף שירים. הפוליטיקאים גינו, השופטים גינו, אבל בסופו של דבר חזרות המוזיקה היו צריכות להשתנות כדי להתאים את עצמן למציאות החדשה בה קל יותר לגנוב מאשר לשלם מחירים גבוהים באופן מגוחך.

אז מה אפשר לעשות?

אוטומציה ו- iCEO

אחד המודלים האלטרנטיביים לשיתוף הידע עשוי להיות טמון באוטומציה של תהליכי ההוצאה לאור, שתוזיל את העלות השולית הכרוכה בהוצאה לאור ותאפשר למכור את המאמרים במחירים נמוכים יותר.

כמובן, אפשר לטעון שאנשים לא ירכשו את המאמרים אם הם יכולים להורידם בחינם מסיי-האב. אלא שאייטונז עדיין משגשגת גם בעידן הטורנטים, ומסתבר שאנשים מוכנים לשלם דולר בודד תמורת שיר, אם הם מקבלים את השירים במהירות וביעילות, ואם הם מאמינים שגם האמן מקבל תגמול.

אבל איך אפשר להעביר את תהליכי ההוצאה לאור אוטומציה מלאה? הרי נכון להיום עדיין אין בינה מלאכותית שתהיה נבונה מספיק לערוך מאמרים בעצמה, להגיה אותם בעצמה, לעשות להם ביקורת עמיתים בעצמה וכן הלאה. גם לא צפויה להיות בינה מלאכותית ברמה כזו בעשורים הקרובים. אבל מסתבר שגם איננו צריכים בינה מלאכותית מתוחכמת עד כדי כך, אלא רק כזו שמנהלת את תהליך ההוצאה לאור, כדוגמת אמצעי הניהול הממוחשב שדווין פידלר פיתח והדגים בשנים האחרונות, ומכונה iCEO. תכנה זו היא סוג של יצור כלאיים: מדובר בבינה מלאכותית פרימיטיבית שאחראית על ניהול סדר העבודה של בני-אדם, והם אלו שעושים את העבודה הקוגניטיבית הקשה באמת.

פידלר הדגים את דרך הפעולה של iCEO במאמר שפרסם בשנת 2015 במגזין העסקים הנחשב ביותר בעולם – Harvard Business Review. הוא תיאר כיצד קיבל iCEO אתגר לא-פשוט: לכתוב דו"ח על דרכים ליצירת גרפן. כדי להתמודד עם המטלה, תכנת הניהול פנתה לעובדי פלטפורמה והקצתה להם מטלות. למרות שפידלר לא מפרט אודות זרימת העבודה המדויקת, אפשר לשער ש- iCEO התנהלה בערך לפי הסכמה הבאה.

iceo.jpg

תמונה מהמאמר המקורי ב- HBR.

ראשית, היא הורתה לעובדי פלטפורמה ארעיים בשירות Mechanical Turk של אמזון לאסוף את כל הקישורים למאמרים על יצירת גרפן שהצליחו למצוא, והקציבה להם 24 שעות לעשות זאת.

שנית, היא העבירה את כל הקישורים הללו לאנשים בעלי מומחיות באנליזת מידע, וביקשה מהם לתמצת את המסקנות בנקודות. בשלב השלישי היא העבירה את הנקודות לבעלי יכולת כתיבה שהרחיבו אותן לפסקאות שלמות. בשלב הרביעי היא העבירה את התוכן כולו לגרפיקאים שסידרו את הגרפים שהטמיעו המומחים מהשלבים הקודמים, הוסיפו תמונות במקומות המתאימים ועיצבו ועימדו את הדו"ח כולו. בשלב האחרון עבר הדו"ח לבדיקה ולביקורת אצל כמה מומחים שבאמת מבינים בתחום, ואלו ניפו את הטעויות הקטנות שעוד נותרו.

וזהו. יש דו"ח. ולא סתם דו"ח: 124 עמודים, עם שישים תמונות וגרפים, שביצירתו השתתפו 23 אנשים מכל העולם, שעבדו מסביב לשעון כדי לממש את היצירה הסופית. לדו"ח ברמה כזו נדרשים בדרך כלל כמה שבועות בשביל המחקר בלבד. אבל iCEO הצליח לבצע את מטלת המחקר בשלושה ימים.

העלות השולית בהפעלת מערכת שכזו היא אפסית, וניתן לכסותה בקלות באמצעות גביית תשלום נמוך מהמשתמשים – אפילו דולר או פחות – על כל הורדת מאמר. מעבר לכך, אם תחליפו את המילים "עובדי פלטפורמה" ב- "מדענים שעושים ביקורת עמיתים בחינם", תבינו שההוצאות לאור מתבססות על מודלים דומים כבר היום. ההוצאה שתתפוס ראשונה את הפוטנציאל באוטומציה מלאה של ניהול תהליך פרסום המאמרים, תוכל לזכות בנתח יפה משוק ההוצאה לאור של מאמרים אקדמיים.

סיכום

המוציאים לאור הם בבחינת חמורו של משיח. הם מילאו פונקציה חשובה בעולם האקדמי במאות השנים האחרונות. אכן, לא הייתה דרך אחרת להתנהל בעולם האקדמי בלעדיהם. הם הביאו אותנו למקום בו אנו נמצאים היום, אבל עתה הם מתחילים להיות מיותרים. עדיין לא לגמרי, אבל הדרך כבר ברורה.

אני לא טוען שכולם צריכים לגנוב מאמרים בסיי-האב במקום להוריד אותם באופן חוקי (ויקר) מהמוציאים לאור;

אני לא טוען שאפשר להשליך את המוציאים לאור לכלבים כבר היום.

אבל בשנים הקרובות יהפכו המוציאים לאור לעול על המדע, במקום שיסייעו לאנושות ליצור ולשתף מידע וידע. וכשזה יקרה, אני מקווה שנצליח למנוע מהם להשפיע על נציגי הציבור כפי שעשו דיסני, ושנוכל להתקדם לעולם בו זכויות היוצרים משרתות את הציבור, ולא את בעלי ההון.

——–

אני מכסה את נושא השנניגנים של דיסני בתחום זכויות היוצרים, ובאופן כללי את הדרכים בהן חברות השפיעו על הפוליטיקה, בספרי החדש – "השולטים בעתיד" – אותו ניתן למצוא בחנויות הספרים בעולם הפיזי, או לרכוש בעולם הדיגיטלי בקישור הבא.

שלושת גלי הבינה המלאכותית שיעצבו את העתיד

שלושת גלי הבינה המלאכותית שיעצבו את העתיד

בחודשים האחרונים כתבתי בבלוג הרבה על בינה מלאכותית ויכולותיה, שלא לדבר על כל הכתיבה הקודמת שלי בספרים כמו "המדריך לעתיד" ו- "השולטים לעתיד" (שיצא לאור באמצע מרץ). בכתבים אלו הבטחתי שהעתיד צופן לנו גדולות ונצורות: בינה מלאכותית שמנתחת רגשות אנושיים, שמפענחת משמעויות וניואנסים חברתיים, שמאפילה על רופאים ועורכי-דין ביכולותיה ואפילו מייתרת חלק גדול מהמטלות שבני-אדם מבצעים כיום.

אני עדיין עומד מאחורי כל התחזיות הללו, אבל כפי שכתבתי – אלו תחזיות לטווח הארוך. ולכן נשאלת השאלה, מהו המצב בשטח כיום. עכשיו. בהווה. כדי לענות על השאלה, יצא לאחרונה סרטון של דרפ"א – סוכנות הביטחון המתקדמת בעולם, שעומדת מאחורי יצירת האינטרנט, רובוטים בעלי רגליים, שווקי תחזיות, מערכת המיקום הגלובלית (או כפי שאנו מכירים אותה בקיצור בשמה כיום – GPS), ועוד ועוד. מרגע שדרפ"א הוקמה, היא התמקדה בטכנולוגיות ובמיזמים פורצי-דרך, כך שאין פלא שכיום הסוכנות מרכזת מאמצי מחקר גם בתחום הבינה המלאכותית.

בימים האחרונים שחרר המשרד לחדשנות מידע בדרפ"א סרטון חדש, בו מנסה מנהל המשרד להסביר את המציאות בנוגע לבינה המלאכותית, ולהסביר מהן יכולותיה כיום – ומה היא תוכל לעשות בעתיד. המגזין המקוון Motherboard הגדיר את הסרטון כ- "מנתץ את ההייפ" שמסביב לבינה המלאכותית. האם הוא באמת עושה זאת? על כך תוכלו להחליט עד סוף הרשומה.

הסרטון באורך 16 דקות ושווה צפייה, אבל אם אתם מהאנשים שמעדיפים לקרוא, הרשיתי לעצמי לתמצת את הסרטון – ואת מחשבותיי על הנקודות שבו – ברשומה הנוכחית. כפי שדרפ"א עושה בסרטון, נחלק את מערכות הבינה המלאכותית לשלושה סוגים, שכל אחד מהם הגיע אחרי הקודם לו. למעשה, שלושה גלים, שתוצרי כל אחד מהם בעלי יכולות מתקדמות יותר מתוצרי הגל הקודם.

 

הגל הראשון: ידע מתוכנת

בגל הראשון של הבינה המלאכותית, מומחים תכנתו את האלגוריתמים ואת המחשבים לפי הידע שהיה ברשותם, ולפי החוקים וכללי ההיגיון שפוענחו וגובשו במהלך ההיסטוריה האנושית. בדרך זו, למשל, תוכנתו אלגוריתמים שהצליחו לשחק שחמט כנגד בני-אדם, או תוכנות לתיאום משלוחים. לא מוגזם לומר שרוב המוצרים הממוחשבים בהם אנו משתמשים כיום נסמכים על בינה מלאכותית מסוג זה: ווינדוס, האפליקציות בטלפון החכם שלנו, ואפילו הרמזורים להולכי הרגל בכבישים, שהאור בהם מתחלף לירוק כשאנו לוחצים על כפתור.

דוגמה טובה לדרך בה בינה מלאכותית מסוג זה פועלת, מגיעה מחברת מודריה. ממשלת הולנד, המחויבת לשלם עבור הייצוג המשפטי של בני-זוג ברוב מקרי הגירושין, הבינה שהיא עלולה לפשוט את הרגל אם שיעור הגירושין בחברה ימשיך לעלות. מכיוון שכך, הממשלה שכרה את חברת מודריה – שמתמחה ביצירת מערכות צדק חכמות – כדי לבנות כלי שמסייע לבעל ולאשה להתגרש מבלי צורך בעורך דין.

מודריה פעלה בהתאם למגבלות הגל הראשון של הבינה המלאכותית. היא תמצתה את הידע של עורכי-דין ומומחים בתחום הגירושין, ויצרה פלטפורמה מקוונת בה נשאלים בני-הזוג סדרה של שאלות. שאלות לדוגמה כוללות התייחסות לסוגיית המשמורת על הילדים, לחלוקת הרכוש בין המתגרשים, ועוד. כשבני-הזוג מסיימים לענות על השאלות, המערכת מזהה באופן אוטומטי את איזורי ההסכמה ואי-ההסכמה ביניהם, ומסייעת להכווין את הדיונים ביניהם באופן שיביא למתן מענה מיטבי.

המערכות בגל הראשון של הבינה המלאכותית – זה בו מומחים מסבירים למחשב כיצד לפעול – נוטות להתבסס על כללים הגיוניים וברורים. המערכות בוחנות מספר מרכיבים חשובים של כל מצב חדש בו הן נתקלות, ומגיעות למסקנה מה הפעולה המתאימה ביותר בכל מקרה. אבל מערכות אלו נתקלות בקשיים ניכרים כשהן נדרשות לבחון את העולם שמחוץ למחשב ולהבין מה בדיוק מתרחש בו. הן גם מתקשות בלמידה או בהפשטה – בנטילת ידע שגיבשו, ויישומו מחדש באופן שונה.

אם לסכם, מערכות אלו יכולות ליישם כללי היגיון פשוטים עבור בעיות המוגדרות היטב, אבל אינן מסוגלות ללמוד, ומתקשות מאד להתמודד עם מצבים של אי-ודאות.

כמובן, אתם עשויים לנחור עתה בזלזול ולטעון שזו אינה "בינה מלאכותית" מהסוג עליה חושבים רוב האנשים. אלא שההגדרות של האדם ברחוב בנוגע לבינה מלאכותית משתנות לאורך השנים. אם הייתי שואל אתכם לפני שלושים שנים האם "ווייז" היא בינה מלאכותית, הייתם אומרים לי שהתשובה חיובית במפורש. אחרי הכל, ווייז מסוגלת לתכנן עבורכם נתיב מיטבי למטרה, ולהסביר לכם בקול רם כיצד לפנות בכל צומת בכביש. ואף על פי כן, האדם ברחוב מתייחס כיום ליכולותיה של ווייז כמובנות מאליהן, וטוען שבינה מלאכותית 'אמיתית' אמורה להיות מסוגלת להרבה יותר: לנווט גם את הרכב עצמו בכביש, לפתח פילוסופיה מוסרית שמתחשבת ברצונותיו של הנוסע, ולהכין לו קפה בו-זמנית. ובכן, נחשו מה – גם מוצרים 'פרימיטיביים' כמו מערכת הצדק של מודריה, או ווייז, מבוססים על בינה מלאכותית, ועל עבודה מאומצת רבה בתחום. מערכות בינה מלאכותית המתבססות על הגל הראשון אחראיות למעשה על כמעט כל המוצרים הממוחשבים בהם השתמשנו בשני העשורים האחרונים.

הגל השני: למידה סטטיסטית

בשנת 2004 פתחה דרפ"א לראשונה את תחרות הנהיגה האוטונומית. במסגרת התחרות הוצע פרס של מיליון דולרים לקבוצה שתצליח לפתח רכב ללא-נהג שיוכל להשלים מסלול באורך 240 קילומטרים. הרכבים נסמכו על בינה מלאכותית מהגל הראשון – כלומר, מבוססת חוקים שהוגדרו על-ידי מומחים – ותוך זמן קצר המחישו את מגבלות השיטה. הרכבים התקשו במיוחד לפענח את התמונות והווידאו ולהסיק מתוכם מה עליהם לעשות. הם לא יכלו להבדיל היטב בין צורות כהות בתמונות, למשל, ולהבין האם מדובר בצל, בסלע, בחפץ במרחק רב או קצר, וכיצד עליהם לפעול. לא מפתיע לגלות שחלק מהרכבים 'פחדו' אפילו מהצל של עצמם, או שדמיינו מכשולים בכביש פתוח.

אף אחת מהקבוצות לא הצליחה להשלים את המסלול עד סופו – ולמעשה, הרכב המוצלח ביותר גמע רק 11.9 קילומטרים. זה היה כישלון מהדהד – בדיוק מהסוג שדרפ"א אוהבת לממן, בתקווה שהלקחים והתובנות שיופקו ממנו יביאו ליצירת מערכות מתקדמות יותר.

וזה בדיוק מה שקרה, שנה אחת לאחר מכן, כשדרפ"א חזרה על התחרות – והפעם, חמש קבוצות הגיעו לסוף המסלול בהצלחה, כשהן נסמכות על הגל השני של הבינה המלאכותית: למידה סטטיסטית. מנהל הקבוצה המנצחת, אגב, נחטף כמעט מיד על-ידי גוגל, ועמד מאחורי פיתוח הרכב האוטונומי כפי שאנו מכירים אותו כיום.

הגל השני של בינה מלאכותית מתבסס על למידה סטטיסטית, והוא זה שמאפשר לטלפון שלכם להבין את קולכם, או לזהות פנים של אינדיבידואלים בתמונות. בגל זה, המהנדסים אינם טורחים לגבש כללים מדויקים, אלא מפתחים מודלים סטטיסטיים עבור תחום מסוים של בעיה, ואז מאמנים את המודלים הללו על דוגמאות רבות ושונות, כדי לעדן ולשפר את הדיוק שלהן.

מערכות למידה סטטיסטית מוצלחות במיוחד בהבנת העולם שמסביבן: הן יכולות להבדיל בין אדם אחד למשנהו, או בין הברה להברה. הן מסוגלות גם ללמוד ולהתאים את עצמן למצבים שונים באמצעות אימון הולם. עם זאת, בניגוד למערכות מהגל הראשון, הן מוגבלות דווקא ביכולות הלוגיות שלהן – הן אינן נסמכות על כללים מדויקים, אלא "על מה שעובד מספיק טוב, מספיק מהפעמים". הן גם אינן מצליחות להעביר ידע מתחום אחד למשנהו באופן יעיל.

בקטגוריה זו נכללות רשתות העצבים המלאכותיות בהן אנו תולים תקוות גדולות כל-כך (ראו כאן). רשתות העצבים המלאכותיות מבוססות על שכבות חישוביות, שבכל אחת מהן מתבצעת פעולה אחרת פשוטה יחסית של עיבוד המידע, ותוצאותיה מועברות לשכבה הבאה לעיבוד נוסף. באמצעות אימון של הרשתות הללו ושל כל אחת מהשכבות, ניתן 'לאלף' אותן להפיק את התוצאות הנכונות ביותר. לעתים מלאכת האימון והאילוף דורשת מהרשתות לחזור על ניתוח המידע עשרות-אלפים פעמים, כדי להגיע לשיפור קטן נוסף. אבל בסופו של דבר, דרך זו מצליחה לספק תוצאות מרשימות.

רשתות עצבים מלאכותיות מצליחות להגיע לרמת זיהוי פנים שעולה על זו של בני-אדם, מבדילות בין סוגים שונים של חיות ועצמים בתמונות, שולטות בתנועתם של רכבים אוטונומיים ורחפנים, מתמללות דיבור אנושי ברמה שעולה על זו של טובי המתמללים האנושיים, ומגיעות להישגים מרשימים יותר ויותר גם בתחום התרגום. ההצלחות בתחום משאירות את טובי המומחים לבינה מלאכותית בפה פעור.

למרות כל ההצלחות האלו, אנו רואים שרשתות העצבים המלאכותיות מצליחות במשימות שניתנות להן, אך אינן מנסות להבין או לפענח את הכללים הלוגיים שמאחורי פעולות הניתוח שהן מבצעות. מבחינה זו הן דומות למוח שלנו: אנו יכולים להשליך כדור באוויר ולנבא מראש היכן הוא עומד ליפול, גם מבלי שנחשב את משוואות התנועה הפורמליות של ניוטון – או שנהיה מודעים אפילו לקיומן.

תאמרו עכשיו שאין בכך בעיה אמיתית? שגם אם איננו מסוגלים לחשב את משוואות התנועה של ניוטון, אנו עדיין מגיעים לתוצאות 'טובות מספיק'? ובכן, מיקרוסופט עשויה שלא להסכים עמכם בנקודה זו. החברה שחררה לרשת החברתית בוט – כלומר, אלגוריתם שנועד לחקות כתיבה אנושית ולהגיב לבני-אדם – שכמעט בוודאות מבוסס על רשתות עצבים מלאכותיות. האלגוריתם, שכונה 'טאי', נועד לחקות צעירה אמריקנית בת 19, ולשוחח עם הצעירים בשפתם. הצעירים זינקו על האתגר, והחלו לשלוח לטאי הודעות מאתגרות, בלשון המעטה. הם סיפרו לה על היטלר והצלחותיו הגדולות, בישרו לה שנפילת מגדלי התאומים בניו-יורק הונדסה על-ידי גורמים פנימיים בממשל האמריקני, ועדכנו אותה לגבי תכונותיהם השליליות של מהגרים. וכך, תוך שעות ספורות, טאי החלה לספק תשובות המבוססות על מה שלמדה מהציבור, והסכימה שהיטלר פעל כשורה.

ParentsProudest-640x266.png

זו הייתה הנקודה בה מהנדסי מיקרוסופט ניתקו את טאי מהרשת.

הודעתה האחרונה של טאי הייתה שהיא לוקחת פסק זמן כדי "לעכל הכל". עד כמה שאנו יודעים, היא עדיין מעכלת.

פרשיה זו חושפת את אתגר הסיבתיות. אם במערכות מהגל הראשון יכולנו לחזות מראש היטב כיצד יפעלו בנסיבות מסוימות, הרי שבמערכות מהגל השני איננו מסוגלים כבר להתחקות באופן מדויק אחר הסיבתיות – אחר הדרך המדויקת בה קלט הופך לפלט, ומידע מתורגם להחלטה.

כל זה לא בא לומר שאין תועלת ברשתות העצבים המלאכותיות. כפי שכתבתי, הן מגיעות לתוצאות מרשימות יותר מכל מערכת שהומצאה לפניהן בתחומים כמו עיבוד ראייה, תמלול ותרגום דיבור אנושי ועוד. אלא שברור שכדי שהבינה המלאכותית שנפתח לא תהלל את שמו של היטלר, היא חייבת להשתפר. עלינו לעבור לדור הבא – לגל השלישי (והעתידי) של הבינות המלאכותיות.

הגל השלישי: התאמה לפי הקשר

בגל השלישי, המערכות עצמן יוכלו לגבש מודלים שיסבירו כיצד העולם פועל. במילים אחרות, הן יגלו בעצמן את כללי ההיגיון הבסיסיים שלפיהם הן יפעלו.

נסביר באמצעות דוגמה. נניח שמערכת עצבים מלאכותית מהגל השני בוחנת את התמונה הבאה, ומגיעה למסקנה שמדובר בפרה. איך היא מסבירה את עצמה?

Cow_female_black_white.jpg

פרה. מערכות מהגל השלישי יכולות להסביר שיש סבירות גבוהה שמדובר בפרה מכיוון שיש לה ארבע רגליים, שטח פנים לבן עם כתמים שחורים, עטינים וקרניים. קישור: ויקיפדיה

מערכות מהגל השני אינן יכולות באמת לנמק את החלטותיהן – לא יותר מכפי שילד היה יכול להסביר את משוואות התנועה של ניוטון מתוך הבנת התנועה של כדור באוויר. הן יכולות רק להגיד לנו ש- "זוהי התמונה שהתקבלה, ולאחר כל החישובים שערכתי, יש הסתברות של 87 אחוזים שמדובר בפרה".

מערכות מהגל השלישי אמורות להיות מסוגלות לנמק גם את החלטותיהן. בדוגמת הפרה, המערכת תוכל להסביר שמכיוון שמדובר בעצם בעל ארבע רגליים יש סיכוי גבוה יותר שמדובר בבעל-חיים. מכיוון ששטח הפנים שלו לבן עם כתמים שחורים, יש סיכוי גבוה יותר שמדובר בפרה (או דלמטי). מכיוון שיש לו עטינים וקרניים, הסיכוי שמדובר בפרה גדל עוד יותר בהשוואה לשאר האפשרויות, ולכן זו תהיה התשובה הסופית שתוצג למשתמש, ביחד עם פירוט של כל הנימוקים שהובילו אליה.

מערכות מהגל השלישי יוכלו גם להסתמך על מודלים שמשלבים תוכן והבנה ממספר מקורות שונים, כדי להגיע למסקנה סופית ומנומקת. הן יוכלו, למשל, לבחון כתיבה אנושית בהסתמכות על מודלים שמתארים את תנועת כף היד במרחב, ובדרך זו להגיע למסקנה בנוגע לכתוב. הן יוכלו גם לאמן את עצמן – כפי שעשתה מערכת אלפא-גו כאשר שיחקה נגד עצמה מיליון משחקי גו, כדי לזהות את הכללים הלוגיים המתאימים ביותר למשחק ברמה גבוהה. בדרך זו היא הייתה יכולה להסביר חלק מהמהלכים בהם נקטה, או לפחות לציין את ההסתברות שאדם היה נוקט במהלך שכזה במצב דומה.

מערכות הגל השלישי יוכלו לבחון כל מצב ממספר נקודות מבט שונות, להבין את משמעותו הרחבה יותר ולגבש תגובה הולמת. מעבר לכך, ייתכן בהחלט שהן יצליחו גם להגיע לרמה של חשיבה מופשטת – אבל כפי שמציין מנהל המשרד לחדשנות המידע בדרפ"א – "יש עוד המון עבודה שצריך לעשות כדי שנוכל לבנות את המערכות האלו".

מערכות הגל השלישי הן אלו שטומנות בחובן את ההבטחה הגדולה ביותר לעתיד. מערכות הגל השלישי יוכלו לגבש תובנות לגבי הבריאות של כל אדם, באמצעות הסתמכות על מקורות המידע הרבים והשונים שיגיעו מהתיק הרפואי שלו, מהבית החכם בו הוא גר, מהמחשוב הלביש שהוא עונד ומהחיפושים שהוא עורך באינטרנט. מערכות הגל השלישי יוכלו לנתח מצבים מהחיים תוך שימוש גם בכלי חשיבה מופשטים, ויגיעו לתובנות ולמסקנות דומות לאלו שבני-אדם היו מגיעים אליהן.  מערכות הגל השלישי יוכלו אפילו לתכנת את עצמן – לשפר פעם אחר פעם את המודלים שבאמצעותם הן מגיעות לתובנות.

וזהו. עד לכאן מגיעה ידיעת דרפ"א בנוגע למערכות הבינה המלאכותית של ההווה והעתיד.

מה המשמעויות?

הסרטון מסביר מצוין את ההבדלים בין מערכות הבינה המלאכותית, אבל בניגוד למובטח בחלק מהאתרים שסיקרו אותו, הוא אינו "מנתץ את ההייפ" שאופף את הבינה המלאכותית. למעשה, הוא רק מחזק ומספק ביסוס לרעיונות ולחששות של רבים מההוגים בתחום. דרפ"א מבהירה שבכל הנוגע לבינה מלאכותית שעתידה "להשתלט על העולם" – אנחנו עדיין לא שם. אבל זה ברור. אף אחד לא טען שהבינה המלאכותית מתקדמת מספיק כיום כדי לעשות את כל מה שסופרי המדע הבדיוני ורבים מהעתידנים (ואני ביניהם) מצפים שתעשה בעוד כמה עשורים: לפתח מוטיבציה משל עצמה, לקבל החלטות מוסריות, לתפוס את משרותיהם של רוב העובדים האנושיים, ואפילו לפתח את הדור הבא של הבינה המלאכותית.

אבל הגל השלישי עומד לתת לה חלק לא-מבוטל מהיכולות הללו.

כאשר מערכות הגל השלישי מסוגלות לפענח בעצמן את המודלים החדשים שישפרו את פעולתן, הרי שהן יכולות הלכה למעשה לתכנת את הדור הבא של עצמן. כשהן יכולות לפקח על פעילותן באמצעות הבנת הקונטקסט – המשמעות וההשלכות של פעולותיהן – הן מסוגלות להחליף חלק גדול מהעובדים האנושיים, ואולי את כולם. וכשהן יכולות לשנות את המודלים באמצעותן הן מעריכות את משמעויותיהן של פעולות מסוימות, הרי שהמשמעות היא שהן יכולות גם לחשב מחדש את המוטיבציה של עצמן.

כל הדברים האלו לא יתרחשו בשנים הקרובות, ובוודאי לא יגיעו לכדי מימוש מלא בעשרים השנים הקרובות. כאמור, איש אינו טוען אחרת. הטענה העיקרית כיום מצד חוקרים ואנשי הגות המודאגים לגבי עתיד הבינה המלאכותית – סטיבן הוקינג, ניק בוסטרום, אלון מאסק ואחרים – היא שאנו צריכים להתחיל לחשוב כבר עכשיו איך להטמיע אמצעי בקרה בבינות המלאכותיות של הגל השלישי, מהסוג שיתחיל להופיע בכל מקום בעוד עשור או שניים. בהתחשב ביכולותיהן של הבינות המלאכותיות הללו, זו אינה נראית דרישה בלתי-הגיונית.

אבל עבורי השאלה המעניינת באמת, היא איך ייראה הגל הרביעי: זה שאפילו דרפ"א – המקום שמרכז את כל החוקרים שמסתכלים קדימה הרבה מעבר לכולם – לא מדברים עליו עדיין. האם מנגנון קבלת ההחלטות של מערכות הגל הרביעי יתבסס כבר על חיקוי מדויק של המוח האנושי? או אולי הן יסתמכו על מנגנוני קבלת החלטות שאיננו יכולים עדיין להבין בכלל, ויפותחו על-ידי הבינות המלאכותיות של הגל השלישי?

כל הנושאים האלו אינם מוזכרים בסרטון, וכנראה שבצדק. הסרטון נועד להסביר בקצרה ובקלילות את דרכי הפעולה של הבינה המלאכותית בה אנו עושים שימוש כיום, ונעשה שימוש בשנים הקרובות. הוא לא נועד לחקור את העתיד ואת ההשלכות של המערכות האלו. אנחנו אלו שצריכים לחשוב על הנושאים הללו, לדרבן לחקור אותם ולתהות על קנקנם עוד לפני שהם מתממשים.

זוהי העבודה שלנו, לפחות לעת עתה.

לפני שמערכות הגל השלישי יעברו לבצע גם אותה.