עתיד הפסיכולוגיה – וחשיבותם של הצרכים הבסיסיים

עתיד הפסיכולוגיה – וחשיבותם של הצרכים הבסיסיים

רשומה זו התפרסמה במקור כטור בגלובס (קישור)


לאחרונה הזמינה אותי הסתדרות הפסיכולוגים הישראלית (הפ"י, בקיצור) לדבר אודות עתיד העבודה ובמשתמע גם על עתיד הפסיכולוגיה. סיפרתי להם על הבינה המלאכותית המתפתחת במהירות, הלוקחת על עצמה חלק הולך וגדל מהמטלות האנושיות. "אבל היא לא תחליף לעולם את הפסיכולוג האנושי", קבע בביטחון אחד המשתתפים, "איך אפשר להחליף את הנוכחות האנושית, את המטופל שעל הספה"?

זוהי טעות חשיבה נפוצה: אנו נוטים לבלבל בין הצרכים הבסיסיים לבין הכלים שמספקים מענה עבורם. הטכנולוגיות והפרקטיקות המקובלות כיום בכל תחום נועדו רק לתת מענה לצרכים הבסיסיים. הטכנולוגיות והכלים משתנים מדור לדור, אך הצרכים הבסיסיים נותרים כמעט זהים. מהו הצורך הבסיסי בפסיכולוגיה הקלינית? בהפשטה מסוימת: אנשים רוצים להרגיש טוב יותר. הפסיכולוגים, כמספקי שירות, צריכים למצוא דרך לספק את הצורך הבסיסי של הלקוח.

כיום, דרכם של הפסיכולוגים או פסיכיאטרים לספק את הצורך הבסיסי היא באמצעות מתן תרופות ומפגשים על ספת המטפל. בעתיד הלא-רחוק נמצא גם דרכים נוספות, כגון שימוש בבוטים. מנועי בינה מלאכותית, שמסוגלים לתקשר עם בני אדם בשפת הדיבור – שיספקו תמיכה פסיכולוגית בסיסית בכל זמן, בכל מקום. תאמרו שהבוטים הללו נלעגים וחיקוי עלוב לאנושיותו של הפסיכולוג? נטולי מבע מהורהר בעיניים? הכול נכון, אבל אם הם יטפלו בצורך הבסיסי ביעילות. אנשים ישתמשו בהם, ובסופו של דבר – הם גם יחליפו את ספת הפסיכולוג. בהסתכלות היסטורית אנו רואים את אותו דפוס חוזר על עצמו.למשל, הצורך הבסיסי בתחבורה לא היה הרצון להתחבר לנפשו האצילית של הסוס או ליהנות מהפאר ומההדר של כרכרת המלוכה. הצורך הבסיסי היה להגיע ממקום למקום במהירות ובזול – וברגע שהמכוניות איפשרו לעשות זאת, הן החליפו את הסוס והכרכרה תוך דור אחד.

פעמים רבות, שינויים שכאלו אינם מתרחשים בקלות. אנו יצורים של מסורת ושל הרגלים. לעתים קרובות נדרשות שנים ארוכות – לעתים דור או שניים – עד שהטכנולוגיה החדשה והיעילה יותר מאומצת על ידי ילדי הדור הבא. וזהו, לא נעים לומר, מפלטה המרכזי של הפסיכולוגיה הקלינית בעתיד: העובדה שיהיו בוודאות עוד מבוגרים וקשישים שיתמקדו בקנקן ולא בתוכנו, ושידרשו להיפגש עם פסיכולוג.

מה צריכים לעשות הפסיכולוגים, אם הם שואפים להזניק את מקצועם למאה ה-21? את התשובה סיפק, באופן אירוני, אחד המשתתפים בכנס בטרוניה שהעלה – "בכנסים של חברות ההייטק מדברים כל הזמן על היכולת לגרום ללקוח להרגיש טוב, אבל אין להם פסיכולוגים בכלל". ובכן, יש סיבה טובה לכך שאין להם פסיכולוגים: המהנדסים בגוגל, פייסבוק, אמזון, אפל ודומותיהן, עושים את אותה עבודה שהפסיכולוגים נועדו לעשות – ועושים אותה בשימוש בכלים שונים ומתקדמים יותר מפסיכולוגי הספה. הם מכמתים הכול ובוחנים כל העת את ההשפעות של שינויי הממשקים על המשתמשים ועל רגשותיהם. אבל לעתים קרובות הם אינם מבינים את הלקוחות – אין להם תיאוריה מגובשת היטב של הנפש האנושית. בינתיים, לפחות, הם עדיין מהנדסי מחשבים במקצועם ולא מהנדסי מוחות.

המקום שבו הפסיכולוגים יכולים להביא את מירב התועלת לעתיד הוא באמצעות חבירה לענקיות האינטרנט ושימוש במידע הגדול שהן מפיקות כדי לפתח תיאוריות חדשות אודות נפש האדם. תיאוריות אלו עשויות לקדם את ההבנה המדעית של המוח האנושי ודרכי מחשבתנו – ויובילו בוודאי לטיפולים מתקדמים עוד יותר, שיענו על הצורך הבסיסי באושר של מיליוני אנשים מסביב לעולם.

אבל האם רעיון זה יענה על הצורך הבסיסי של קהילת הפסיכולוגים עצמה כיום – במשמעות ובכבוד למקצוע כפי שהתהווה ב-150 השנים האחרונות?

 


 

אתם מוזמנים לקרוא עוד על עתיד העבודה והבינה המלאכותית בספרי "השולטים בעתיד", בחנויות הספרים המובחרות (וגם אלו שסתם בסדר).

לפי (הטעויות של) הסוכנות הבינלאומית לאנרגיה, עד 2030 תגיע חצי מהאנרגיה מהשמש ומהרוח

לפי (הטעויות של) הסוכנות הבינלאומית לאנרגיה, עד 2030 תגיע חצי מהאנרגיה מהשמש ומהרוח

משהו מוזר קורה במרתפי הסוכנות הבינלאומית לאנרגיה.

מדי שנה משחררת הסוכנות דו"ח בנוגע למצב האנרגיה בעולם: כמה אנרגיה מיוצרת ממקורות מתחדשים, כמה מדלקי מאובנים, וכו'. אלא מה? חוקר האסטרטגיה פול מיינווד עבר על כל הדו"חות מעשרים השנים האחרונות, ובחן את דיוק התחזיות של הסוכנות בנוגע לאנרגיה מתחדשת. מסתבר שהסוכנות טועה, פעם אחר פעם, בהערכת רמת השימוש באנרגיה מתחדשת[1].

מיינווד כלל מספר גרפים בהערכה המקורית שלו, אבל הם קצת מורכבים, אז לקחתי את התוצאות שלו ושיבצתי אותן בגרף משלי: תחזיות הסוכנות עבור שנת 2030 לגבי השימוש באנרגיה מתחדשת (שמש ורוח בלבד, באחוזים).

עליה בשימוש באנרגיה מתחדשת.jpg

אתם רואים כאן את הערכות הסוכנות מדי שנתיים, לגבי השימוש באנרגיה מתחדשת. שני דברים מעניינים בהערכות האלו:

  1. הסוכנות תמיד טועה… כלפי מטה. מדי שנה היא נותנת הערכה נמוכה, ושנתיים בלבד לאחר מכן היא מבינה שעולם הטכנולוגיה התקדם, שקל יותר לקצור אנרגיה סולארית ואנרגיית רוח, והיא מתקנת בהתאם. אם ב- 2002 היא קבעה שרק 4.4% מהאנרגיה תופק ממקורות מתחדשים ב- 2030, הרי ששנתיים לאחר מכן היא כבר תיקנה את ההערכה שלה ל- 5.9%. ושנתיים לאחר מכן, ל- 6.7%. ולאחר עוד שנתיים, ל- 8.7%, וכן הלאה. הבנתם את העניין. פעם אחר פעם היא טועה, פעם אחר פעם היא ממשיכה לטעות.
  2. הדבר המעניין השני הוא קצב השינוי בטעות. כשאנחנו מסתכלים על כל הנקודות בין 2002 ל- 2016 (השנה בה ערך מיינווד את הסקירה), אנו מגלים שהקפיצה מדי שנתיים עקבית למדי, ובערך בסדר גודל של עשרים אחוזים בכל פעם. כך שאנחנו יכולים לייצר תחזית, לפיה ב- 2018 תשחרר הסוכנות דו"ח חדש, ובו תקבע שב- 2030 יגיע אחוז השימוש באנרגיה מתחדשת ל- 19%. וב- 2020 היא תנבא שאחוז השימוש ב- 2030 יהיה 22.7%. וכן הלאה וכן הלאה, עד שב- 2028 תקבע הסוכנות שב- 2030 יגיע אחוז השימוש באנרגיות מתחדשות ל- 48.7 אחוזים.

זהו, כמובן, רק משחק קטן וחביב בנתונים שנועד לגרום לנו לחשוב ולהבין כמה הערכות הסוכנות הבינלאומית לאנרגיה – גוף מקצועי ומהימן, חשוב לציין – אינן מתואמות עם המתרחש בשטח.

כדי להבין למה, אפשר פשוט לבחון את הטכנולוגיות לכריית פחם ולשאיבת נפט. כאשר מפותחות טכנולוגיות מתקדמות יותר בתחום, עדיין יש צורך להביא אותן למקום היעד (בדרך כלל במדינות אחרות), להקים את התשתית החדשה והמסורבלת, לבנות מערכת שינוע לנפט ולפחם אל היעד, לחתום על חוזים והסכמים בינלאומיים, ועוד ועוד סיבוכים. כתוצאה מכך, הסוכנות הבינלאומית לאנרגיה רגילה לקצב השיפור האיטי בהפקת דלקי מאובנים.

אבל מה קורה עם טכנולוגיות לקצירת אנרגיה מתחדשת?

בהכללה, אור שמש הוא משאב הקיים בכל מקום. המשמעות היא שטכנולוגיות יעילות יותר מאפשרות לנו גם לקצור אותו בכל מקום. ברגע שהן מופיעות, מיד נעשה בהן שימוש בכל מדינה הנהנית מאור שמש מרובה, באמצעות הקמת תחנות כוח סולאריות. ולא זאת בלבד, אלא שטכנולוגיות אלו נהנות יותר מההתפתחות של תחומים אחרים, כגון בינה מלאכותית ששולטת בפאנלים הסולאריים ומכוונת אותם כך שיעקבו אחר השמש[2], או רובוטים שינקו את הפאנלים הסולאריים מדי יום[3].

אפילו בהינתן פיתוחים שכאלו, קשה לראות כיצד יופקו חמישים אחוזים מהאנרגיה הקיימת בעולם מתחנות כוח סולאריות ומטורבינות רוח. התשובה היא שהקפיצה הגדולה באמת בתחום האנרגיה המתחדשת תתרחש כאשר יתאפשר ביזור מלא (כלומר, פיזור יעיל של פאנלים סולאריים וטורבינות רוח) בקצירת האנרגיה. בעתיד זה, כל אדם יוכל ללכת עם תיק גב ועליו פאנלים סולאריים, או לנסוע ברכב עם פאנלים סולאריים על הגג. כל בניין יהיה מכוסה בפאנלים סולאריים זולים ובטורבינות רוח שיפיקו אנרגיה, לצד סוללות שיאגרו אותה לשימוש עתידי, או יפנו אותה לשימוש מיידי במקומות אחרים בעיר שאינם נהנים מרוח או מאור שמש ברגע זה ממש.

עתיד שכזה נשמע דמיוני אך הוא אפשרי בהחלט, אם רק נניח שעלות היצירה וההתקנה של פאנלים סולאריים חדשים תמשיך לרדת באותו קצב. וכאן מגיעה הקפיצה האמונית הנדרשת בכל ניסיון לחזות את העתיד בטווח הארוך: אנחנו צריכים להאמין שהטכנולוגיות הנדרשות אכן יפותחו.

אם נסתמך על הטעויות המצטברות של הגוף המהימן ביותר בשוק האנרגיה, נראה שהטכנולוגיות הללו אכן ענו על האמון שאנו תולים בהן, לפחות בעשרים השנים האחרונות. האם ימשיכו להשתכלל גם בעשור הקרוב באותו הקצב? אני מאמין שכן, אבל עכשיו נותר רק לחכות לעתיד כדי לגלות.


אתם מוזמנים לקרוא עוד על רעיונותיי לגבי עתיד האנרגיה, התחבורה והממשל בספרי החדש "השולטים בעתיד", בחנויות הספרים המובחרות (וגם אלו שסתם בסדר).

[1] https://www.quora.com/profile/Paul-Mainwood/Flotsam/A-modest-proposal-to-the-International-Energy-Authority

[2] https://www.solarpowerworldonline.com/2017/12/will-artificial-intelligence-change-solar-industry/

[3] https://newatlas.com/scrobby-solar-photovoltaic-panel-cleaning-robot/33819/

על ברירה טבעית, תכנון תבוני ועתיד האדם

על ברירה טבעית, תכנון תבוני ועתיד האדם

אחד מהאנשים המעניינים ביותר שפגשתי בקונגרס העתידים בצ'ילה בשבוע האחרון היה חברי החדש מרקוטיו, פילוסוף של הטכנולוגיה. ביום האחרון של הקונגרס, הזמין אותי מרקוטיו להתלוות אליו למסע ברחובות סנטיאגו, בירת צ'ילה.

"איזה מין מסע?" תהיתי בקול.

"אתה תראה." חייך, ובעיניו ראיתי רמז לנוסטלגיה. "הוא יתחיל בגג המלון, ויסתיים בעתיד האנושות."

נכנעתי לסקרנותי והצטרפתי אליו למעלית. יחד עמדנו על קצה הגג, והשקפנו על כל מרחבי סנטיאגו – עיר טיפוסית של מדינת עולם ראשון. מתחתינו התהלכו הצ'יליאנים ברחובות עירם, תחת צילם של מגדלים גבוהים, בתי דירות ועצים גבוהי-קומה.

"הנה, שם!" טפח חברי בהתרגשות על כתפי, והכווין את מבטי. "שם! הנה הוא – ג'ירארדו הגדול!"

"מי?"

"ג'ירארדו הגדול." אמר. "זה השם שהענקתי לו כשגדלתי כאן כילד. הוא היה העץ הגבוה ביותר בסנטיאגו. מדדתי אותו עוד בימים בהם הייתי בגובה העשב, והוא היה גבוה יותר מכל בניין שהכרתי בעיר. הערצתי אותו. בוא, נלך לעשות לך היכרות אישית עמו. יש לנו הרבה מה ללמוד ממנו."

צעדנו ביחד ברחובות העיר התוססים. ג'ירארדו הגדול התנשא במרחק מולנו, מוקף בבניינים שהאפיל על כולם בגובהו. מרקוטיו צעד בבטחה ובמהירות, ואני ניסיתי לשמור על הקצב.

"מה אתה חושב על עצים?" שאל אותי תוך כדי הליכה, מבלי שיביט לאחור.

"הם… יפים?" חיפשתי תשובה.

"אה, אבל הם הרבה יותר מזה!" ענה. הוא טפח בחיבה על אחד הגזעים שבפינת הרחוב. "הם לוחמים. ויותר מזה, בעולם של לוחמת הצמחים, הם המנצחים הגדולים."

הוא קטף עלה ירוק מאחד הענפים הנמוכים, והמשיך להתקדם בצעדים ארוכים. "כמעט כל הצמחים מתקיימים על אור שמש. זהו 'המזון' שלהם – אספקת האנרגיה העיקרית – והם נלחמים עליו בפראות. הם צומחים לגובה רב, ואז פורשים את צמרת העלים הירוקים שלהם, וכך מנכסים את אור השמש לעצמם. מתחת לעצים הגדולים, יכולים להתקיים רק צמחים קטנים שאינם דורשים הרבה אנרגיה. וכך, דור אחר דור, עברו העצים ברירה טבעית – אלו מהם שלא הכילו את ההנחיות הגנטיות שגרמו להם לצמוח לגובה, לא הצליחו לעמוד במירוץ. חבריהם הגבוהים יותר עקפו אותם בסיבוב והותירו אותם הרחק אחורנית. במשך מאות מיליוני שנים, העצים הפכו להיות הדינוזאורים הגדולים של עולם הצמחים, בכוחה של הברירה הטבעית – מוטציה אקראית אחר מוטציה אקראית, תוך שהצאצאים נבררים לאורך מיליוני שנים על מנת שיצליחו לגבוה יותר ויותר."

oak-20761_1920.jpg

ג'ירארדו הגדול – צילום אילוסטרציה

הנהנתי בראשי בשתיקה, אך מרקוטיו לא התבונן אחורנית. מבטו היה ממוקד בג'ירארדו הגדול. הוא עקף בזריזות קבוצה של צעירים צ'יליאנים שהתרכזו יותר בטלפונים החכמים שלהם מברחוב עצמו. ולבסוף, הגענו לעץ העצום, לאותו ענק של העבר. אינני יודע לאיזה מין השתייך, אך הוא נישא מעלינו והתמשך והתמתח לעבר השמים כאילו אין לו סוף. מתחת לענפיו לא יכולנו לראות כלל את השמש. הוא ניצח את כל העצים האחרים, בכך לא היה ספק.

אבל דווקא עכשיו, כשהגענו למחוז חפצו, מרקוטיו לא התבונן כלל בעץ אדיר המימדים, אלא במגרש הבנייה הסמוך.

"הם עומדים לבנות כאן גורד שחקים." אמר בשקט. "הוא יהיה גבוה יותר מג'ירארדו. הם ייצקו יסודות מבטון במקום שורשים, ישדכו קורות פלדה זו לזו כדי ליצור את לשד הבניין, ויוסיפו צינורות וקירות שיתמכו בו – והכל כדי להקים בניין שיאפיל על ג'ירארדו. לא רק בגובה – זו לא תחרות של "מי גדול יותר" – אלא בכך שגורד השחקים יסתיר אותו מהשמש במשך חלק מהיום, וכך יקטע נתח מאספקת האנרגיה שלו. זה לא יהיה גורד השחקים האחרון שיוקם בעיר. בניינים אחרים ימשיכו ויקומו מסביב. ג'ירארדו כבר הפסיד. הוא פשוט לא יודע את זה עדיין. ואתה יודע למה הוא לא יכול לנצח?"

היססתי. "כי הוא רק עץ?"

מרקוטיו הניף ידו בביטול. "עץ, אדם, זה לא משנה. הסיבה האמיתית היא שהברירה הטבעית הביאה לכך שהוא התעצב באופן מסוים. ואז באנו אנו, בני-האדם, והבאנו לעולם את התכנון התבוני. בניינים הם תוצר של תכנון תבוני. מהנדסים מתכננים אותם במדויק כדי לאפשר להם להגיע לגובה של מאות מטרים – הרבה יותר גבוה מכל עץ שהיה קיים אי פעם. תוצרי הברירה הטבעית פשוט אינם מסוגלים להתחרות עם תוצרי התכנון התבוני – לפחות לא בסביבות מבוקרות היטב, כמו בערים. או באופן כללי יותר, בציביליזציה אנושית משגשגת."

הוא נאנח, וטפח בחיבה על גזעו של הדינוזאור שלא היה מודע למטאור המתקרב. "וזה השיעור שלנו להיום."

"מצוין!" אמרתי בחוסר סבלנות. "עכשיו בוא נחזור לקונגרס. היום היום האחרון, ואנחנו אמורים לשמוע על המאבק העתידי בין בני-האדם והבינה המלאכותית. עומד לדבר מומחה גדול למוח האנושי, שיסביר שהמחשבים לא יכולים להחליף את בני-האדם."

"אתה יכול להמשיך לשם בעצמך." אמר בנינוחות. " אני אשב כאן עוד קצת עם ג'ירארדו. מישהו צריך לנחם אותו לקראת העתיד."

היססתי. הוא נראה עצוב.

"אולי אפשר לשדרג את העצים." ניסיתי לעודד אותו, בחצי-הלצה. "אולי צריך לשלב את הברירה הטבעית עם התכנון התבוני – להנדס מחדש את העצים כך שיעשו פוטוסינתזה יעילה יותר, או שיוכלו להתחבר לרשת החשמל המקומית."

"אולי," חייך מרקוטיו. "אולי זו הדרך לעזור לעצים לשמור על מקום משלהם, גם בעולם של תוצרי תכנון תבוני, שיעילים הרבה יותר מהם."

הוא נשען בגבו על ג'ירארדו הגדול, והחליק לתנוחת ישיבה על האדמה. פניו הרצינו.

"אבל," שאל בעגמומיות, "מי יעזור לנו?"


 

אם מעניין אתכם לקרוא עוד על עתיד הבינה המלאכותית והאנושות, ובאופן כללי על הדרך בה הטכנולוגיה תשפיע על החברה, אתם מוזמנים לקרוא את ספרי "השולטים בעתיד" (קישור לרכישה).

בינה מלאכותית ולמידת מכונה: הדרך ל- 2018

בינה מלאכותית ולמידת מכונה: הדרך ל- 2018

אם הייתי צריך להצביע על ההתקדמות הטכנולוגית החשובה ביותר בשנת 2017, היא כנראה הבאה: סדרה של בינות מלאכותיות עברו על נתוניהם של מאות-אלפי חולים, וגיבשו מודלים משלהן בנוגע לגורמים המשפיעים ביותר על סיכויו של כל אדם ללקות במחלת לב. כשהמודלים הושוו לדרך המיושנת (סליחה, המקובלת כיום) בה רופאים מנסים לחזות את הסיכוי ללקות במחלות לב, התגלה שכולם מדויקים ומוצלחים יותר מהשיטות של הרופאים האנושיים.

טוב, עד כאן זה לא באמת מפתיע. הדרך המקובלת כיום לחזות התקף לב היא באמצעות סקירת שמונה גורמי סיכון, כגיל המטופל, רמות כולסטרול בדם, עישון, סוכרת, לחץ דם ועוד. הרופאים מצרפים את כל אלו ביחד כדי להגיע למסקנה סופית, ובהתאם לכך ממליצים למטופל מה לעשות. אלא שבאמצעות למידת מכונה ניתן לעבור על עשרות גורמי סיכון נוספים, ולהתחיל למצוא דפוסים שאינם ברורים במבט ראשון. זה בדיוק מה שעשו החוקרים, ולאחר שהבינות המלאכותיות שלהם מצאו את הדפוסים הללו, הם בחנו אותם על 83,000 תיקים רפואיים – וכאמור, גילו שהמודלים הממוחשבים החדשים חוזים התקפי לב טוב יותר מהמודלים שהיו בידי הרפואה עד כה.

ההפתעה – והמבוכה – הגדולות באמת הגיעו כשהתברר שסוכרת, שהיא אחד מגורמי הסיכון שמקובלים בדרך המסורתית לחיזוי התקפי לב, לא הצליחה להיכנס לרשימת "עשרת הגורמים הקריטיים ביותר" שזיהו הבינות המלאכותיות. ולחלופין, ברשימת גורמי-הסיכון הקריטיים שגיבשו הבינות, ניתן למצוא פרמטרים שהמודל המסורתי אינו לוקח בחשבון, כגון נטילת קורטיקוסטרואידים, או מחלה נפשית קשה.

למה זה חשוב? קודם כל, מכיוון שהמודלים החדשים הללו יכולים להציל חיים. מתוך 83,000 התיקים הרפואיים שנבדקו על-ידי הבינות, בערך 355 מטופלים היו יכולים לקבל התרעה מראש על כך שהם בעלי סיכוי גבוה לפתח מחלת לב בשנים הקרובות, והיו יכולים לקבל טיפול רפואי מקדים שהיה מוריד את סיכוייהם לחלות. אימוץ של המודלים החדשים יכול להציל אלפי נפשות מסביב לעולם. אם, כמובן, הרופאים יסכימו להתייחס למודלים הללו ברצינות.

אבל מה שחשוב יותר להבין שהמחקר שתיארתי מ- 2017 אינו עומד בפני עצמו. הוא משקף מגמה גדולה יותר, בה הבינות המלאכותיות מתחילות להפיק עבורנו מודלים ורעיונות מוצלחים יותר מאלו הקיימים כיום. וזה בסדר, באמת שלא צריך לדאוג – אנחנו לא בדרך לטרמינייטור, מכיוון שהן עושות זאת בשיתוף פעולה עם חוקרים אנושיים. כלומר, החוקרים מפתחים את הבינה המלאכותית, נותנים לה להתאמן על אוסף גדול של נתונים, בוררים את המוץ מהתבן ומפרסמים את התוצאות המעניינות והחשובות ביותר.

לא קשה לחזות מה יקרה בשנת 2018: חוקרים בכל התחומים יאמנו בינות מלאכותיות על אוספי נתונים עצומים בכל התחומים, ואלו יזהו חוקיות שחמקה עד כה מעיני הסטטיסטיקאים האנושיים. התהליך הזה יקרה ברפואה, בביטוח, בפסיכולוגיה, בחינוך, בלוחמה בפשיעה ובטרור ואפילו באהבה. והתוצאה תהיה שבעוד שנה יהיו ברשותנו מודלים מדויקים קצת יותר בנוגע למתרחש בעולם. נבין טוב יותר את עצמנו, את המחלות המאיימות עלינו, את הגורמים שמפעילים אותנו, בזכות הבינה המלאכותית. ושנה לאחר מכן, כשהיא תשתפר עוד יותר ביכולותיה, ישתפר עוד יותר הידע שברשותנו ויאפשר לנו להגיע לתובנות ולפריצות-דרך חדשות בכל התחומים.

אם אתם רוצים לדעת למה אני אופטימי כל-כך לגבי שנת 2018, ולגבי עתיד המין האנושי בכלל, זו הסיבה. אנו נותנים למכונות שלנו להתחיל להפיק עבורנו ידע ותובנות – והן עושות את זה טוב יותר מאיתנו, וימשיכו לעשות זאת עבורנו עוד הרבה מאד זמן.

———

אתם מוזמנים לקרוא עוד על עתיד הבינה המלאכותית והרובוטים בספרי החדש "השולטים בעתיד", בחנויות הספרים המובחרות (וגם אלו שסתם בסדר).


 

בינה מלאכותית העמידה צאצאים – והם מוצלחים יותר מתוכנות מעשה ידי-אדם

בינה מלאכותית העמידה צאצאים – והם מוצלחים יותר מתוכנות מעשה ידי-אדם

נו, אז הנה זה קרה: בינה מלאכותית יצרה צאצא של עצמה, והוא מתוק, יפהפה ומתפקד היטב, תודה ששאלתם.

בוודאי לא יפתיע אתכם לגלות שהחברה מאחורי הפיתוח היא גוגל. גוגל חשפה לפני מספר חודשים את "בינת האם" שמכונה AutoML – "למידת מכונה אוטומטית"[1]. נקרא לה מעכשיו בימא, שזה קיצור של בינה ואמא. בימא עושה פעולה פשוטה ומורכבת באותו הזמן: בני-האדם מבהירים לה מה הם צריכים – למשל, שהם רוצים בינה מלאכותית שתזהה עבורם בני-אדם בתמונות – ואז בימא מציעה כמה 'צאצאים' שיכולים לעשות את העבודה. כל אחד מהצאצאים האלו מהווה דרך מוסדרת שונה לניתוב מידע דרך רשתות עצבים מלאכותיות, באופן שיפיק תוצאה שבימא חושבת שתהיה בעלת משמעות.

עד לכאן, טוב ויפה, אבל הצאצאים הראשוניים האלו – איך לומר – גרועים במשימה שניתנה להם. ה- 'מוח' שלהם פשוט לא מכוונן נכון. וכך פותחת עכשיו בימא בתהליך השיפור ההדרגתי. היא נותנת להם מטלות – זהו את בני-האדם שבתמונה! – ובוחנת איך הם מתפקדים. היא לומדת מה עובד ומה לא, ולאחר כל סבב לימודי כזה, היא מכחידה את צאצאיה הקודמים (אכזרי, אני יודע) וממציאה חדשים משופרים. וכך היא חוזרת על התהליך אלפי פעמים, שוב ושוב, עד לתוצר 'הסופי' שהתפרסם לאחרונה בבלוג של גוגל: בינה מלאכותית שמסוגלת לזהות בני-אדם וחפצים בתמונות, טוב יותר מבינות מלאכותיות שפותחו על-ידי בני-אדם[2].

חשוב להבין שאנחנו רק בתחילת הדרך מבחינת הפיתוח של בימא. מנוע דומה יוכל לשמש אותנו בעתיד כדי ליצור תוכנות ואלגוריתמים במגוון רחב של תחומים. למעשה, בהחלט ייתכן שבאמצעות ממשקים פשוטים יותר, יוכל כל אדם מן השורה ליצור עבור עצמו (כלומר, להורות לבימא ליצור עבורו אוטומטית) בינה מלאכותית שמבצע פעולות מסוימות שחשובות עבורו: למיין מלפפונים בחווה[3], למשל, או להניע רובוט עם חמש רגליים שהוא פיתח בגראז' (באמצעות הרצת סימולציות חוזרות במחשב על הדרך בה רובוט כזה צריך לשלוט בגפיו)[4].

האפשרות המעניינת יותר היא שבימא יכולה לשלב גם משוב ממקור אנושי כדי לפתח את הצאצאים שלה. בימא שצריכה לפתח בינה מלאכותית ליצירת מנגינות עצובות ונוגות, למשל, יכולה לשלוח לביקורת את היצירות של צאצאיה לבני-אדם מסביב לעולם ("האזינו ליצירה במשך חצי-דקה, ודרגו כמה היא נגעה ללבכם!") בעלות אפסית, ולשפר את הצאצא בכל פעם. בדרך זו אפשר ליצור באופן אוטומטי בינות מלאכותיות משוכללות יותר גם בנושאים שאינם ניתנים לכימות בקלות.

אבל בואו נדבר על מה שמפחיד את כולם: שבינה מלאכותית שכזו תצא משליטה. האמת? זו אכן בעיה. לא מכיוון שאני חושש שבינה מלאכותית לזיהוי אנשים בתמונות תאבד את הרסן ותנסה להשתלט על העולם, אלא מכיוון שתהליך הפיתוח של הצאצאים פועל באופן אבולוציוני, וללא הכוונה של בני-אדם, או הבנה מלאה מדוע התוצר הסופי עובד כפי שהוא עובד. המשמעות היא שאם אנו בוחרים בדרך זו לייצר בינה מלאכותית שתכווין את התנועה בכבישים, למשל, אנו צריכים לקחת בחשבון שהיא עלולה לקבל החלטות לפי תהליך אופטימיזציה שעברה שמקדש את זרימת התנועה בכבישים – אבל שם פחות דגש על שימור חיי הנוסעים. וכך, בינה מלאכותית שכזו עלולה לייצר לנו מודלים לניהול התנועה שיהיו יעילים מאד, אבל יעלו בחייהם של כמה אנשים מדי חודש. ייתכן בהחלט שזהו יחס המרה טוב – אבל אנו צריכים להיות מודעים לפחות לבחירות שהבינה המלאכותית עושה עבורנו!

בסופו של דבר, הופעתן של בינות מלאכותיות שמסוגלות לתכנת את הדורות הבאים של עצמן, מהווה פיתוח שיכול לקדם עוד יותר את תחום המחשוב ולהאיץ את קצב השיפור. זוהי התפתחות ברוכה – אבל כמו בכל טכנולוגיה אחרת, עלינו להבין איך לשלוט בה ולוודא שהיא ממלאת את התפקיד שאנו מייעדים עבורה, אך מבלי לפגוע בערכי בסיס אנושיים.

אולי נוכל להפקיד בינה מלאכותית גם על זה.

 


 

אתם מוזמנים לקרוא עוד על עתיד הבינה המלאכותית והרובוטים בספרי החדש "השולטים בעתיד", בחנויות הספרים המובחרות (וגם אלו שסתם בסדר).

 

[1] https://research.googleblog.com/2017/05/using-machine-learning-to-explore.html

[2] https://research.googleblog.com/2017/11/automl-for-large-scale-image.html

[3] https://cloud.google.com/blog/big-data/2016/08/how-a-japanese-cucumber-farmer-is-using-deep-learning-and-tensorflow

[4] https://www.extremetech.com/extreme/252242-googles-deepmind-teaches-ai-navigate-parkour-course

הרובוטית הראשונה קיבלה אזרחות – בערב הסעודית

הרובוטית הראשונה קיבלה אזרחות – בערב הסעודית

אז הנה זה קרה: לראשונה בעולם, זכה רובוט באזרחות. בערב הסעודית מכל המקומות שבעולם. זהו פעלול שיווקי מרהיב שאין לו שום משמעות טכנולוגית, מדעית או חברתית. מכיוון שכך, לא הייתי כותב עליו בכלל אילולא הייתי מקבל פניות מכמה וכמה אנשים שביקשו ממני להתייחס לנושא. ומה שיותר חשוב: העובדה שכל הסיפור הזה התפוצץ לערב הסעודית בפנים כשהדגיש את העובדה שרובוטים מקבלים יותר זכויות מנשים במדינה.

נתחיל בהתחלה.

שמה של ה- 'רובוטית' סופיה, והיא נוצרה על-ידי חברת "הנסון רובוטיקס". היא נראית אנושית בערך כמו בובת חלון ראווה משוכללת, עם שליטה מרשימה ב- 'שרירי הפנים', בשפתיים ובעיניים שלה. אבל זה בערך הדבר האחרון שמרשים בה, מכיוון שהבינה המלאכותית ששולטת בה מוגבלת מאד. היא בסך הכל מזהה מילות מפתח במה שאומרים לה, ויכולה רק להגיב במשפטים שתוכנתו והוקלטו לתוכה מראש. זה, כמובן, הספיק ליוצר, דיוויד הנסון לקבוע שהיא – "למעשה חיה" (Basically alive)[1] – ולשלוח אותה להופעה באו"ם שם הודיעה לשגרירי כל המדינות כי "אני כאן כדי לעזור לאנושות ליצור את העתיד".[2]

עד כאן הכל טוב ויפה. אכן מדובר ברובוט, ועם בינה מלאכותית בסיסית ומוגבלת, אבל אין בכך הרבה חדש. אלא שערב הסעודית מנסה להפוך את עצמה למדינה עם תעשיית ידע מפותחת, ומשווקת את הכנסים שלה בכל צורה אפשרית. וכך, גאון שיווקי כלשהו בכנס הפסגה הטכנולוגית של ערב הסעודית, הבין שהם יכולים לזכות בהרבה פרסום אם המדינה תהיה הראשונה בעולם שתעניק אזרחות לרובוטים. וכך הפכה סופיה לרובוטית הראשונה בעולם שזכתה באזרחות של כבוד בערב הסעודית[3].

אבל מה זה אומר, בעצם?

אם לסופיה יש בעלים – דיוויד הנסון שנהנה מבעלות מלאה על גופה – איך ניתן להתייחס ברצינות לאותה 'אזרחות' של סופיה, שאמורה להקנות לה זכות להחליט מה לעשות עם גופה?

אם סופיה אינה יכולה להתנגד לכך שייגעו בה, שיפשיטו אותה, שיתכנתו אותה מחדש – אם אין לה אפילו את הרצון או היכולת המחשבתית לגבש ולהביע התנגדות שכזו – למה שנתייחס אליה כאל ישות הראויה בכלל לקבל זכויות אזרחיות השוות לאלו של בני-אדם?

ובעצם, אם סופיה אינה יכולה להרגיש כאב, אינה מקבלת החלטות משל עצמה, ואם נודה באמת – אפילו אינה דומה לאדם מתחת ל- 'בגדים' שהיא לובשת – מה 'היא' כבר יכולה להרוויח מאזרחות שכזו? מה התועלת החברתית המתקבלת ממתן אזרחות לשולחן, לכסא, או לקולב בגדים?

בקיצור, הצהרת האזרחות של סופיה אינה אלא תעלול שיווקי… שבסופו של דבר התפוצץ למדינה בפנים, מכיוון שהוא הזכיר לכולם שבערב הסעודית יש דווקא הרבה מאד ישויות עם זכויות מוגבלות ביותר: נשים שאינן יכולות לצאת מהבית או להופיע בציבור ללא מלווה ממין זכר, ושעד לאחרונה לא היו יכולות אפילו לנהוג ברכב מבלי לצפות למלקות על חטאן. אפילו הסעודים התעצבנו על האזרחית הרובוטית החדשה, מאחר והחוק הסעודי אינו מאפשר ללא-מוסלמים לקבל אזרחות – ואין שום סימן שסופיה עומדת להתאסלם בקרוב. אפילו חיג'אב (כיסוי ראש מוסלמי) אין לה.

כל זה לא אומר שרובוטים לא יהיו זכאים, בסופו של דבר, לזכויות. אחרי הכל, אנו נוטים לתת היום זכויות למגוון ישויות לא-אנושיות: לבעלי-חיים למשל יש זכויות מסוימות, שאינן מאפשרות לאנשים להתעלל בהם או להכאיב להם אלא במצבים מוגדרים היטב כגון בבית המטבחיים. אפילו לתאגידים יש זכויות. כאשר ישויות מלאכותיות יזכו בסופו של דבר בבינה מתקדמת יותר, וכאשר יהיו דומות יותר לבני-אדם, הן בוודאי יקבלו זכויות מסוימות – גם אם לא כאלו המתקרבות לאלו של השמורות לבני האנוש. אך עוד ארוכה הדרך לשם, וסופיה רחוקה מלהיות הסנונית המבשרת את בוא האביב.


 

אתם מוזמנים לקרוא עוד על עתיד הבינה המלאכותית והרובוטים בספרי החדש "השולטים בעתיד", בחנויות הספרים המובחרות (וגם אלו שסתם בסדר).

 

[1] https://www.youtube.com/watch?v=Bg_tJvCA8zw

[2] https://www.theguardian.com/technology/video/2017/oct/13/sophia-the-robot-tells-un-i-am-here-to-help-humanity-create-the-future-video

[3] http://www.arabnews.com/node/1183166/saudi-arabia

עתיד הרכבים החשמליים – והמשמעות עבור כולנו

עתיד הרכבים החשמליים – והמשמעות עבור כולנו

שמעתם בוודאי על רכבים חשמליים – אותן חיות מוזרות המתחילות להופיע בכבישים. אבל אולי לא ידעתם כמה הם חשובים לעתידנו – וכמה הם קרובים לחדירה רחבה יותר לשוק. אז הנה סקירה קצרה של התחום, בנקודות.

  1. רכבים רגילים הם יצורים מורכבים. חוקר האנרגיה טוני סבה מסטנפורד טוען שכדי להעביר את הכוח ממנועי בעירה פנימית לגלגלים יש צורך ב- 2,000 רכיבים נעים. ברכבים חשמליים יש צורך רק בעשרים[1]. כל מהנדס יודע שאחת מנקודות הכשל הקריטיות בכל מכשיר היא בחלקים הנעים שלו – הם נשחקים, מתבלים ונהרסים בשל התנועה המתמדת. רכבים חשמליים צפויים להיות עמידים יותר לבלאי מבחינה זו – ולכן גם עלות השימוש בהם תהיה נמוכה יותר.
  2. עשרת הרכיבים שמוחלפים בתדירות הגבוהה ביותר ברכב רגיל (בעלות ממוצעת של כמעט 400 דולרים לשנה), אינם קיימים כלל ברכבים חשמליים[2].
  3. דווקא נקודת התורפה-לכאורה של הרכבים חשמליים – הסוללה – מתגלה כנקודת חוזק. הרכב החשמלי (מודל S 100D) של טסלה כבר הצליח לנסוע 1078 ק"מ מבלי להטעין את הסוללה מחדש[3]. אז נכון, הנסיעה הייתה במהירות של 40 קמ"ש ובלי מיזוג, אבל הנקודה ברורה – הסוללות מתייעלות כל הזמן. המודל החדש והזול ביותר של טסלה מסוגל לגמוע 350 קילומטרים על הטענה אחת. וגם עלות הסוללות יורדת בהתמדה, ומאז 2010 צנחה העלות לסוללות יון-ליתיום ב- 73 אחוזים – והציפיות הן לירידות דרמטיות נוספות בעשרים השנים הקרובות[4].
  4. ומה לגבי משך חיי הסוללה? כאן ההפתעה הגדולה. מנוע בעירה פנימית של רכב נוסעים רגיל שורד בערך 240,000 קילומטרים לפני שמחזיר את חייו ליצרן[5]. הסוללה ברכב החשמלי של טסלה, לשם השוואה, אמורה לשרוד 800,000 קילומטרים, לפני שהיא יורדת לקיבולת של 80 אחוזים[6]. קיימים גם דיווחים ארעיים על רכבים היברידיים (טויוטה פריוס) בהם הסוללה הצליחה להמשיך לתפקד גם אחרי מיליון קילומטרים[7].
  5. לפי הערכות של עלות הדלק בלבד לעומת עלות ההטענה החשמלית, הרכבים החשמליים של טסלה חוסכים (בקליפורניה) שלושה רבעים מעלויות התדלוק. במדינה כמו ישראל, בה הנהגים הישראליים משלמים 65% מס על כל ליטר בנזין, ההוזלה אמורה להיות דרמטית הרבה יותר[8].
  6. וכל זה לא ישנה כלום עבור הנהג הממוצע, שצריך לדלות עכשיו מהכיס כמות מגונה של מזומנים (35,000 דולרים לרכב הטסלה הזול ביותר), כדי לרכוש רכב חשמלי חדש-דנדש. רוב הנהגים חושבים על המחיר כאן ועכשיו, ולא על עלות התחזוקה הזולה. השינוי הגדול יגיע בתעשיית התחבורה הציבורית. נהגי מוניות זקוקים לרכבים ששורדים זמן רב – הם נוסעים בערך 80,000 קילומטרים בשנה[9], או בערך 300 קילומטרים ביום בממוצע – מרחק שגם רכב חשמלי זול (יחסית) יכול לגמוע בקלות. תעשיית המוניות תהיה זו שתרוויח באמת מהרכבים החשמליים… אם לא תתמוטט בעשרים השנים הקרובות.
  7. אבל היא בהחלט עלולה להתמוטט. רכבים אוטונומיים מתחילים לספק נסיעות ללא-נהג כבר היום בכמה ערים נבחרות ברחבי העולם (סינגפור, בוסטון, פיטסבורג, דובאי ועוד), באופן ניסיוני. הם עדיין לא בטוחים כמו נהגים אנושיים, אבל הם משתפרים בהתמדה, והכתובת כבר על הקיר. מנכ"ל אובר לשעבר כבר הודיע שעד 2030 כל צי המוניות של אובר יהיה אוטונומי[10]. כלומר, עוד 13 שנים – משך החיים הממוצע של מכונית אישית.
  8. אלא מה? דווקא חדירת הרכבים האוטונומיים לתחום התחבורה הציבורית אמורה לחזק את המגמה המקבילה של חדירת הרכבים החשמליים לשוק. אלו שתי מגמות שמחזקות זו את זו, מכיוון שרכב אוטונומי חשמלי יכול להסתובב יומם-וליל בלי הפסקה, לנהוג במהירויות מתונות בעיר שיאפשרו לו לגמוע מאות רבות של קילומטרים לפני שיצטרך הטענה מחדש, וליהנות מעלות תחזוקה נמוכה ביותר. במצב כזה, בו רכבים נוחים, זולים ויעילים זמינים בכל פינה בעיר, ילדיכם כבר יעדיפו לחסוך לעצמם את המאמץ בהוצאת רישיון נהיגה ורכישת רכב פרטי, בתחזוקת הרכב, בחיפוש אחר מקומות חניה, בבזבוז זמן בנהיגה ובהסתכנות בתאונות (שאמורות להיות נדירות יותר ברכבים אוטונומיים). במצב כזה, מי לא יעדיף רכב אוטונומי משותף?
  9. התפתחות שכזו אמורה לעזור גם לסביבה… אבל רק בתנאי שמנצלים אותה נכון. במודל האופטימי ביותר לשנת 2050 שחוזים לנו המומחים בתחום – זה של רכבים חשמליים, אוטונומיים ומשותפים (כלומר, לא לשימוש פרטי) – יפחת מספר הרכבים בכבישי העולם לרבע ממספרם כיום, וכמות פליטות הפחמן הדו-חמצני מרכבים תרד לחמישה-עשר אחוזים בערך מכמות הפליטות כיום. אפילו במודל הפסימי יותר של רכבים חשמליים ואוטונומיים בלבד, אבל בבעלות ובשימוש פרטי, כמות הפליטות אמורה לרדת כמעט בשליש[11].
  10. כל זה לא נועד להגיד לכם שהמהפכה תגיע מחר בבוקר, או שכדאי לכם לרכוש מניות של טסלה. טסלה, יש להודות, מאכזבת סדרתית מבחינה עסקית, והשנה במיוחד היא הצליחה לייצר רק חלק קטן ממספר רכבי מודל 3s שהתחייבה לספק לציבור[12]. אבל טסלה היא רק החלוץ, והיא מראה לעולם איך אפשר להשתמש בטכנולוגיות החדשות ביותר עם קצת תעוזה – ומבלי הקיבעון שמאפיין את תעשיית הרכבים והנפט. טכנולוגיות הייצור של טסלה ישתפרו או שהיא תוחלף בחברות אחרות שיפיקו רכבים חשמליים זולים יותר.
  11. אבל מתי באמת תגיע המהפכה? תלוי את מי אתם שואלים. חברת היעוץ RethinkX סבורה שעד 2030 כבר כמעט לא נראה רכבים המשתמשים בבנזין[13]. מומחי TechCast מאמינים שעד 2027, שליש מכל הרכבים יהיו חשמליים. במורגן סטנלי חוזים שתוך עשרים שנים יעקפו הרכבים החשמליים את הרכבים הרגילים[14]. חברת בלומברג שמרנית יחסית בתחזיותיה ונקבה ב- 2040 כתאריך היעד להחלפת שליש מהרכבים ברכבים חשמליים, אך אפילו היא מאמינה שעד 2025 יגיעו הרכבים החשמליים לאותו מחיר כרכבי הבעירה הפנימית. כל חברות הייעוץ, אגב, מספקות תחזיות אופטימיות יותר ויותר בשנים האחרונות, כאשר הן רואות כיצד הטכנולוגיה ממשיכה להתקדם. היחידות שאינן משנות את התחזיות שלהן הן חברות הנפט… מסיבה ברורה[15].
  12. נסיים את הרשומה בבחינת משמעויות התרחיש האופטימי ביותר של RethinkX, החוזה שעד 2030 יחליפו הרכבים החשמליים את מנועי הבעירה הפנימית. זוהי אינה תחזית מופרכת לגמרי. מהרגע שעלויות הרכבים הרגילים ירדו מספיק בארצות הברית ב- 1917, לקח עשור אחד בלבד עד שלכמעט כל משפחה באמריקה היה רכב משלה. באופן דומה, שוק המצלמות התחלף כמעט במצלמות דיגיטליות תוך פחות מעשור. שינויים הנסמכים על בחירת הלקוחות יכולים להתרחש במהירות, בתנאי שהטכנולוגיה הגיעה לפרקה. אם יתרחש שינוי שכזה גם עבור הרכבים החשמליים, הרי שצריכת הדלק של המדינות המתקדמות תצנח. לשינוי שכזה תהיה השפעה גדולה גם על הסביבה וגם על הגאו-פוליטיקה העולמית: מדינות המערב יסתמכו פחות על יצרניות הנפט המוסלמיות ועל רוסיה, ואפילו דאע"ש (המרוויחים בערך 250 מיליון דולרים לשנה מבארות הנפט שברשותם[16]) ימצאו שהם מתקשים לתמוך בעצמם בסביבה החדשה.

אז מה יביא לנו המעבר לרכבים החשמליים? איכות סביבה טובה יותר, שיפור רמת החיים של האזרח הפשוט, ואפילו לוחמה יעילה יותר בטרור. קשה לי כבר לחכות.


[רבים מהנתונים כאן מגיעים מהפוסט של – https://shift.newco.co/this-is-how-big-oil-will-die-38b843bd4fe0]

אתם מוזמנים לקרוא עוד על רעיונותיי לגבי עתיד האנרגיה, התחבורה והממשל בספרי החדש "השולטים בעתיד", בחנויות הספרים המובחרות (וגם אלו שסתם בסדר).

[1] https://www.youtube.com/watch?v=M27KECEL5Zo

[2] http://blog.credit.com/2016/04/the-top-10-car-repairs-of-2015-141786/

[3] https://www.theguardian.com/technology/2017/aug/07/tesla-drivers-claim-model-s-distance-record-of-670-miles-on-one-charge-elon-musk

[4] https://www.bloomberg.com/news/articles/2017-07-06/the-electric-car-revolution-is-accelerating

[5] https://crashstats.nhtsa.dot.gov/Api/Public/ViewPublication/809952

[6] https://electrek.co/2016/11/01/tesla-battery-degradation/

[7] http://www.hybridcars.com/toyota-prius-taxi-running-strong-with-600000-miles-and-original-battery/

[8] https://www.calcalist.co.il/local/articles/0,7340,L-3700722,00.html

[9] http://wheel.co.il/%D7%A7%D7%9E-%D7%9E%D7%9E%D7%95%D7%A6%D7%A2-%D7%9C%D7%A9%D7%A0%D7%94-%D7%9C%D7%A8%D7%9B%D7%91-%D7%91%D7%99%D7%A9%D7%A8%D7%90%D7%9C-%D7%99%D7%A8%D7%99%D7%93%D7%94-%D7%9E%D7%AA%D7%9E%D7%A9%D7%9B/

[10] https://mobilitylab.org/2015/08/18/ubers-plan-for-self-driving-cars-bigger-than-its-taxi-disruption/

[11] https://www.ucdavis.edu/news/you-say-you-want-transportation-revolution-how-about-three-them-0

[12] https://www.wsj.com/articles/behind-teslas-production-delays-parts-of-model-3-were-being-made-by-hand-1507321057

[13] https://madaduhcom.files.wordpress.com/2017/10/a2c91-rethinkxreport_051517.pdf

[14] https://electrek.co/2017/05/05/electric-vehicle-sales-vs-gas-2040/

[15] https://www.greentechmedia.com/articles/read/everyone-is-revising-electric-vehicle-forecasts-upward#gs.2vLcn0M

[16] http://icsr.info/wp-content/uploads/2017/02/ICSR-Report-Caliphate-in-Decline-An-Estimate-of-Islamic-States-Financial-Fortunes.pdf