עתיד העבודה: מפתחי-העל של העתיד – ואלו שישרתו אותם

טוביה שומאכר הסנדלר חי באנגליה של המאה ה- 18 והתפרנס – כפי שניתן להבין משמו – מסנדלרות. הכלים שעמדו לרשותו היו פרימיטיביים ופשוטים, אך הם הספיקו לו כדי לעצב את הנעל, לחתוך את העור, להדביק ולמסמר את החלקים השונים, ולמכור את מרכולתו בשווקי העיר. כאשר שמע טוביה הסנדלר על מכונות המסוגלות לבצע חלק מעבודת הרכבת הנעליים, הוא רק צחק – "איך מכונה נטולת-בינה יכולה ליצור נעל שמתאימה לכל מידה? איך היא יכולה למכור נעליים לאנשים? להבין מה הלקוח רוצה?"

מאה שנים לאחר מכן, המהפכה התעשייתית כבר הותירה את חותמה העמוק בבריטניה. בנו של טוביה נאלץ לסגור את העסק המשפחתי, מאחר ונעליים יוצרו בכמויות סיטוניות במפעלים. נכדו של טוביה – חיימ'קה המדביק – בילה עשר שעות ביום כשהוא יושב לצד פס ייצור [1], ומזריק פס של דבק על סוליה אחר סוליה. מימינו, המשיכו הסוליות להגיע ללא הרף. משמאלו, המכונה "נטולת הבינה" חיברה את החלק הבא של הנעל לסוליה הדביקה. חיימ'קה לא חש גאווה רבה בעמלו, אבל לפחות הייתה לו פרנסה, וכתוצאה מכלכלת המכונות החדשה, כולם היו יכולים ליהנות מנעליים איכותיות במחירים זולים יותר מאי-פעם. כאשר הזהירו את חיימ'קה המדביק מהופעתן של מכונות שיוכלו לראות את הסוליה ולתפעל אותה בדיוק על-אנושי, הוא רק צחק – "מכונות עם עיניים? עם אצבעות? מי שמע ומי ראה פלא שכזה?"

נקפוץ קדימה מאה וחמישים שנים, לשנת 2018. שרה המעצבת, נכדתו-של-נכדתו-של-נכדתו של חיימ'קה המדביק, עדיין עוסקת בתחום הנעליים המשפחתי, אך היא אינה מגיעה כלל למפעל. המפעל הפך לרובוטי כמעט כולו, ומעסיק רק כמה עשרות עובדים שתפקידם להשגיח על המכונות ולתקן אותן בעת הצורך. מהו תפקידה החדש של שרה? היא מעצבת את הנעליים האופנתיות ביותר. היא מבלה את זמנה מול המחשב ונעזרת בתוכנות CAD (Computer Assisted Design) לעיצוב נעליים ומגפיים יוקרתיים. 

כאשר שרה שומאכר קוראת על תחזיות לפיהן בינות מלאכותיות יוכלו לעצב נעליים טוב יותר מבני-אדם, היא – ניחשתם נכון, צוחקת – "מכונות עם יצירתיות? עם חוש אסתטי? לעולם לא!"

ואף על פי כן, בעשור הקרוב עלולה שרה לגלות שגם מלאכת העיצוב תעבור אוטומציה, ותותיר אותה נטולת עבודה. 

סיפורם של טוביה הסנדלר, חיימ'קה המדביק ושרה המעצבת, הופיע במקור במאמר שפרסם לאחרונה פרופ' ג'ון ק. בורמייסטר מאוניברסיטת בוסטון, אך הוא יכול לשרת אותנו היטב בניסיוננו להבין את עתיד העבודה. על מנת להבין את משמעותו המלאה, וללמוד במה יעבוד בנה של שרה שומאכר, שלומד בימים אלו במדעי המחשב בטכניון, אנו צריכים לזהות קודם מספר מיתוסים – טעויות בתפישה – שכל אחד מהשומאכרים לקה בהם בתורו.

 

shoemaker-852994.jpg

טוביה שומאכר, סנדלר.

מיתוס ראשון: הכול או לא-כלום

טעותו העיקרית של טוביה הסנדלר הייתה בניסיונו לדמיין מכונה שתחליף את כל הפעולות השונות שהוא עצמו ביצע על מנת לעצב, לייצר, למכור ולשווק נעליים המותאמות אישית לכל אדם. המכונות הראשונות שפותחו במהפכה התעשייתית לא היו מסוגלות לבצע אף לא אחת מהמטלות הללו. אלא שהיה להן יתרון גדול אחד: הן היו יכולות לבצע מטלות רוטיניות פשוטות – כאלו החוזרות על עצמן ללא-שינוי – בעלות הפעלה נמוכה בהרבה מזו של עובד אנושי מיומן. ברגע שמכונות כאלו הופיעו באנגליה, התגלה תוך זמן קצר מודל יעיל יותר לייצור נעליים: המכונות היו מבצעות מטלות פשוטות ובסיסיות, ובין כל מכונה היה יושב פועל אנושי נטול-השכלה, שביצע את הפעולות שהמכונה לא הייתה מסוגלת אליהן עדיין. הוא היה צריך להוסיף דבק לסוליה בדפוס מורכב, למשל, או לסדר מחדש את החלקים שעל פס הייצור כדי שיגיעו למכונה הבאה במנח המדויק שהתאים לה.

המכונות אמנם לא היו יכולות לעצב נעליים, למכור, לשווק או אפילו להרכיב נעליים שלמות בכוחות עצמן. אך המעט שיכלו לעשות הביא לשינוי דרמטי בשוק העבודה, והפך סנדלרים מיומנים כטוביה ללא-נחוצים. הסוד, מסתבר, טמון בהבנה שהמכונה אינה צריכה להחליף את כל העובדים בתחום מסוים על מנת לשנותו מן היסוד, ולהפוך מקצועות שלמים למיותרים. 

גם אמזון הגיעה לתובנה זו, כשפתחה את הסופרמרקט האוטומטי הראשון. כשיצאה ההכרזה על כוונתה של אמזון, התרוממו גבות בכל העולם. סופרמרקט רגיל מכיל עשרות עובדים, שמשרתים את הלקוחות, מסדרים את הסחורות על המדפים, עוצרים גנבים, מיישבים מחלוקות וסכסוכים, ועוד מגוון רחב של פעולות מורכבות. האם באמת ניתן להחליף את כולם?

אמזון גילתה שלא – ולכן הסתפקה בהחלפת חלק מהעובדים בלבד: את מקומם של אנשי האבטחה תפסו מצלמות משוכללות עם יכולות זיהוי פנים, והקופאיות הפכו להיות מיותרות לגמרי, מאחר והתבצע מעקב מתמיד אחר כל לקוח וכל חפץ שהניח בעגלה. הסופרמרקט 'האוטומטי' של אמזון מספק חוויית רכישה נוחה בהרבה ללקוחות, שאינם צריכים לעצור כדי לשלם על הפריטים שהם רוכשים – הם יכולים להיכנס לחנות, לקחת מספר פריטים ולצאת החוצה, בידיעה שאמזון תחייב את חשבון הבנק שלהם על הקנייה. העובדים האנושיים המעטים שנותרו צריכים עדיין לסדר את המוצרים על המדפים ולספק שירות לקוחות אישי לקונים המעוניינים לדבר עם בני-אדם דווקא. בדרך זו יורדות הוצאות התפעול באופן משמעותי. אין פלא שגם חברות קמעונאות גדולות אחרות באמריקה כוולמארט וטארגט מנסות לשלב אוטומציה דומה בחנויות שברשותן. 

משמעות ניתוצו של המיתוס הראשון היא שמערכות חכמות ישולבו במקומות עבודה רבים, וישנו את פניהם של מקצועות רבים. במשפטים, למשל, כבר ניתן למצוא מנועי בינה מלאכותית שעוברים באופן אוטומטי על חוזים משפטיים כדי לאתר סעיפים יוצאי-דופן [2], ומנועים דומים המגישים באופן אוטומטי ערעורים משפטיים על קנסות חניה, שהביאו כבר לביטולם של 160,000 דו"חות חניה בניו-יורק ובלונדון [3]. כאשר רוב המטלות השגרתיות והרוטיניות בעבודתם של עורכי-הדין יעברו אוטומציה, ייאלצו העובדים בתחום זה לפענח שאלה גדולה: מה התועלת שהם יכולים להביא לשוק העבודה, מעבר ליכולותיו של המחשב?

מיתוס שני: המכונות העיוורות

חיימ'קה המדביק סבר שמכונות לא יוכלו לבצע פעולות תפעול מורכבות, מכיוון שאינן ניחנות באיברי חישה אנושיים – עיניים, אוזניים ואצבעות. גם אם היו להן חיישנים משוכללים, עדיין לא ניחנו המכונות במוח שיאפשר להן להפיק משמעות מהקלט החושי שהן מקבלות ולתפעל עצמים שונים באותה קלות שעושה זאת בן-אנוש.

חיימ'קה חי במאה ה- 19, אך הוא קלע לדעת גדולים. בשנות השמונים של המאה העשרים, טבע האנס מוראבק את "פרדוקס מוראבק", לפיו – 

"קל יחסית לגרום למחשבים לבצע פעילות ברמת מבוגר במבחני אינטליגנציה או במשחק דמקה, וקשה או בלתי-אפשרי להקנות להם את יכולותיו של [תינוק] בן שנה בכל הנוגע לחישה ולמוביליות." [4]

פרדוקס זה היה תקף עד לפני עשר שנים, כאשר עוד אפשר היה לראות מפעלים בהם היו פועלים בני-אדם ומכונות לסירוגין: בני-האדם היו מבצעים את הפעולות הדורשות חישה ותפעול עדין, כסידור בקבוקי זכוכית במנח הנכון על הסרט הנע, והמכונות העיוורות היו מוציאות לפועל מטלות רוטיניות יותר.

זה כבר אינו המצב כיום.

בעשור האחרון החלו מחשבים לרכוש יכולות עיבוד ראייה מרשימות בזכות המעבר לשיטת המחשוב המתבססת על רשתות עצבים מלאכותיות ולמידה עמוקה. מחשבים נעזרים ברשתות עצבים מלאכותיות על מנת לעבד כמויות גדולות של מידע ולהפיק מתוכו תובנות. ומתחילים להתעלות על יכולות האדם בהבנת תמונה. 

"היום מערכות ראייה מסוגלות לספר לנו מה קורה בתמונה ברמה טובה יותר מזו של אדם. הן לא רק מסוגלות לאבחן איפה נמצא כל כלב בתמונה אלא גם את הסוג המדויק והמין שלו." אומר פרופ' רון קימל מהפקולטה למדעי המחשב, ומוסיף כי, "מערכות מכניות מתקשות יותר לחקות את הדינמיקה האנושית העדינה, אבל גם זה יגיע."

השילוב של מערכות חיישנים מתוחכמות ובינה מלאכותית מתקדמת מתחיל לשאת פרי כיום במה שגיל פראט, מנכ"ל מכון המחקר של טויוטה, כינה "הפיצוץ הקמבריאני" של הרובוטיקה [5]. פראט סבור כי אנו נכנסים לתקופה של שינוי מואץ, בה יכולותיהם של הרובוטים יגדלו במהירות. כתוצאה מכך, רובוטים יוכלו לשרת אותנו במפעלים, בבתים וברחובות הערים. 

את הבסיס לרעיון זה אנו מתחילים לראות כבר היום. הרכבים האוטונומיים, למשל, מתחילים להגיע לכבישים. יותר מ- 58 ערים נערכות לניסויים בהסעת רכבים אוטונומיים בכבישיהן, או שעורכות את הניסויים כבר היום. אפילו תל-אביב מתחילה לבחון את הטכנולוגיה [6]. אובר חתמה חוזה עם וולוו במסגרתו תספק לה יצרנית הרכבים 24,000 מוניות אוטונומיות [7], בעוד שהחברה המתחרה – וויימו – רכשה מקרייזלר פסיפיקה כמה אלפי רכבים אוטונומיים, שהראשון ביניהם אמור להגיע לידיה כבר בסוף 2018 [8]. הרכבים האלו נועדו לשמש כמוניות אוטונומיות שייסעו ללא-הפסקה ברחובות העיר ובין ערים – ואמורות לייתר את נהגי המוניות, האוטובוסים והמשאיות.

באופן דומה, הרחפנים האוטונומיים הראשונים כבר פועלים לשינוע חבילות בשווייץ [9] ובאיסלנד (פיתוח ישראלי) [10], ולא קשה לראות כי הם מאיימים להחליף את השליחים ואת הדוורים. לצד אלו אפשר להוסיף גם רובוטים משוכללים יותר, כמטבח הרובוטי הראשון הידוע בשם "מולי", הניחן בשתי זרועות אנושיות למראה המאפשרות לו להפוך מרכיבי מזון למאות מנות שונות (לפי טענת החברה, שמתכוונת לשחרר את הרובוט לשוק עוד השנה… כפי שהבטיחה כבר כמה שנים ברצף) [11]. 

כשמצרפים את כל ההתפתחויות בתחום הרובוטיקה והבינה המלאכותית ביחד, קשה לחשוב על עבודות צווארון כחול בהן יתעלו בני-האדם על הרובוטים. מיתוס המכונות העיוורות והמגושמות מתערער לנגד עינינו.

 

מיתוס שלישי: המכונות נטולות היצירתיות

מהי יצירתיות? לשאלה זו אין עדיין תשובה טובה. חוקר הבינה המלאכותית מרווין מינסקי כתב כי – "רוב המילים בהן אנו משתמשים לתיאור מחשבותינו (כ- "מודעות", "למידה" או "זיכרון") הינן אוסף-חבילה מבולגן של רעיונות שונים." יצירתיות הינה בבירור אחת ממילות-החבילה הללו. נגדיר, לפיכך, יצירתיות באופן פשוט יותר, כיכולת להפיק פתרונות חדשים ושימושיים לבעיות שונות: פיתוח תוכנה, עיצוב נעליים ואפילו הלחנת סימפוניה.

בעשור האחרון החלו מחשבים לרכוש יכולות של יצירתיות שימושית במגוון רחב של תחומים, בין היתר בזכות המעבר ללמידה עמוקה ובטכניקות מתקדמות אחרות בלמידת מכונה. 

מערכות עצבים מלאכותיות מצליחות להגיע להישגים מרשימים בתחומים שנראו בעבר כנחלתם הבלעדית של בני-האדם. מערכת עצבים מלאכותית שעברה על 80,000 ציורים, למשל, הפיקה יצירות חדשות משל עצמה, שבני-אדם הזדהו עמן יותר ומצאו אותן מעוררות השראה יותר מיצירות ממקור אנושי שהוצגו ביריד האמנות המוביל בבאזל 2016 [12]. מערכת עצבים אחרת עברה על ספרי שירה מהמאה ה- 20, ורכשה את היכולת לכתוב שירה חדשה משלה – שאנשים רבים טעו לחשוב שנכתבה על-ידי משורר אנושי [13]. למשל – 

It was five years ago,

the secret children bore my homely hand,

puffed out the harmless clothes that cleared

my thighs and ribs and veins.

מערכת עצבים מלאכותית אחרת, בשם אייבה (Aiva – Artificial Intelligence Virtual Artist) למדה להלחין מוזיקה קלאסית, ויצירותיה מלוות כיום סצנות בסרטים ובמשחקי וידאו. לאחרונה שחררה אייבה את האלבום הראשון שלה וזכתה להיות הבינה המלאכותית הראשונה שמתהדרת בסטטוס "מלחין" רשמי [14].

פרופסור מיקי אלעד מהפקולטה למדעי המחשב בטכניון עוסק בעיבוד מידע ולמידה ממוחשבת, והוא ער היטב לגודל הישגי הבינה המלאכותית בתחומים המקושרים עם יצירתיות.

"אנחנו יכולים כיום להציע אלגוריתם שיחבר מוזיקה או ייצר תמונה יש מאין. עד לפני חמש שנים, שתי משימות אלו נחשבו לרעיונות בלתי-אפשריים. אני משוכנע שפיתוחים כאלו ואחרים יסלקו סוגי עבודה רבים שקיימים היום. אני לא יכול להתנבא מה יהיה, ואיני יודע מה ייעלם, אבל ברור לי שחייבת להיות תזוזה משמעותית בשוק העבודה בשל כניסתה של טכנולוגיה זו."

יצירתיות אינה מוגבלת לשירה או לציור. עבודת המהנדס, למשל, משלבת שפע של יצירתיות, וגם היא מתחילה לעבור לידי מערכות בינה מלאכותית. מערכות כ- DreamCatcher של אוטודסק, למשל, מצליחות להמציא לאחרונה את הגלגל – מילולית. בהדגמת יכולות מ- 2015, קיבלה מערכת מסוג זה מידע מחיישנים המרוצפים על רכבים, בנוגע לעומס המופעל על כל נקודה ברכב מרוץ (כולל על הנהג האנושי). היא הפיקה תוך זמן קצר תרשים לשלדת רכב מסוג חדש, שנראית יותר ביולוגית ממכאנית – עם סבך של קורות מתכת מתפתלות בדגם המזכיר קורי עכביש בתלת-ממד. השלדה החדשה אמורה להיות קלה וחזקה יותר משלדה רגילה. ובנוסף לכל, היא במפורש אינה סימטרית. בניגוד לאינטואיציות של המהנדסים האנושיים, הנוטים לפתח רכבים 'בדמותם' באופן סימטרי, מסתבר שהעומס המופעל על רכב מרוצים גדול יותר באחד מצדדיו – ולכן בחרה הבינה המלאכותית לעצב את הרכב מחדש בדרך מקורית שהמציאה בעצמה [15].

עכשיו שאתם יודעים כל זאת, האם אתם עדיין שותפים לאמונתה של שרה, שמחשבים לא יוכלו לעצב גם נעליים בשנים הקרובות?

אם כן, כדאי שתדעו שאמזון מפתחת בימים אלו בינה מלאכותית המעצבת בגדים חדשים בכוחות עצמה, בהסתמך על העדפותיו האופנתיות של הרוכש הפוטנציאלי ועל טעמו הכללי בבגדים, בדים וגוונים [16].

אבל למה לעצור דווקא בעיצוב נעליים? האם מחשבים יכולים לעצב ולתכנת גם את עצמם? ויותר ספציפית – האם יוכלו לתפוס גם את מקומות עבודותיהם של המתכנתים האנושיים היצירתיים?

 

כשהמחשבים קמים על יוצריהם

פייסבוק היא אחת מספקיות השירותים האמינות ביותר בעולם. מדי יום היא מאפשרת ליותר ממיליארד משתמשים להתחבר לשירותיה. מדי דקה מועלות 147,000 תמונות חדשות לשרתים, 317,000 סטטוסים מתעדכנים, ו- 29 מיליון הודעות נשלחות בווטסאפ (שבבעלות פייסבוק) [17]. בעבר היה צורך באלפי טכנאים מיומנים לניהול מרכזי המידע העצומים המאפשרים את כל הפעילות הקדחתנית הזו. אלא שפייסבוק פיתחה והתקינה את מערכת סייבורג, המזהה בעיות בשרתים ומנסה לתקן אותן אוטומטית. רק במידה והיא נכשלת, היא שולחת הודעה לטכנאי אנושי. בדרך זו, יכול טכנאי בודד לנהל 26,000 שרתים במקביל [18]. 

ובכן, אלו טכנאים 'פשוטים', תאמרו עתה – אבל מה עם המתכנתים המומחים? מסתבר שגם אלו מתחילים להיות מוחלפים, אף שבאופן איטי יותר מזה הצפוי לכל תחום אחר. 

בעולם המשחק של No Man’s Sky, השחקנים עוברים בין כוכבי-לכת וחוקרים את היצורים החיים עליהם. המשחק מספק סימולציה של עשרות מיליוני כוכבי-לכת עשירים בפרטים: סלעים, צמחייה ובעלי-חיים שעוברים אבולוציה לאורך זמן. זהו פלא של משחק בפני עצמו, אך ההפתעה הגדולה יותר מגיעה כשאנו למדים שהחברה שמאחוריו – Hello Games – מעסיקה רק עשרה עובדים [19]. כיצד, אם כך, נוצר עולם ברמת מורכבות גבוהה כל-כך?

Image result for no man's sky

 

התשובה, כמובן, היא בינה מלאכותית. אלגוריתמים ייעודיים בונים כל כוכב-לכת כאשר השחקן מגיע אליו, וממלאים אותו ביצורים חיים. בדרך זו, מטלה שהייתה מחייבת בעבר את עבודתם של 300 מפתחים ומתכנתים, מתבצעת כיום על-ידי מספר זעום של מתכנתים. אבל איך בודקים שהעולם הממוחשב פועל כהלכה? שוב – באמצעות בינות מלאכותיות שחוקרות אותו ומעבירות למפתחים האנושיים משוב על התוצאות.

בינות מלאכותיות אינן מסתפקות רק בביצוע מטלות תכנותיות רוטיניות – כגון הרכבת כוכבי-לכת ממספר פרמטרים פשוטים. הן גם מתחילות להגות משחקים חדשים משל עצמן. מנוע הבינה המלאכותית אנג'לינה של מייקל קוק מאוניברסיטת פלימות', מפתח משחקים משל עצמו, עם כללים שלמד ממשחקים אחרים ודמויות שהוא 'קוטף' מהמדיה החברתית ומעיתונים מקוונים [20]. בינה מלאכותית אחרת שהודגמה בסוף 2017 מסוגלת לנתח משחקי וידאו קיימים – כסופר מריו ומגה-מן – לפענח את החוקיות שמאחוריהם, ואז לבנות בעצמה משחק זהה [21].

פיתוח משחקים הוא רק דוגמה אחת ליכולות שרוכשת הבינה המלאכותית בשנים האחרונות. נגזרות אחרות כוללות יכולות תכנות של ממש, כפי שהדגימו מדענים באוניברסיטת רייס לאחרונה. החוקרים פיתחו רשת עצבים מלאכותית שעברה על מיליוני שורות קוד באתר GitHub, ולמדה לקשר בין מטרת התכנית לבין הקוד שבבסיסה. עתה מסוגלת המערכת להבין בקשות פשוטות לפיתוח תכנית מסוימת, ולהציע למשתמש את שורות הקוד המתאימות ביותר למימוש המטרה [22]. יוצריה של מערכת דומה – DeepCoder של מיקרוסופט – מאמינים שבעתיד יוכלו אנשים ללא ידע בתכנות להסביר למחשב בשפה פשוטה מה הם צריכים, והמחשבים יפתחו עבורם את התכנה המתאימה [23]. 

ממחקרים אלו ניתן להבין כי גם חלק ניכר ממלאכת התכנות יכול לעבור לידי הבינה המלאכותית, כבר בעשורים הקרובים.

אז מה עושים?

 

בלי פאניקה

רבים מעלים באוב את תחזיתו של הכלכלן האגדי ג'ון מיינרד קיינס מ- 1930, לפיה צפויה האנושות לחוות אבטלה טכנולוגית – כלומר,

"אבטלה הנובעת מגילוי אמצעים חדשים לייעול השימוש בכוח אדם, שיתבצע בקצב מהיר יותר מקצב מציאת שימושים חדשים לאותו כוח אדם".

זהו ציטוט יפה, אך סלקטיבי מאד. במאמר המלא, "אפשרויות כלכליות לנכדינו", ממשיך ומסביר קיינס כי קיימים שני סוגי צרכים אנושיים בסיסיים: הראשון הוא צרכים ביולוגיים כמזון, ביגוד ודיור; השני הוא הצורך במותרות ובתחרות עם יתר בני-האדם. המכונות יכולות לעזור לנו לענות על הצרכים מהסוג הראשון בשנים הקרובות, מכיוון שהן יפיקו שפע רב של מוצרים ושירותים, בעלויות נמוכות ביותר. אך על הצורך השני לא יוכלו המכונות לספק מענה. כל עוד יהיו בני-אדם, ובכן, בני-אדם, הם ימשיכו להתחרות זה בזה ולהשתוקק למוצרי-יוקרה ופאר באמצעותם יפגינו את מעמדם הגבוה יותר בעיני אחרים. ומוצרים כאלו, מטבעם, יעלו הרבה מאד כסף. מסיבה זו, האמין קיינס שהאבטלה הטכנולוגית היא רק שלב ביניים – מהמורה בכביש – בדרך לעתיד העבודה.

לדעתו של קיינס מצטרף גם פרופ' שאול מרקוביץ' מהפקולטה למדעי המחשב בטכניון.

"כללית, כל מה שאומרים בשנים האחרונות בקשר לעתיד העבודה והבינה המלאכותית הוא הגזמה. מצד אחד, נכון שמכונות מחליפות פונקציות של האדם וזה תהליך שקרה בעבר ויקרה בעתיד, אבל זה לא אומר שבני אדם מתייתרים. על כל עבודה שאנחנו מעלימים אנחנו רק מקבלים כלים שמחזקים עבודות אחרות."

המשמעות היא שהעבודה האנושית אינה עומדת להיעלם מן העולם. אנשים עדיין יחפשו – וימצאו – דרכים להתחרות זה בזה ולהרוויח כסף ויוקרה. אבל ברור ששוק העבודה עצמו עומד להשתנות. חברות הייעוץ הגדולות מודות ששינוי דרמטי בשוק העבודה הולך ומתקרב בצעדי ענק. כפי שסיכמו כותבי הדו"ח "עבודות שייעלמו, עבודות שיימצאו: שינויים בשוק העבודה בעתות אוטומציה" של חברת הייעוץ המוערכת מקינזי – 

"תחזיקו חזק. כל המדינות יתמודדו עם שינויים בהיקף-גדול בכוח העבודה ב- 15 השנים הקרובות, כאשר האוטומציה תחליף חלק מהעובדים וצרכי העבודה ישתנו. … בסופו של דבר, כולנו נצטרך חזונות יצירתיים בנוגע לדרך בה יאורגנו וישוערכו חיינו בעתיד, בעולם בו תפקיד ומשמעות העבודה מתחילים להשתנות."

במקינזי מעריכים כי עד 2030, יגלו בין 15 אחוזים ל- 30 אחוזים מכל העובדים, כי מקצועם אינו רלוונטי עוד לשוק העבודה. אנדרו הלדיין, מנכ"ל וכלכלן ראשי בבנק אנגליה, סבר שתחזית דומה עבור אנגליה אפשרית בהחלט [24]. 

החדשות הטובות הן שמספר המשרות החדשות שצפויות להיפתח עד 2030, אמור לעלות על מספר המשרות שייעלמו. כאשר המכונות יספקו את צרכינו בעלויות נמוכות יותר, כולנו נוכל להוציא יותר כסף על מוצרים ייחודיים – מהסוג ששרה שומאכר מקבלת כיום הרבה כסף כדי לעצבם, למשל. לפי הראייה האופטימית של העתיד, כל עוד יצליחו הממשלות להכשיר מחדש את כל העובדים שיודחו משוק העבודה, הכלכלה העולמית תסתדר ואפילו תשגשג.

אבל כבר ציינו שגם המעצבת, שרה שומאכר, עומדת להיות מובטלת בעצמה, נכון? המכונות הרי מתחילות לרכוש יצירתיות כבר בימים אלו ממש.

כאן, בעצם, קבורה העצם הגדולה שכולם מנסים עדיין להבין איך להתמודד עמה. כאשר שלושת המיתוסים מתחילת המאמר ינותצו כליל, מה יוכלו בעצם בני-אדם לספק, בעולם בו המכונות יצירתיות יותר ויעילות יותר מכל עובד אנושי?

התשובה הראשונה שמספקים הוגים רבים לשאלה זו, היא שמכונות אינן יכולות לענות על הצורך האנושי ב… אנושיות. כאשר אני מדבר עם הפסיכולוג שלי, למשל, אני רוצה שהוא יהיה אדיב, ידידותי, עם מבט מהורהר בעיניים ולחיצת יד איתנה. אלא שתשובה זו אינה לוקחת בחשבון התפתחויות בתחום הטכנולוגיה כמחשוב אפקטיבי (רגשי), בזכותן מגיעים המחשבים ליכולות מרשימות בהבנת האדם וביצירת אוואטרים על המסך ובעולמות המציאות המדומה. אוואטרים אלו יוכלו, כבר בעשור או שניים הקרובים, לספק שירות רגיש ומתחשב יותר מזה שיכול כל נציג שירות אנושי לספק.

בספרו "סוף עידן הממוצע", מתאר הכלכלן טיילור קוואן תשובה מלאה יותר – אך פחות מתחשבת ברגשות רוב העובדים כיום. לפי קוואן, בעולם בו המכונות מסוגלות לבצע כל מטלה טוב יותר מבני-האדם, עדיין יהיו שני סוגים בסיסיים של עבודות. הסוג הראשון הוא במקצועות השירותים: בנהיגה, במתן ייעוץ, בקואצ'ינג וכדומה. גם בעולם בו רכבים אוטונומיים בטוחים ויעילים יותר מכל נהג אנושי, עדיין יהיו אנשים שירצו להתהדר בשכירת נהג אנושי שיביא אותם ממקום למקום. למה? דווקא מפני שהעסקת נהג אנושי כזה תעלה בממון רב, ומשמשת כדרך עבורם להפגין את עושרם. 

אם רעיון זה נשמע לכם מופרך, כדאי לזכור שכולנו משקיעים הון-תועפות בניסיון להפגין את מעמדנו החברתי והכלכלי. אנו רוכשים מכנסי ג'ינס עם חורים ממעצבים מובילים, אף על פי שבאותו הסכום היינו יכולים לרכוש עשרה זוגות של מכנסיים שלמים ונוחים יותר – אך שאינם ממותגים באותה המידה. אנו קונים רכבים ובתים גדולים יותר מכפי שנדרשים למתן מענה לצרכינו הבסיסיים. אנו גם מוכנים להוציא כסף רב על מזונות שמזיקים לבריאותנו. בארצות הברית במיוחד, מארח אמיד שאינו מגיש לאורחיו ירקות אורגניים (שיקרים יותר באופן משמעותי – אך טעמם אינו שונה, והם עשויים להיות בריאים פחות מירקות רגילים), חוטא להלכות הנימוס הבסיסיות. אנו מחפשים דרכים להפגין את עושרנו, גם כאשר אלו מביאות לכך שאנו פועלים באופן לא-יעיל ולא-מעשי. האם כל-כך מוגזם, לפיכך, לחשוב שגם בעתיד יוציאו האנשים האמידים כסף רב על שירותים לא-יעילים שיספקו… ובכן, כל היתר?

אבל מי יהיו אותם אנשים אמידים? כיצד יזכו בהונם? הם יהיו אלו שיבצעו את הסוג השני של העבודות: הם יהיו אלו שאחראים על המכונות עצמן. הם יתכנתו את המכונות, יפתחו את האלגוריתמים החדשים ויתעשרו כקורח כתוצאה מעמלם האינטלקטואלי. 

ופה מגיעה הנקודה שצריכה לשמח כל סטודנט למדעי המחשב בטכניון: הידע אותו אתם רוכשים בלימודיכם בתואר הראשון, אמור להקנות לכם את הסיכוי הגדול ביותר להיות חלק מהמנצחים הגדולים של שוק העבודה העתידי. אבל רק אם תדעו לנצל אותו נכון.

 

המנצחים הגדולים ביותר

במגזין גלובס התפרסם בתחילת 2018 מאמר דעה של סטודנט לניהול ומדעי המחשב באוניברסיטה הפתוחה, בו התלונן הכותב כי התואר הראשון במדעי המחשב הנלמד באוניברסיטאות, מאבד קשר עם שוק העבודה. אחד מהמרואיינים במאמר הסביר כי –

"רוב הדברים שלמדנו לא רלוונטיים ביומיום של העבודה… קורסים של אינפי, אלגברה ליניארית, מתמטיקה בדידה, קומבינטוריקה – הם לא נמצאים בשגרה. אולי זה קשור לתפקידים ספציפיים, אבל לא לרוב מקצועות התעשייה." [25]

מהם אותם "רוב מקצועות התעשייה"? לפי התפישה שמוצגת במאמר בגלובס, מדובר במקצועות שירות הנלווים למדעי המחשב: מעצבים, מנהלי מוצר, מפתחי ווב, מפתחי משחקים ועוד. אי אפשר לזלזל בחשיבותם של המקצועות הללו, אך אנו רואים כי העוסקים בהם נסמכים, בסופו של דבר, בעיקר על הפלטפורמות שתוכנתו על-ידי 'המנצחים הגדולים': אנשי מדעי המחשב שפיתחו את המערכות והאלגוריתמים של הבינה המלאכותית, בזכותם יכולים גם אנשים ללא הכשרה מעמיקה לבצע מטלות מרשימות בקלות יחסית, גם מבלי שיצטרכו להצליח בכל ה- "קורסים של אינפי, אלגברה ליניארית, מתמטיקה בדידה" וכן הלאה.

"ניתן לקחת תלמידי תיכון, להעביר להם הכשרה של חצי שנה עד שנה, ולשלוח אותם לבצע עבודות כאלה ואחרות בלמידה עמוקה, אבל הם יוכלו לעשות רק דברים בסיסיים בתחום זה." מסביר פרופ' מיקי אלעד. "כשנדרשת יצירתיות ומורכבות או הבנה עמוקה של הכלים המתמטיים הנלווים, אתה זקוק לאלגוריתמאי בעל ידע וניסיון נאותים. בטכניון, אנחנו מכוונים הכי גבוה, לבוגרים שיוכלו לפתור גם את הבעיות הקשות ביותר. לשם דוגמה, אין לנו ספק שהדוקטורנטים שלנו העוסקים בזירה זו של למידה ועיבוד מידע אמורים להיות המובילים בעולם בזירתם."

והעולם אכן מובל קדימה על-ידי בוגרי מדעי המחשב. אנשי מדעי המחשב המסוגלים לפתח את הבינות המלאכותיות של העתיד שווים את משקלם בזהב (לפי חישוב שווי עכשווי של 42,000 דולרים לקילוגרם זהב, ובהערכת משקל ממוצע של 55 קילוגרמים לבוגר תואר שלישי במדעי המחשב). מומחים לבינה מלאכותית במיוחד – אלו שמפתחים את המכונות החכמות שיתפסו את מקומות העבודה של העתיד – זוכים למשכורות שיכולות לעלות על 500,000 דולרים לשנה בחברות ההייטק המתקדמות בעולם [26].

באותו הזמן ממש, שכרו של הפועל החציוני התנתק מהשיפור בכלכלה העולמית מסיבה פשוטה: השוק פשוט אינו זקוק לו באותה המידה. 

"אילו היה השכר הריאלי תואם ל- [שיפור] בפרודוקטיביות מאז 1970, היה מצבו של הפועל החציוני בארצות הברית כיום טוב יותר ב- 40%… [ובאנגליה] ב- 20%." אומר הלדיין, שככלכלן הראשי של בנק אנגליה מבין כנראה דבר או שניים בכלכלה. "מכונות מהמאה העשרים החלו להחליף לא-רק מטלות אנושיות ידניות, אלא גם קוגניטיביות. סט המיומנויות שמכונות יכלו להחליף, בעלות נמוכה יותר, התרחב והעמיק. [הנתונים] מציגים סיפור מרשים ועקבי של עבודות בהכשרת-ביניים שנעלמות, אך מתאזנות בזכות תעסוקה גוברת בהכשרה-גבוהה, ובמידה קטנה יותר, בחלקים בשוק העבודה שדורשים הכשרה נמוכה."

סיפור זה, המביא בהכרח לאי-שוויון גובר ולפולריזציה של שוק העבודה, נראה כעתיד לעברו אנו מתקדמים.

 

פני העתיד

עד כה הצגנו ראייה אחת בלבד של העתיד. לא כולם מסכימים עמה. פרופ' שאול מרקוביץ', למשל, אינו מאמין שקצב ההתפתחות הטכנולוגי בתחום הרובוטיקה והבינה המלאכותית יהיה מהיר כפי שטוענים רבים, ושישפיע על מספר רב כל-כך של עבודות בעשור הקרוב. הוא סבור שמדובר בעיקר בהייפ מוגזם וביחסי ציבור מצוינים של תחום הבינה המלאכותית. עם זאת, ממשלות העולם נערכות לעתיד של בינה מלאכותית ורובוטיקה מתקדמת, ולפחות שבע מדינות – ארצות הברית, סין, סינגפור, יפן, איחוד האמירויות הערביות, קנדה ובריטניה – הציגו כבר תכניות לאומיות לתמיכה בתחום זה, הנתפס כזירה המרכזית בה יתחרו מדינות במאה ה- 21. גם ישראל, כמובן, מתחילה לפתח תכנית לאומית לבינה מלאכותית, המחולקת בין חמש ועדות שונות.

אם יימשכו המגמות הטכנולוגיות כפי שמצפות הממשלות וחברות הייעוץ שהזכרנו עד כה, הרי שאנו צפויים להיכנס לעתיד בו חלק גדול מהמטלות (אך לא בהכרח המשרות) הזוכות כיום למענה מצד בני-אדם יעברו לידי המחשבים והמכונות. מגמה זו אינה חייבת להוביל לאבטלה רחבת-היקף, אבל היא בהכרח תשנה את אופי עולם העבודה ואת פניהם של מקצועות רבים, וגם עלולה להגדיל אי-השוויון שבין העובדים במקצועות בהכשרה-נמוכה לבין העובדים בעלי הכשרה גבוהה. בין ספקי השירותים לבין מפתחי-העל.

מהן המיומנויות שצריכים מפתחי-העל לרכוש על מנת להגיע למעמדם הרם? הם צריכים להבין כיצד לעבוד עם מחשבים, בוודאי, ואולי אף להיות עילויים בתחום הבינה המלאכותית. אך אם הם רוצים להתבלט עוד יותר, ולהיות מאלו שיפתחו את הטכנולוגיות ואת המודלים העסקיים המשוכללים והחדשניים ביותר, הרי שהם צריכים תכונה אחת חשובה נוספת: הם צריכים שאר רוח. הם צריכים להיות מסוגלים לקחת רעיונות מתחומים שונים, לחבר אותם ביחד ולהציע ללקוחות פתרונות שלא ידעו אפילו שנזקקו להם בעבר. לשם כך, צריכים מפתחי-העל של העתיד להיות רב-תחומיים, לפחות במחשבתם וברעיונותיהם.

"בעתיד הקרוב, סטודנטים שרוכשים בנוסף לידיעות ב״מדעי המחשב״ גם רקע בפיסיקה, מתמטיקה, ביולוגיה, וכימיה, הם אנשי הרנסנס שיהוו את הבסיס של מפתחי העל." אומר פרופ' קימל.

המנצחים הגדולים – אלו שיזכו לשכר הגבוה ביותר על עמלם – יהיו המומחים, ובמיוחד אלו המסוגלים לתכנת, ללמד ולהנחות את מכונות העתיד בדרכים שלא חשבנו עליהן לפני כן. במילים אחרות, הסטודנטים למדעי המחשב באוניברסיטאות מקבלים את הכלים העוצמתיים ביותר להתמודד עם עולם העבודה העתידי: עולם של מפתחי-על – ושל כל השאר. עולם שבו בנה של שרה שומאכר, שלמד תואר שלישי בבינה מלאכותית בטכניון, יפתח וינהל את המכונות החכמות שיעצבו, ייצרו, יתמחרו וישווקו את נעלי העתיד. 

וכל שאר בני-האדם? 

הם ייאלצו להסתפק בנעליים הזולות, האיכותיות והנוחות ביותר בהיסטוריה.


 

מאמר זה הופיע במקור במגזין מדעי המחשב של הטכניון. 

 

קישורים והערות:

[1] בניגוד לתפישה המקובלת, פס הייצור הופיע במפעלים מאה שנים לפחות לפני שאומץ ושוכלל על-ידי פורד ב- 1913 לייצור רכבים.

[2] https://futurism.com/ai-contracts-lawyers-lawgeex/

[3] https://www.theguardian.com/technology/2016/jun/28/chatbot-ai-lawyer-donotpay-parking-tickets-london-new-york

[4] https://en.wikipedia.org/wiki/Moravec%27s_paradox

[5] https://www.aeaweb.org/articles?id=10.1257/jep.29.3.51

[6] https://avsincities.bloomberg.org/

[7] https://www.theguardian.com/technology/2017/nov/20/uber-volvo-suv-self-driving-future-business-ride-hailing-lyft-waymo

[8] https://www.theverge.com/2018/1/30/16948356/waymo-google-fiat-chrysler-pacfica-minivan-self-driving

[9] https://www.theverge.com/2017/9/20/16325084/matternet-autonomous-drone-network-switzerland

[10] https://www.cnbc.com/2017/08/22/worlds-first-drone-delivery-service-launches-in-iceland.html

[11] https://www.digitaltrends.com/home/moley-robotics-robo-chef/

[12] https://www.technologyreview.com/s/608195/machine-creativity-beats-some-modern-art/

[13] https://www.newscientist.com/article/2140014-neural-network-poetry-is-so-bad-we-think-its-written-by-humans/

אתם מוזמנים לנסות לנחש אלו שירים נכתבו ע"י בינה מלאכותית ואלו ע"י משוררים מפורסמים ב- http://neuralpoetry.getforge.io/

[14] https://futurism.com/a-new-ai-can-write-music-as-well-as-a-human-composer/

[15] https://www.fastcompany.com/3054028/inside-the-hack-rod-the-worlds-first-ai-designed-car

https://medium.com/intuitionmachine/the-alien-look-of-deep-learning-generative-design-5c5f871f7d10

[16] https://www.technologyreview.com/s/608668/amazon-has-developed-an-ai-fashion-designer/

[17] https://sproutsocial.com/insights/facebook-stats-for-marketers/

[18] http://www.datacenterknowledge.com/archives/2013/11/20/facebook-ops-staffer-manages-20000-servers

[19] https://www.technologyreview.com/s/529136/no-mans-sky-a-vast-game-crafted-by-algorithms/

[20] https://www.technologyreview.com/s/609482/ai-is-dreaming-up-new-kinds-of-video-games/

[21] https://www.theverge.com/2017/9/10/16276528/ai-video-games-game-engine

[22] https://www.sciencedaily.com/releases/2018/04/180425120203.htm

[23] https://futurism.com/4-our-computers-are-learning-how-to-code-themselves/

[24] https://www.bis.org/review/r151203a.pdf

[25] http://www.globes.co.il/news/article.aspx?did=1001228822#from=iphone.app

[26] https://www.nytimes.com/2017/10/22/technology/artificial-intelligence-experts-salaries.html

7 מחשבות על “עתיד העבודה: מפתחי-העל של העתיד – ואלו שישרתו אותם

  1. תודה רועי על פוסט מרתק כרגיל
    לגוף הפוסט, מצד אחד אתה מצטט את פרופ׳ קימל שקורא לאנשי אשכולות עם ידע רחב ("בעתיד הקרוב, סטודנטים שרוכשים בנוסף לידיעות ב״מדעי המחשב״ גם רקע בפיסיקה, מתמטיקה, ביולוגיה, וכימיה, הם אנשי הרנסנס שיהוו את הבסיס של מפתחי העל.") ומצד שני קורא להכשרת ׳מומחים׳ "המנצחים הגדולים – אלו שיזכו לשכר הגבוה ביותר על עמלם – יהיו המומחים…״. אולי קשה להאמין אבל נכון להיום האקדמיה מעדיפה בצורה ברורה אנשים שמתמחים בתחום צר ומוגדר היטב, סתירה פנימית 😦

    Liked by 2 אנשים

  2. שכחת את האמנים. אתה חושב שבינה מלאכותית תוכל להיות סופר מד"ב? לדמיין עתיד שונה מכל מה שקיים, ליישב את העתיד הזה בדמויות אנושיות, ולתבל את הכל באמירה מוסרית?

    אגב מוסר, בינה מלאכותית בהחלט תוכל לעזור לעורך הדין למצוא חוקים ותקדימים, אבל אתה רואה אותה מחליפה את השופט בעשיית צדק? במיוחד אם נזכר בז'אן ולז'אן והפער בין החוק היבש לבין הצדק?

    בינה מלאכותית תוכל לעזור לפוליטיקאים להריץ תרחישי מלחמה, אבל היא תוכל לדעתך לקחת שתי מדינות ולגרום להן לחתום על הסכם שלום?

    נראה לי יש עוד מקצועות, לא רק מפתחי תוכנה, שיחיו טוב בעתיד.

    אהבתי

  3. פינגבק: רועי צזנה: עתיד העבודה: מפתחי-העל של העתיד – ואלו שישרתו אותם - ייצור ידע

  4. נסחפת קצת עם No Man's Sky.
    שלבי משחק שמיוצרים פרוצדורלית ללא מגע מתכנת הם לא חידוש, ולראיה זה היה אחד הפיצ'רים הידועים של המשחק המפורסם Diablo שיצא כבר ב-1996.

    Liked by 1 person

  5. מאמר מצויין, מסקרן ומעניין… וגם עם הרבה הייפ 🙂
    אני לא עתידן, בקושי בנאדם, ובהחלט אוואטר של דמות מהעולם האמיתי, אבל לדעתי כל התנבאות לעשור הקרוב לוקה בבסיסה בטעות אינהרנטית בכל הקשור ליכולות החיזוי הדי גרועות של בני האדם.
    אם רוצים באמת להתנבא בכל הקשור לענייני מדעי המחשב, ולעתיד ששווה משהו, יש חשיבות קריטית להתייעץ עם פסיכולוגים של ההתנהגות אנושית, וסוציולוגים, ולהבין מהם עד כמה בני האדם מוכנים לשחק את המשחק הממוחשב "עד הסוף".
    עד היום המחשבים והסמארטפונים והכוחות האינטרסנטים הכבירים שפועלים מאחורי הקלעים והמסכים להטמיע את הנ"ל כאיברים לכל דבר ועניין, בכל רבדי החיים, עשו עבודה מצויינת בלהרחיק את האדם מעצמו, ובעיקר בלבודד אותו מחברו בצורה הכי פיזית שאפשר תוך כדי שהוא מרגיש כל כך מחובר.
    המוח האנושי לא יאפשר לעתידנים לשנות אותו בכזו מהירות ובכזו אלימות מנומסת מבלי להחזיר מלחמה שערה.
    בשלבים הבאים של הרגלת האדם למכונות, אלו המתקדמים יותר שיכללו השתלת מחשוב לביש, אוואטרים מלומדי מכונה ובינות ווירטואליות – הפסיכולוגיה תצטרך לתת את הדעת, והמוח האנושי הוא זה שיקבע עד כמה הוא מוכן להשתתף במשחק או לשרוף את המועדון.

    אהבתי

  6. "לסדר מחדש את החלקים שעל פס הייצור כדי שיגיעו למכונה הבאה במנח המדויק שהתאים לה."
    מנח- התכוונת תנוחה? או טעות הגהה?
    https://milog.co.il/%D7%9E%D7%A0%D7%97
    האם תוכנות ומחשבים ילחמו בינהם על המצאת מילים חדשות מטעמי יוקרה?

    לא הדגשת את הנושא שאומנם הפיתוחיים הטכנולוגיים המיתרים בני אדם ייצרו עבודות חדשות אבל רוב בני האדם לא יוכלו אינטלקטואלית לעבוד בהן, או לא ירצו.

    עדיין כמעט לא ראינו מצב שבו בן האדם צריך לעבוד פחות כדי להתקיים בכבוד. לא ראינו כפרים וערים בהם בני אדם פשוט לא הולכים לעבודה כי הם רוצים להשאר בבית עם האשה או לשבת בבית קפה ולהיות פנסיונרים מגיל 0.
    לא כולם רוצים להראות לשכנים שיש להם יותר חומרית, ואין הבדל רב בין לאכול סושי ופלאפל. כמובן שזה עולם אחר להנות ממוצרי יוקרה, השאלה כמה אנשים יהיו מוכנים להקדיש עבור זה ברגע שהם יוכלו לחיות בנוחות יחסית בלי למכור את חייהם למשרד. כימות כיום תנועות של יציאה לפנסיה בגיל מוקדם והצטמצמות.

    Liked by 1 person

  7. מעניין. אני דווקא מחזיק בעמדה אחרת, שמיוצגת בעיקר ע"י המתמטיקאי פרופ' ליאו קורי וכן איש ההייטק פרופ' אלון פלד, שטוענים שדווקא היכולות האישיות של בוגרי מדעי הרוח – עדיפות במידה מסוימת.

    ועל זה בדיוק נסוב העניין כולו: אוטומציה של תחום הנדסת המחשבים עצמו, תגרור אמנם צמצומו ופיתוחו לבעלי עניין מסוימים, אך גם הסטה של חלק ניכר מהמשרות למי שחושבים אחרת – וזה בדיוק כוחה של היצירתיות. קשה מאד להתנבא אמנם על עתיד שוק העבודה וסביר שמהנדסי מחשבים אכן יקחו בו חלק משמעותי, אולם אני מקבל את ההשערה ההפוכה שתהיה עדנה לאנשי 'השאלות הגדולות' של מדעי הרוח, שבמקרים לא מעטים גם מגובים בהמון יכולות אישיות שבהכללה גסה התצרף האישי שלהן יהיה לא מאד אפליקטיבי לרובוטיזציה ואוטומציה.

    עולה גם שאלה אחרת, והיא שאלת הרוחניות. נכון, אמנם מיסטיקה רחוקה שנות אור מהמדע, אולם בעידן חיפוש המשמעות אנו חוזים בהתקרבות – חילונית במהותה, למשמעויות אנושיות שנמצאות הרחק מתחומי המחשבה. תורות מזרחיות כמו בודהיזם ואפילו היהדות המיסטיקנית הקבלית עשויות לחוש עדנה בעידן צורך קשב ומופרע שכזה, ולייסד מקצועות מבוססים ואחראים יותר בתחומים רוחניים מהפרטאצ' הכוללני שקיים היום סביב תעשיית הNEW AGE.

    בכל אופן, מעניין וחשוב.

    Liked by 1 person

להשאיר תגובה

הזינו את פרטיכם בטופס, או לחצו על אחד מהאייקונים כדי להשתמש בחשבון קיים:

הלוגו של WordPress.com

אתה מגיב באמצעות חשבון WordPress.com שלך. לצאת מהמערכת /  לשנות )

תמונת גוגל

אתה מגיב באמצעות חשבון Google שלך. לצאת מהמערכת /  לשנות )

תמונת Twitter

אתה מגיב באמצעות חשבון Twitter שלך. לצאת מהמערכת /  לשנות )

תמונת Facebook

אתה מגיב באמצעות חשבון Facebook שלך. לצאת מהמערכת /  לשנות )

מתחבר ל-%s