אנחנו בעיצומו של מהפך מדעי וטכנולוגי של ממש. המחשבים של היום יודעים ללמוד מתוך דוגמאות ולבצע משימות שלפני זמן לא רב נחשבו לא אפשריות לביצוע בידי מכונות מלאכותיות, החל מזיהוי פרצופים של בני אדם מזוויות שונות ועד לנהיגה של מכוניות אוטונומיות. רשתות הלמידה העמוקה, שאחראיות לחלק הארי של משימות הלמידה המסובכות הללו, אותן מסוגלים המחשבים המודרניים לפתור, מבוססות על עקרונות היסוד של מבנה ופעולת המוח: נוירונים (תאי עצב) המחוברים אחד לשני בסינפסות, דרכן התאים השונים מעבירים אותות (קלט ופלט) זה לזה.

אותם עקרונות פעולה של המוח עליהם מבוססת הלמידה העמוקה כיום נובעים מההבנה המוגבלת שהיתה לנו על אופן פעולת הנוירונים בשנות ה-50 של המאה הקודמת. כמו ביט במחשב, כל נוירון מלאכותי ברשת העמוקה הוא "נקודתי": הוא יכול להיות בשני מצבים בלבד - אפס (לא פעיל) או אחד (פעיל). אולם בעשרות השנים האחרונות, מדעי המוח גילו כי כל נוירון הוא מערכת מורכבת במיוחד, הבנויה מגוף תא וממנו יוצא עץ מסועף (העץ הדנדריטי) ועל ענפיו הרבים מפוזרות סינפסות רבות (עשרות אלפים על כל תא) המעבירות אליו אינפורמציה מהתאים ברשת העצבית. תאי העצב גם מתחלקים למגוון עצום של תת-סוגים, שכל אחד מהם פועל בצורה מעט שונה ולכל סוג תפקיד שונה הן במוח הבריא והן כשהמוח חולה.

מחקר חדש, שנערך על ידי ידי חוקרי האוניברסיטה העברית, בחן לראשונה אם רשת למידה עמוקה המורכבת משכבות של תאים מלאכותיים נקודתיים יכולה לדמות בצורה מדויקת את המבנה המורכב של נוירון ביולוגי אמיתי יחיד ואת יחסי הקלט-פלט החשמליים שהוא מבצע. זאת במטרה להשתמש במודל מורכב זה, במקום הנוירון המלאכותי הנקודתי בו משתמשות ״רשתות הנוירונים המלאכותיות״ כיום, הן כדי להבין טוב יותר כיצד תא העצב מתרגם את הקלט הסינפטי לפלט והן על מנת ליצור רשת למידה עמוקה מסוג חדש - שתדמה בצורה מדויקת יותר את אופן פעולת המוח האנושי ובתקווה גם את יכולותיו החישוביות יוצאות הדופן. המחקר נערך בידי הסטודנט דוד בניאגוייב במשותף עם הפרופסורים מיקי לונדון ועידן שגב ממרכז אדמונד ולילי ספרא למדעי המוח. המאמר המציג את ממצאיו התפרסם בכתב העת המדעי היוקרתי Neuron.

"רשת למידה עמוקה מורכבת משכבות של נוירונים מלאכותיים נקודתיים, שכל אחד מהם מחובר בסינפסות מלאכותיות לשכבה שמעליו ולשכבה שתחתיו", מסביר פרופ' שגב. "למשל, אם אנחנו רוצים ללמד את הרשת לזהות חתולים, נציג בפני הרשת תמונה של חתול לשכבת הקלט – השכבה הראשונה". כל נוירון מלאכותי ברשת העמוקה מגיב, לפי המידע שזורם אליו, ב ״0״ או ״1״ על פי עוצמת הקלט הסינפטי שהוא מקבל מהשכבה הקודמת לו, ובהתאם לכך משגר (או לא) אות אל הנוירונים אליהם הוא קשור בשכבה הבאה. הנוירונים בשכבה זו מעבדים גם הם את המידע שקיבלו ומעבירים את הפלט שלהם לתאים בשכבה הבאה.

בעומק פירמידת השכבות, מסביר פרופ' שגב פרופ' שגב, ניצב נוירון מלאכותי שמסכם את האותות שזורמים אליו דרך השכבות הקודמות ברשת, והוא זה שנדרש להציג תשובה, אם הרשת ראתה חתול (הפלט 1) או שזה לא היה חתול (הפלט 0). בשלב האימון של הרשת (על בסיס הצגה של הרבה תמונות של חתולים שונים), נדרש אלגוריתם הלמידה במכונה לבדוק את התשובה. אם אכן התא העמוק בשכבה האחרונה מגיב ב ״1״ עבור החתול, אפשר לעבור לדוגמה הבאה. אם לא, אלגוריתם ייעודי "משחזר אחורה" את התהליך ומשנה את עוצמת הקשרים (הסינפסות) בין הנוירונים בשכבות השונות, עד שהרשת עונה נכון לשאלה אם היא ראתה חתול בתמונה או לא.

כאשר חוזרים על הפעולה עם מספיק נוירונים מלאכותיים במספיק שכבות, ובשימוש מספיק (לעתים מאות אלפים) של דוגמאות של חתולים, רשתות הלמידה העמוקה מצליחות פעמים רבות להשלים את שלב האימון ולומדות לזהות חתולים שהן לא ראו קודם לכן. הן לומדות להכליל בין הדוגמאות השונות של תמונות חתולים למושג כללי כלשהו של 'חתוליות'. באותו אופן לומדות הרשתות העמוקות האלה לזהות ״רמזור״ מסוים אותו לא ראתה בעבר, לאחר שלמדה את ״הרמזוריות״ מתוך הרבה דוגמאות, וכך לגבי ״מעבר חציה״ וכן הלאה. כך עובדות מערכות זיהוי הרמזורים ומעברי חציה של המכונית האוטונומית. "למרות ההצלחה העצומה המהווה 'גיים צ׳נג׳ר' של ממש בעולמנו, לא עד הסוף ברור איך הרשת העמוקה מצליחה לעשות זאת וקבוצות רבות בעולם מנסות להבין את מקור ההצלחה הזה", מוסיף פרופ' שגב.

אולם יכולת הלמידה של כל רשת מוגבלת למשימה שהוטלה עליה. המערכת שלמדה מה זה חתול לא תזהה כלב. גם כדי שהמחשב יקשור בין הצליל "מיאו" לבין חתולים, יש צורך ברשת למידה נפרדת, משימה שכל פעוט בין שנתיים משלים בקלות. ואכן, על אף הצלחתן המרשימה ביותר בביצוע משימות ספציפיות, רשתות הלמידה העמוקה מוגבלות מאוד בהשוואה למוח האנושי בצורך שלהן במספר רב של דוגמאות כדי להשלים את שלב האימון. "ואנחנו לעומת זאת לא צריכים יותר מדוגמה אחת כדי להבין שתאונת דרכים זה מסוכן", מזכיר פרופ' שגב.

קבוצות מחקר רבות ברחבי הגלובוס עוסקות כיום בניסיון להעניק לרשתות הלמידה העמוקה יכולות כוללניות אינטגרטיביות ואינטיליגנטיות כמו האפשרות ללמוד ממספר מצומצם של דוגמאות, לקשור בין אספקטים שונים של מה זה חתול (ראיה, שמיעה, משמעויות רגשיות וכן הלאה), להסיק מסקנות מלמידה אחת על למידה אחרת, לתכנן לטווח רחוק ולהבין שפה (אוסף של סימבולים הבאים ברצף זה אחרי זה). כל אלה הן משימות שהמוח שלנו כל-כך מוצלח בהן והרשתות העמוקות הקיימות היום מדדות אחריו. "הגישה שלנו היתה להשתמש ביכולות הקיימות של רשתות הלמידה העמוקה, כדי לייצר מודל ממוחשב מדויק ככל האפשר של העץ המורכב והמפותל המרכיב את תא העצב האמיתי", אומר בניאגוייב, "ואז להחליף את היחידה הנקודתית הפשוטה המשמשת את הרשתות העמוקות הגדולות ביחידות חדשות, שכל אחת מהן מדמה את תא העצב על כל מורכבותו".

כדי לעשות זאת, הסתמכו השלושה על מודלים מתמטיים שנבנו במעבדתם של פרופ' שגב ופרופ' לונדון בשנים האחרונות ומדמים בצורה מדויקת, בעזרת מערכת משוואות, את התהליכים החשמליים שמתרחשים בתוך סוגים שונים של תאי עצב. "עם כל הפיצולים, הפעלת הסינפסות הרבות וזרימת החשמל בענפי העץ בתא העצב", מוסיף בניאגוייב.

החוקרים מקווים שבנייה של רשת למידה עמוקה המורכבת מנוירונים מלאכותיים (שהם עצמם כבר עמוקים),  המדמים את מורכבות הפעולה של נוירון אמיתי, תאפשר לעשות חישובים מהירים ומורכבים יותר, בדומה לאופן פעולת המוח. "למשל, לזהות את החתול בפחות דוגמאות ולבצע פעולות מורכבות כמו כאלה הדורשות להבין שפה. אולם את זה אנחנו צריכים עוד להוכיח במחקרים נוספים", מדגיש פרופ' שגב. ברשת שכזו, הוא מוסיף, ניתן יהיה לשנות לא רק את עוצמת הקשר בין הנוירונים, אלא גם לשלב בתוכה סוגי נוירונים שונים, בדומה למבנה ולאופן הפעולה של המוח הביולוגי. "בסופו של התהליך נבנה רפליקה ממוחשבת שתחקה את יכולותיו המגוונות של המוח – אינטליגנציה מלאכותית כללית״.

המחקר גם מאפשר לכמת לראשונה את כוח החישוב של נוירונים מסוגים שונים מסביר פרופ. שגב. ״למשל בכך שכדי לדמות נוירון מסוג א' יש צורך בשבע שכבות של למידה עמוקה הבנויה מנוירונים נקודתיים, בעוד שמודל של נוירון מסוג ב' דורש תשע שכבות כאלה. בעזרת כלי זה, ניתן למשל להשוות בצורה כמותית בין יכולת החישוב בין תא עצב במוח של עכבר לתא המקביל במוח האנושי, או בין שני תאי עצב שונים במוח האדם.

ברמה בסיסית יותר, מוסיף  בניאגוייב, יצירה של מודל ממוחשב שמדמה בצורה מדויקת בהרבה את אופן פעולת המוח, צפוי לאפשר גם תובנות לגבי המוח האנושי עצמו. ״המוח שלנו בונה רשתות עמוקות שהן עצמן תעזורנה לנו להבין את המוח, את עצמנו. למשל, נוכל להבין טוב יותר כיצד סוגי התאים השונים והיחסים ביניהם משפיעים על כושר החישוב של המוח שלנו״, מסכם בניאגוייב.

לפרסום המדעי: https://www.sciencedirect.com/science/article/pii/S0896627321005018

לפרסומים בתקשורת: גלובס, סופטניוז, צ'יפורטל, הידען,