בעידן שבו מודלי AI הופכים גדולים ומשאבניים יותר, כל חברה מחפשת דרכים להקטין אותם מבלי לפגוע בביצועים. גוגל ריסרץ' חושפת את 'תשומת לב רציפה' (Sequential Attention) – אלגוריתם חדש לבחירת תת-קבוצות שמאפשר לבנות מודלים רזים ומהירים יותר, תוך שמירה על דיוק גבוה. השיטה משלבת מנגנון תשומת לב רציף בתהליך האימון עצמו, ומבטיחה עלויות נמוכות במיוחד. לפי החוקרים תומאס פו וקיריאקוס אקסיוטיס, זה פתרון לבעיות NP-קשות כמו בחירת מאפיינים.
תשומת לב רציפה פועלת כמנגנון בחירה שיטתי: היא בוחרת רכיבים (כמו שכבות, מאפיינים או בלוקים) אחד אחרי השני, בהתבסס על ציוני תשומת לב. בניגוד לתשומת לב סטנדרטית שמעריכה את כל המועמדים בבת אחת, כאן התהליך רציף ומתאים לבחירות קודמות, מה שמאפשר לזהות אינטראקציות לא-ליניאריות מורכבות. השיטה משתמשת ב-softmax לדרג את החשיבות, ומשלבת בחירה שקוקית (greedy) עם הערכת חשיבות, כדי להימנע מעודף חישובים. כך, היא מתמודדת עם אתגרים כמו בחירת מאפיינים ברשתות נוירונים עמוקות.
בבדיקות על בנצ'מרקים כמו פרוטאומיקה, תמונות והכרה בפעילות, תשומת לב רציפה השיגה תוצאות ברמה העולמית, לעיתים מובילות. היא מקבילה מתמטית לאלגוריתם Orthogonal Matching Pursuit במודלים ליניאריים, מה שמבטיח ערבויות תיאורטיות. השיטה מאפשרת יישום מהיר בבחירה אחת, ללא חישובי שוליים יקרים, ומשפרת את היעילות פי כמה בהשוואה לשיטות מסורתיות. גוגל מדווחת על שיפורים משמעותיים בדיוק ובמהירות.
בהקשר רחב יותר, תשומת לב רציפה פותרת בעיות בחירה של תת-קבוצות במשימות אופטימיזציה שונות, כמו גיזום משקלים (weight pruning) או התאמת ממדי embedding. היא משלבת בין גישות מבדילות (differentiable) לבין אופטימיזציה קומבינטורית, ומאפשרת דילול מובנה של בלוקים מטריצתיים. ב-SequentialAttention++, הגרסה המשודרגת, השיטה מוחלת על דילול בלוקים ומשיגה דחיסה טובה יותר בלי פגיעה בדיוק, כפי שנבדק על ImageNet.
לעסקים ישראלים בתחום ההייטק, השיטה רלוונטית במיוחד: מודלים גדולים כמו LLMs דורשים אופטימיזציה להפעלה מקומית או בענן זול יותר. גוגל כבר מיישמת אותה במערכות המלצה גדולות (LEMs), שם היא מקצרת embedding ומפחיתה עלויות אינפרנס. בהשוואה למתחרים, השיטה מציעה פרשנות גבוהה יותר דרך ציוני התשומת לב, מה שמאפשר למהנדסים להבין החלטות המודל.
העתיד כולל הרחבה למודלים גדולים יותר: דילול ראשי תשומת לב ב-LLMs, חיפוש קרוס-מאפיינים, ואפילו יישומים במדעי החיים כמו גילוי תרופות. החוקרים מתכננים לשלב מגבלות אינפרנס אמיתיות ולהרחיב ערבויות מתמטיות. זה יאפשר אוטומציה מלאה של הנדסת מאפיינים, ויהפוך מודלי AI לנגישים יותר לעסקים קטנים ובינוניים.
יתרונות מרכזיים: יעילות גבוהה עם עיבוד מקבילי, פרשנות שקופה, וסקיילביליות לרשתות גדולות. השיטה מפחיתה סיכון להתאמה יתר ומפשטת את תהליך הלמידה.
מה תעשו עם זה? אם אתם מפתחים מודלי AI, בדקו את המאמר המקורי ושקלו לשלב Sequential Attention בפרויקטים הבאים – זה יכול לחסוך לכם זמן וכסף רב.