בעידן שבו סוכני בינה מלאכותית מגולמים נדרשים להבין יעדים, לתכנן פעולות ולהוציא מטלות בסביבות מדומות, חוקרים פרסמו מחקר מקיף שבודק את ביצועי מודלי שפה גדולים (LLMs) בבנצ'מרק VirtualHome. המחקר, שפורסם ב-arXiv, משתמש במסגרת ממשק סוכן מגולם (EAI) ומשווה שני מודלים מייצגים בני 7 מיליארד פרמטרים: OPENPANGU-7B ו-QWEN2.5-7B. הבדיקה מתמקדת בארבע משימות יסודיות שמהוות את הבסיס לפעולת סוכנים כאלה: פרשנות יעדים, ריצוף פעולות, פירוק לתת-יעדים ומודלינג מעברים בין מצבים. לפי הדיווח, משימות אלה בוחנות את היכולת של המודלים להתמודד עם אתגרי AI מגולם אמיתיים.
החוקרים מציעים גישה חדשנית בשם Structured Self-Consistency (SSC), שהיא אסטרטגיית דקודינג משופרת. SSC מנצלת דגימה מרובה ממספר פלטים ומשלבת מנגנוני הצבעה ספציפיים לתחום כדי לשפר את איכות הפלט במשימות שדורשות יצירת מבנים מובנים. שיטה זו מבוססת על עקרון עקביות עצמית, אך מותאמת במיוחד למשימות מבניות כמו אלה שב-VirtualHome. ללא SSC, ביצועי המודלים מוגבלים, אך עם היישום שלה, מתרחשת קפיצה משמעותית באיכות התוצאות, מה שמדגיש את החשיבות של אסטרטגיות דקודינג מתקדמות במודלים גדולים.
תוצאות הניסויים מראות כי SSC משפרת את הביצועים באופן ניכר בשתי המודלים. OPENPANGU-7B מצטיין במיוחד בתכנון היררכי, כמו פירוק יעדים לתת-משימות, בעוד QWEN2.5-7B מראה יתרון במשימות רמת פעולה ספציפית, כגון ריצוף פעולות ומעברים. לפי החוקרים, שני המודלים מציגים חוזקות משלימות: אחד חזק יותר בתכנון גבוה-רמה והשני בפרטים טקטיים. ניתוח זה חושף כיצד סוגים שונים של LLMs יכולים להשלים זה את זה במערכות AI מגולם.
בהקשר רחב יותר, המחקר מדגיש את האתגרים הנוכחיים ב-AI מגולם, שבו סוכנים צריכים לשלב הבנה לשונית עם תכנון ויישום פיזי בסביבות וירטואליות כמו VirtualHome. בהשוואה לשיטות קודמות, SSC מספקת שיפור מבני וממוקד, מה שיכול להוות בסיס לפיתוחים עתידיים. במיוחד עבור מפתחי AI בישראל, שמתמודדים עם דרישות דומות בתעשייה, התובנות הללו רלוונטיות להתאמת מודלים מקומיים או שילובים היברידיים.
הממצאים מספקים תובנות חשובות לפיתוח מערכות AI מגולם עתידיות, ומצביעים על הצורך בשילוב חוזקות משלימות בין מודלים שונים. מנהלי עסקים וטכנולוגים יכולים לשקול אסטרטגיות כאלה כדי לשפר את הסוכנים שלהם. איך תשלבו SSC בפרויקט הבא שלכם?