סוכני AI משנים את פיתוח התוכנה בכך שהם כותבים קוד ומבצעים הוראות מורכבות, אך סוכנים מבוססי מודלי שפה גדולים (LLM) נוטים לשגיאות ומתפקדים גרוע במשימות רב-שלביות. חוקרים ממחקר מיקרוסופט אסיה-שנגחאי מציגים את Agent Lightning – מסגרת קוד פתוח שמאפשרת אימון סוכנים דרך למידת חיזוק (RL) ללא צורך בשכתוב קוד משמעותי. המסגרת מפרידה בין ביצוע משימות לאימון המודל, ומאפשרת למפתחים להוסיף יכולות RL בקלות.
Agent Lightning הופכת את חוויית הסוכן לפורמט מתאים ל-RL על ידי התייחסות לביצוע כרצף של מצבים ופעולות. כל מצב מתעד את סטטוס הסוכן, וכל קריאה ל-LLM היא פעולה שמעבירה אותו למצב חדש. גישה זו תומכת בכל זרימת עבודה, כולל סוכנים שיתופיים או שימוש בכלים דינמי. כל מעבר כולל קלט, פלט ותגמול של ה-LLM, בפורמט סטנדרטי שמוכן לאימון ישירות.
במקום למידת חיזוק מסורתית שדורשת תפריט של תוכן ארוך, Agent Lightning משתמשת באלגוריתם LightningRL היררכי. לאחר השלמת משימה, מודול הקצאת זיכויים קובע כמה כל קריאת LLM תרמה להצלחה ומקצה תגמול מתאים. צעדים אלה, עם ציוני תגמול עצמאיים, ניתנים לשימוש עם אלגוריתמי RL חד-צעדיים קיימים כמו PPO או GRPO, מבלי לשנות אותם.
המסגרת פועלת כתוכנה ביניים בין אלגוריתמי RL לסביבות סוכנים, עם רכיבים מודולריים: מנהל סוכנים שמנהל משימות ומאחסן נתונים, אלגוריתם שמאמן מודלים ומארח LLM, ו-LightningStore כמאגר נתונים מרכזי. המעגל כולל איסוף נתוני ביצוע (spans) ואימון אסינכרוני, מה שמאפשר גמישות אלגוריתמית ויעילות משאבים.
יתרונותיה כוללים תאימות מלאה לאלגוריתמים קיימים, תמיכה בהתנהגויות מורכבות כמו שימוש בכלים מרובים, ושמירה על רצפים קצרים לאימון יעיל. מפתחים יכולים לשמור על מסגרות סוכנים קיימות ולהחליף קריאות מודל ל-API של Agent Lightning ללא שינויים בקוד הסוכן.
בדיקות בשלושה תרחישים אמיתיים הראו שיפורים עקביים: Text-to-SQL עם LangChain שיפר דיוק יצירת SQL מניסוח טבעי; RAG עם OpenAI Agents SDK שיפר שאילתות חיפוש ותשובות רב-קפיצות ב-MuSiQue; ומשימות מתמטיות עם AutoGen שיפרו שימוש בכלים והיגיון. עקומות התגמול עלו בכל המקרים.
מסגרת זו מקלה על מפתחים לבנות סוכנים מתקדמים שמשתפרים ברציפות דרך ניסיון אמיתי. היא מגשרת בין מערכות סוכנים קיימות ללמידת חיזוק, ותכנון עתידי כולל אופטימיזציה אוטומטית של פרומפטים ואלגוריתמי RL נוספים. לעסקים ישראליים בפיתוח AI, זה אומר יכולת לשדרג סוכנים קיימים במהירות, לחסוך זמן ומשאבים.
מה תהיה ההשפעה על פיתוח תוכנה כשסוכני AI ילמדו מניסיון עצמאי? Agent Lightning פותחת דלת לשיפור רציף – כדאי להתחיל לבדוק אותה כבר עכשיו.