בעידן שבו נתונים גדולים הם המפתח להתקדמות בעסקים, בעיה מרכזית במודלי שפה גדולים (LLMs) היא מגבלת חלון ההקשר. חוקרים מפרסמים מאמר חדש ב-arXiv המציג דגמי שפה רקורסיביים (RLMs), אסטרטגיית הסקה כללית שמאפשרת עיבוד פרומפטים ארוכים באופן תוכני. השיטה הזו מבטיחה טיפול בקלטים ארוכים פי 100 מחלון ההקשר הרגיל של המודל, ומשנה את כללי המשחק בתחום למידת המכונה.
לפי הדיווח במאמר, RLMs מתייחסים לפרומפטים ארוכים כחלק מסביבה חיצונית. המודל מסוגל לבחון את הפרומפט, לפרק אותו לחלקים קטנים יותר, ולקרוא לעצמו באופן רקורסיבי על מנת לעבד כל חלק. גישה זו מאפשרת למודלים להתמודד עם קלטים עצומים ללא צורך באימון מחדש או הרחבת חלון ההקשר, ומביאה לשיפור משמעותי באיכות העיבוד גם עבור פרומפטים קצרים יותר.
החוקרים בדקו את RLMs על פני ארבע משימות מגוונות הדורשות הקשר ארוך, ומצאו כי הם מנצחים בביצועים את המודלים הבסיסיים ואת מבני התמיכה הנפוצים להקשר ארוך. השיטה מצליחה להתמודד עם קלטים שגדולים בשתי סדרי גודל מעבר לחלון ההקשר, מה שפותח אפשרויות חדשות ליישומים עסקיים כמו ניתוח מסמכי PDF ארוכים או ערימות נתונים גדולות.
בהשוואה לשיטות קיימות, RLMs מציעים יתרון בעלות: עלות השאילתה דומה או נמוכה יותר מזו של המודלים הבסיסיים. זהו צעד קדימה בהרחבת יכולות ההסקה בזמן אמת (inference-time scaling), שמאפשרת שיפורים ללא צורך במשאבים כבדים של אימון. עבור מנהלי טכנולוגיה בישראל, זה אומר אפשרות לשלב AI מתקדם בכלים קיימים ללא שינויים יקרים.
מה המשמעות לעסקים? RLMs יכולים לשפר אוטומציות כמו סיכום דוחות שנתיים ארוכים או חיפוש בידע ארגוני עצום. הם מדגימים כיצד חדשנות בהסקה יכולה להגביר פרודוקטיביות. כדאי לעקוב אחרי הפיתוח הזה, שכן הוא עשוי להפוך לכלי סטנדרטי בקרוב.