בעולם שבו מודלי שפה גדולים (LLM) צריכים להיות מיושרים עם העדפות אנושיות בצורה מדויקת, חוקרים מציגים את InSPO – אופטימיזציית העדפות עצמית-רפלקטיבית פנימית. השיטה הזו פותרת שתי מגבלות יסודיות של DPO, שיטת היישור הסטנדרטית הנוכחית. ראשית, DPO תלויה בבחירות שרירותיות כמו פונקציית סקלריזציה ומדיניות ייחוס, מה שגורם להתנהגות מלאכותית שאינה משקפת העדפות אמיתיות. שנית, היא מתייחסת לייצור תגובות בבידוד, מבלי לנצל מידע השוואתי מנתוני זוגות, ומשאירה ללא שימוש את היכולת העצמית-רפלקטיבית של המודל.
InSPO מציעה פתרון אלגנטי: מדיניות אופטימלית גלובלית שמתנית גם על ההקשר וגם על תגובות חלופיות. החוקרים מוכיחים כי הניסוח הזה עליון על DPO ו-RLHF, תוך הבטחה לחוסן בפני בחירות סקלריזציה ומדיניות ייחוס. השיטה משמשת כתוספת פלאג-אנד-פליי, ללא צורך בשינויים ארכיטקטוניים או עלויות נוספות בשלב ההסקה. זה הופך אותה לנגישה למפתחים המחפשים שיפורים מיידיים.
בניסויים, InSPO הוכיחה שיפורים עקביים בשיעורי ניצחון ובמדדים מבוקרי אורך, מה שמאמת כי שחרור הרפלקציה העצמית מניב מודלי LLM חזקים יותר ומותאמים יותר לבני אדם. לפי הדיווח, השיפורים נובעים ישירות מניצול טוב יותר של נתוני ההעדפות הזוגיים, שמאפשרים למודל להעריך את תגובותיו עצמו בהקשר רחב יותר.
המשמעות של InSPO גדולה במיוחד בתעשיית ה-AI, שבה יישור מדויק קובע את איכות המוצרים. בהשוואה ל-DPO, שיטות קודמות נכשלו בגלל תלות בפרמטריזציה, בעוד InSPO מבטיחה אופטימליות גלובלית אמיתית. עבור חברות ישראליות המפתחות כלי AI, כמו סטארט-אפים בתל אביב, זה אומר כלי יעיל יותר לשיפור מודלים קיימים ללא השקעה כבדה.
לסיכום, InSPO פותחת דלת חדשה ליישור LLM על ידי ניצול פוטנציאל הרפלקציה הפנימית. מנהלי עסקים בתחום הטכנולוגיה צריכים לשקול אימוץ השיטה הזו כדי להשיג יתרון תחרותי. האם הגיע הזמן לשדרג את תהליכי היישור שלכם?