בעידן שבו מודלי שפה גדולים (LLMs) כובשים בנצ'מרקים מתמטיים קיימים בקלות, עולה השאלה: האם הם באמת חושבים או רק משמרנים תבניות? החוקרים מציגים את ReasoningMath-Plus, בנצ'מרק חדש עם 150 בעיות מתומללות שמדגישות חשיבה מבנית תחת אילוצים מורכבים. הבנצ'מרק הזה חושף כי מודלים מובילים מצליחים בתשובות סופיות (עד 5.8 מתוך 10), אך נכשלים בתהליך החשיבה האמיתי.
הבעיות בבנצ'מרק ReasoningMath-Plus מתמקדות בכישורים שלא מכוסים היטב בבנצ'מרקים קיימים: תיאום אילוצים מרובים, סינתזה לוגית בונה ותובנה מבנית מרחבית. כל בעיה מסומנת בשלד חשיבה מינימלי להערכה מדויקת של התהליך. לפי הדיווח, הרוויה בבנצ'מרקים קיימים נובעת מחישובים מבוססי תבניות ופירוק אריתמטי שטחי, מה שמטעה לגבי יכולות החשיבה האמיתיות של ה-LLMs.
כדי להעריך את התהליך בצורה מדויקת, פותחה שיטת HCRS (Hazard-aware Chain-based Rule Score) – פונקציית ציון דטרמיניסטית ברמת צעדים. בנוסף, אומן דגם תגמול תהליכי (PRM) על סמך עקבות החשיבה המסומנות. מבחנים אמפיריים מראים כי בעוד דיוק התשובות הסופיות גבוה יחסית (ממוצע 5.8/10 למודלים מובילים), הציון ההוליסטי של HCRS נמוך בהרבה: ממוצע 4.36/10 והטוב ביותר 5.14/10.
הבנצ'מרק מדגיש את הצורך בהערכה תהליכית ולא רק תשובתית, שכן מדדים מבוססי תשובה בלבד עלולים להמעיט בחסר את עמידות החשיבה. בהקשר עסקי, זה רלוונטי לחברות ישראליות המפתחות AI למשימות מתמטיות כמו אופטימיזציה פיננסית או ניתוח נתונים מורכב, שם כשלים בתהליך עלולים להוביל להחלטות שגויות.
למנהלי עסקים בישראל, ReasoningMath-Plus הוא כלי לבדיקת אמיתות יכולות AI לפני הטמעה. כיצד זה משפיע על הבחירה במודלים? האם הגיע הזמן לשלב הערכות תהליכיות במבחני AI? קראו את המחקר המלא ב-arXiv כדי להעריך את הכלים החדשים.