האם מודלי שפה-ראייה (VLMs) באמת מבינים פיזיקה ומתמטיקה, או רק מנחשים תשובות סופיות? חוקרים מציגים את PRiSM – בנצ'מרק רב-מודלי סינתטי ודינמי חדשני, שמאתגר את יכולות החשיבה המדעית של מודלי AI. הבנצ'מרק כולל למעלה מ-24,750 בעיות ברמת אוניברסיטה בתחומי הפיזיקה והמתמטיקה, ומשתמש בצינור ייצור מבוסס סוכנים בשם PrismAgent כדי ליצור בעיות מובנות היטב. כל בעיה כוללת קלט טקסטואלי וחזותי דינמי, דיאגרמה שנוצרה אוטומטית, קוד פייתון לבדיקת אמת קרקעית, ותיאור מפורט של צעדים לוגיים. הגישה הזו מאפשרת בדיקה מעמיקה של כשלים, אי-ודאות והגבלות ביכולות ההיגיון המדעי של המודלים. (72 מילים)
PRiSM פונה לביקורת מרכזית על בנצ'מרקים קיימים: הם סטטיים, חסרי צעדי ביניים, לא עמידים לשינויים ולא בודקים נכונות מדעית אמיתית. הבנצ'מרק החדש מייצר נתונים דינמיים באמצעות סוכנים, ומספק פלטים מובנים כמו קוד פייתון שניתן להריץ אוטומטית לוודא תשובות נכונות. זה מאפשר ניתוח מפורט של התנהגות המודלים, כולל זיהוי דפוסי כשל ספציפיים. החוקרים מדגישים כי PRiSM חושף כשלים ייחודיים בתחומים מדעיים הדורשים הבנה קונספטואלית, היגיון סימבולי ועמידה בחוקים פורמליים. (98 מילים)
הבנצ'מרק מציע חמישה משימות הערכה ממוקדות: הכללה (generalization), סינתזה של תוכניות סימבוליות, עמידות להפרעות (perturbation robustness), תיקון היגיון, ופתרון אי-בהירות. כל משימה בוחנת היבט אחר של חשיבה מדעית, ומאפשרת ביקורת ניסויית עדינה על VLMs קיימים. הערכה מקיפה מראה כי מודלים אלה סובלים מהגבלות משמעותיות, אך PRiSM מספק תובנות עמוקות על יכולותיהם. הדינמיות מאפשרת יצירת וריאציות אינסופיות, מה שהופך אותו לכלי חיוני להתקדמות מחקרית. (92 מילים)
לעומת בנצ'מרקים מסורתיים, PRiSM מביא מהפכה בכך שהוא מבוסס קוד ומאומת אוטומטית, מה שמבטיח אמינות גבוהה ומפחית הטיות אנושיות. בתחום ה-AI הישראלי, שבו חברות כמו Mobileye ו-Wiz משקיעות במודלים רב-מודליים, כלי כזה יכול לסייע בבניית פתרונות מדויקים יותר לפיזיקה חישובית ואופטימיזציה. הוא מדגיש את הצורך בשיפור יכולות סימבוליות במודלים, רלוונטי במיוחד לענפי ההייטק המקומיים. (85 מילים)
PRiSM פותח דלתות למחקר עתידי: מפתחים יכולים להשתמש בו כדי לאמן מודלים על היגיון מדעי אמיתי, וחברות – לבדוק פתרונות AI בתרחישים מורכבים. השאלה המרכזית: האם נראה קפיצה משמעותית ביכולות VLMs בשנה הקרובה? קראו את המאמר המלא ב-arXiv כדי לצלול לעומק. (68 מילים)