בעידן הדאטה העצום, טבלאות מורכבות עם טקסט ותמונות מאתגרות מודלי AI רב-מודליים. רוב הדאטה-סטים הקיימים כמו MMTab מספקים תשובות קצרות ועובדתיות ללא הסברי חשיבה מרובי-שלבים, מה שגורם לתגובות קצרות ולא מדויקות. כעת, חוקרים מציגים את CoReTab – מסגרת חשיבה מבוססת קוד שמייצרת anotations מדרגיות, שקופות ומאומתות אוטומטית באמצעות קוד פייתון. הפריצה הזו מבטיחה שמודלי שפה גדולים רב-מודליים (MLLMs) יוכלו להסביר את תהליך החשיבה שלהם בצורה ברורה.
באמצעות CoReTab, החוקרים יצרו דאטה-סט חדש הכולל 115 אלף דוגמאות מאומתות, עם אורך ממוצע של 529 טוקנים לתגובה. הם פיתחו צינור שלב-שלושה לאימון מודלים פתוחי-מקור: שלב ראשון של יצירת anotations, שני של אימון ראשוני, ושלישי של שיפור. הדאטה-סט הזה מאפשר הדרכה על חשיבה מרובת-שלבים, בניגוד לדאטה-סטים קודמים שמתמקדים רק בתשובות סופיות. לפי הדיווח, הגישה מבטיחה אימות אוטומטי של התשובות באמצעות קוד ניתן-להרצה.
המודל שאומן על CoReTab נבדק על 17 בנצ'מרקים של MMTab, הכוללים שאלות על טבלאות, אימות עובדות והבנת מבנה טבלאות. התוצאות מרשימות: שיפור של +6.2% בשאלות על טבלאות, +5.7% באימות עובדות ו-+25.6% בהבנת מבנה טבלאות, בהשוואה למודלים שאומנו על MMTab בלבד. בנוסף, המודל מייצר מסלולי חשיבה שקופים ומאומתים, מה שמשפר את האמינות וההסבריות.
לעומת דאטה-סטים קיימים, CoReTab מציע פתרון גנרלי ומדרגי שמתאים לכל סוגי הטבלאות הרב-מודליות. זה חשוב במיוחד לעסקים ישראליים שמתמודדים עם נתוני טבלאות מורכבים בדוחות פיננסיים, ניתוחי שוק או מסמכי OCR. השקיפות מאפשרת לבדוק את ההיגיון של המודל, מה שמפחית סיכונים בשימוש מסחרי ומקדם אימוץ AI בארגונים.
CoReTab מסמן קפיצה קדימה בהבנת טבלאות רב-מודלית, ומציע כלים לעסקים לשפר את ניתוח הנתונים שלהם. מנהלי טכנולוגיה צריכים לשקול אימון מודלים על דאטה-סטים כאלה כדי להגביר דיוק ושקיפות. מה תהיה ההשפעה על כלי BI בישראל?