בעידן שבו משתמשים מדברים עם בינה מלאכותית בשפות מעורבות, האם מודלי השפה הגדולים (LLM) מצליחים לשלב סינית ואנגלית באופן טבעי ומתאים להקשר? חוקרים מציגים את ChiEngMixBench – הבנצ'מרק הראשון שמעריך יכולות כאלה בקהילות אמיתיות. הבנצ'מרק בנוי על צינור ייצור כללי שמאפשר פיתוח מערכי נתונים בקנה מידה גדול על פני תחומים וזוגות דו-לשוניים שונים. לפי הדיווח, הוא מנסח את ערבוב השפות כבעיית התאמה קוגניטיבית, המאופיינת בשני סיגנלים משלימים: ספונטניות וטבעיות.
ChiEngMixBench בוחן כיצד LLM משלבים סינית ואנגלית בשיחות טבעיות, בניגוד לגישות קודמות שהפחיתו את הנושא לבעיית תרגום או המרה פשוטה. הבנצ'מרק מבוסס על נתונים מקהילות אמיתיות, מה שמאפשר הערכה של התאמה הולמת להקשר ולנורמות אנושיות. החוקרים מדווחים על מדדים אמפיריים שמבדילים באופן שיטתי בין ביצועי מודלים שונים בערבוב שפות. זהו צעד משמעותי לקראת הבנת התנהגות מודלים רב-לשוניים.
הבנצ'מרק חושף אסטרטגיית שכבת מונחים מתפתחת באופן סמוי, תופעה התואמת את תיאוריית מסגרת שפת המטריקס (MLF). אסטרטגיה זו מעידה על התאמה קוגניטיבית מובנית בין LLM רב-לשוניים לתקשורת אנושית. המדדים החדשים – ספונטניות וטבעיות – מאפשרים מדידה מדויקת יותר של יכולות אלה. הערכה אמפירית מראה הבדלים משמעותיים בין מודלים, ומדגישה את הצורך בשיפור.