Text2GQL-Bench: בנצ'מרק חדש לשאילתות גרף בלשון טבעית

Text2GQL-Bench: בנצ'מרק חדש לשאילתות גרף בלשון טבעית

בעולם הנתונים המורכבים של היום, עסקים מתמודדים עם רשתות יחסים מסובכות שדורשות ניתוח מתקדם. דמיינו שאתם שואלים שאלה פשוטה בלשון טבעית, והמערכת מייצרת אוטומטית שאילתת גרף מדויקת. זה בדיוק מה שמבטיחות מערכות Text-to-GQL, שמתרגמות טקסט לשאילתות גרף. מחקר חדש מציג את Text2GQL-Bench, בנצ'מרק שמאתגר את מודלי השפה הגדולים (LLM) ומגלה כמה רחוקים עדיין מהשלמות.

מה זה Text2GQL-Bench?

Text2GQL-Bench הוא בנצ'מרק מאוחד ומקיף לשאילתות גרף מלשון טבעית (Text-to-GQL), הכולל 178,184 זוגות של (שאלה, שאילתה) מ-13 תחומים שונים. הוא פותר בעיות של בנצ'מרקים קודמים כמו כיסוי תחומי מוגבל ושפות שאילתה בודדות, ומציע מסגרת בנייה מדרגית שמייצרת נתונים חדשים בקלות. הבנצ'מרק תומך בשפות GQL שונות ומשלב שיטת הערכה רב-ממדית: תקינות דקדוקית, דמיון, התאמה סמנטית ודיוק ביצוע. זה מאפשר השוואה שיטתית של מודלים שונים.

התוצאות המפתיעות של הבנצ'מרק

המחקר בדק מודלי LLM חזקים ומצא פערים דרמטיים. בזירה אפס-שוט, הדיוק בביצוע (EX) לשאילתות ISO-GQL הגיע ל-4% בלבד. פרומפט 3-שוט שיפר את הדיוק ל-50%, אך התקינות הדקדוקית נשארה מתחת ל-70%. מודל 8B מכוון היטב השיג 45.1% דיוק ביצוע ו-90.8% תקינות דקדוקית. סוכני AI כאלה יכולים לשפר ניתוח נתונים עסקי משמעותית.

פערי ניבים בשפות GQL

הבנצ'מרק חושף 'פער ניבים' (dialect gap) בשאילתות ISO-GQL, שדורשות התאמה מדויקת. זה מדגיש את הצורך בנתונים איכותיים ובאימון ספציפי.

הבנצ'מרק מאפשר יצירת נתונים מותאמים אישית, מה שמקל על חוקרים ומפתחים לפתח פתרונות טובים יותר. בהשוואה לבנצ'מרקים קודמים, Text2GQL-Bench רחב יותר ומדויק יותר.

ההשלכות לעסקים בישראל

בישראל, שוק ההייטק משגשג עם חברות כמו Wix ו-Monday.com שמשתמשות במסדי נתונים גרף לניתוח התנהגות משתמשים. Text2GQL-Bench מראה שעסקים יכולים לשלב אוטומציה עסקית מבוססת LLM כדי לשאול שאלות מורכבות על נתוני מכירות או לקוחות בלשון טבעית. זה חוסך זמן למנהלי נתונים ומאפשר החלטות מהירות יותר. עם זאת, הפערים שנחשפו מחייבים השקעה באימון מודלים מקומיים או שימוש בכלים כמו אלה שלנו לייעוץ טכנולוגי. עסקים ישראליים יכולים להוביל בתחום אם יאמצו בנצ'מרקים כאלה לבדיקת פתרונות AI.

מה זה אומר לעסק שלך

בעתיד, Text-to-GQL יהפוך לכלי סטנדרטי בניהול מסדי נתונים גרף. עסקים שיאמצו טכנולוגיה זו יקבלו יתרון תחרותי בניתוח נתונים מורכבים, כמו רשתות אספקה או קשרי לקוחות. ההמלצה: בדקו את מודלי ה-LLM שלכם עם בנצ'מרקים מתקדמים.

האם העסק שלכם מוכן לשדרג את ניתוח הגרפים? Text2GQL-Bench הוא הצעד הראשון לבניית סוכנים חכמים יותר.