האם דוחות הדמיה רפואית שמייצרת בינה מלאכותית באמת מדויקים קלינית? זו שאלה קריטית ששיטות ההערכה הקיימות נכשלות לענות עליה באופן אמין. חוקרים מציגים את AgentsEval, מסגרת חשיבה רב-סוכנים זורמת שמדמה את תהליך האבחון המשותף של רדיולוגים. המסגרת מחלקת את ההערכה לשלבים ברורים: הגדרת קריטריונים, חילוץ ראיות, התאמה ובדיקת עקביות, ומספקת מסלולי חשיבה מפורטים ומשוב קליני מובנה. כך נוצרת הערכה שקופה ומבוססת קלינית.
AgentsEval פועלת כמערכת רב-סוכנים שמחקה את שיתוף הפעולה בין רדיולוגים. בכל שלב, סוכנים ייעודיים אחראים למשימה ספציפית: סוכן אחד מגדיר קריטריונים קליניים, אחר מחלץ ראיות מהדוח, שלישי בודק התאמה ומסכם עקביות. לפי הדיווח, המסגרת מספקת מסלולים מפורטים של חשיבה שמאפשרים להבין בדיוק כיצד נבנתה ההערכה, בניגוד לשיטות מסורתיות שנותנות ציון כללי ללא הסבר.
כדי לבחון את יעילותה, החוקרים בנו ספסל בדיקות מבוסס הפרעות מרובות תחומים, שמכסה חמישה מערכי נתונים של דוחות רפואיים עם אופני הדמיה מגוונים ושינויים סמנטיים מבוקרים. התוצאות מראות כי AgentsEval עמידה בפני שינויים פרפרסטיים, סמנטיים וסגנוניים, ומספקת הערכות מדויקות קלינית ונאמנות סמנטית. זהו ציון דרך בהערכת מערכות יצירת דוחות רפואיים.
המשמעות של AgentsEval היא בשיפור האמון בשילוב מודלי שפה גדולים בתהליכים קליניים. בעוד שיטות קיימות נכשלות בתפיסת הלוגיקה הדיאגנוסטית המבנית, AgentsEval מביאה הערכה שקופה שמתאימה לצרכים קליניים אמיתיים. בישראל, שבה מערכות AI רפואיות מתפתחות במהירות, מסגרת זו יכולה לסייע בבדיקת כלים מקומיים כמו אלו של חברות הדמיה מתל אביב.
עבור מנהלי בתי חולים ומפתחי AI רפואי, AgentsEval מציעה דרך קדימה לבניית מערכות אמינות. כיצד תשלבו הערכה כזו בפרויקטים שלכם? המסגרת הזו מבטיחה שילוב בטוח יותר של AI ברפואה.