בעידן שבו אבחון רפואי באמצעות AI מתבסס בעיקר על ניתוח תמונות, חסרה עדיין התייחסות לתסמינים שמספקים המטופלים – גורם שפוגע בדיוק. חוקרים מציגים כעת את מסגרת הדיאלוג טרום-הייעוץ (PCDF), שמדמה את תהליך האבחון האמיתי: דיאלוג אינטראקטיבי בין שני מודלי שפה-חזון (VLMs). DocVLM משמש כ'רופא' ששואל שאלות המשך על סמך התמונה והשיחה הקודמת, בעוד PatientVLM מגיב כ'מטופל' על פי פרופיל תסמינים המופק מהאבחון הנכון.
במסגרת זו, DocVLM מייצר שאלות ממוקדות שמתבססות על התמונה הרפואית ועל היסטוריית הדיאלוג, מה שמאפשר גילוי הדרגתי של תסמינים רלוונטיים. PatientVLM, מצדו, מספק תשובות מציאותיות המבוססות על האבחון האמיתי, ויוצר שיחות רב-תורניות קוהרנטיות. החוקרים ביצעו ולידציה קלינית בקנה מידה קטן, שבה רופאים מורשים אישרו את הרלוונטיות הקלינית של התסמינים הסינתטיים, את כיסויים ואת הריאליזם הכללי שלהם. לפי הדיווח, אינטראקציות אלה יוצרות ייעוצים מלאים המשובצים בתמונות ובאבחונים מדויקים.
הדיאלוגים הללו שימשו לפיק טיונינג של DocVLM, והובילו לשיפורים משמעותיים בביצועים בהשוואה לאימון על תמונות בלבד. ממצאים אלה מדגישים את הערך של גילוי תסמינים ריאליסטי באמצעות דיאלוג, שמעלה את הדיוק באבחון רפואי. המחקר, שפורסם ב-arXiv, מצביע על פריצת דרך בשילוב מידע טקסטואלי ויזואלי בצורה אינטראקטיבית.
בהקשר רחב יותר, PCDF מציעה גישה חדשנית שמתקרבת יותר לתהליכי אבחון אנושיים, ומאפשרת למודלי AI להתמודד עם מורכבות קלינית גבוהה יותר. בהשוואה לשיטות מסורתיות המסתמכות אך ורק על תמונות, הגישה הזו מפחיתה טעויות ומשפרת את ההכללה על מקרים מגוונים. בישראל, שבה פיתוח טכנולוגיות רפואיות מתקדמות מהווה מנוע צמיחה, חידוש כזה יכול להאיץ אימוץ AI בבתי חולים ובסטארט-אפים רפואיים.
למנהלי עסקים בתחום הבריאות, המסגרת הזו פותחת אפשרויות לייעול תהליכי אבחון, הפחתת זמני המתנה והגברת דיוק. כיצד תשלבו דיאלוגים כאלה במערכות הרפואיות שלכם? המחקר מזמין השקעה בפיתוח דומה.