בעידן שבו בינה מלאכותית משנה את פני הרפואה, עולה השאלה: האם מודלי שפה גדולים (LLMs) מסוגלים להתמודד עם מסלולי טיפול קליניים מורכבים שכוללים החלטות רבות ומעברים בין שלבים? חוקרים מפרסמים את CP-Env – סביבת בית חולים מבוקרת ומבוססת סוכנים שמאפשרת בדיקה מקיפה של יכולות אלה. הסביבה מדמה אקוסיסטם רפואי אמיתי עם סוכני מטופלים ורופאים, ומתמקדת בתרחישים כמו מיון, ייעוץ מומחים, בדיקות אבחון וישיבות צוות רב-תחומי. לפי הדיווח, CP-Env מאפשרת ביצוע משימות ארוכות טווח עם התפצלויות דינמיות, בדומה לזרימת עבודה אמיתית בבתי חולים.
CP-Env בונה תרחישים מותאמים אישית שמתחילים ממיון ומתקדמים לשלבים מתקדמים יותר. הסביבה כוללת אינטראקציות בין סוכנים שונים, ומאפשרת הערכה של LLMs לאורך כל המסלול הקליני – ממפגש ראשוני ועד החלטות טיפוליות מורכבות. החוקרים מדגישים כי בדיקות קיימות, המתמקדות בשיחות מבודדות או מבחנים סטטיים, אינן מספיקות להערכת ביצועים בסביבות דינמיות כאלה. CP-Env פותרת זאת על ידי סימולציה מלאה של תהליכי קבלת החלטות רפואיים.
הערכה ב-CP-Env מבוססת על שלושה מישורים: יעילות קלינית, כשירות תהליכית ואתיקה מקצועית. תוצאות הניסויים מראות כי רוב המודלים מתקשים במורכבות המסלולים, סובלים מהזיות (hallucinations) ומאבדים פרטים אבחנתיים קריטיים. מעניין לגלות כי צעדי חשיבה מופרזים עלולים להזיק לביצועים, בעוד מודלים מובילים מפגינים פחות תלות בכלים ומסתמכים על ידע פנימי. ממצאים אלה חושפים אתגרים מרכזיים בפיתוח סוכני AI רפואיים.
לישראל, מובילה בתחום ההייטק הרפואי, CP-Env מציעה כלי חיוני לפיתוח פתרונות AI מקומיים. בתי חולים כמו שיבא והדסה יכולים להשתמש בסימולטור זה לבדיקת מערכות AI לפני הטמעה, מה שמפחית סיכונים ומשפר דיוק אבחון. בהשוואה לבדיקות פשוטות יותר, CP-Env מאפשרת הערכה הוליסטית שמתחשבת בהקשרים רב-שלביים, ומקדמת התקדמות מהירה יותר בשוק הבריאות הדיגיטלי.
CP-Env זמין כעת לקהילת החוקרים דרך GitHub של SPIRAL-MED, כולל כלי הערכה מוכנים. מנהלי עסקים בתחום הבריאות צריכים לשקול אימוץ כלים כאלה כדי להבטיח שהשקעות ב-AI יניבו תוצאות אמיתיות. מה תהיה ההשפעה על עתיד הרפואה בישראל?