בעולם הרפואה הדיגיטלית, שבו זיהוי מדויק של מבנים אנטומיים יכול להציל חיים, מודלי סגמנטציה מבוססי פרומפטים כמו SAM3 מציגים פוטנציאל עצום. אולם, כשמדובר בתמונות רפואיות, הם נתקלים בקשיים רבים: שינויי דומיין חמורים, חוסר בפרומפטים מרחביים מדויקים והצורך בהבנת מבנים תלת-ממדיים מורכבים. Medical SAM3, מודל בסיסי חדשני, פותר בעיות אלה באמצעות כוונון מלא על נתונים רפואיים נרחבים.
Medical SAM3 מבוסס על SAM3, אך עבר כוונון מלא על 33 מערכי נתונים הטרוגניים מכלול 10 מודליות הדמיה רפואית, כולל תמונות דו-ממדיות ותלת-ממדיות עם מסכות סגמנטציה ופרומפטים טקסטואליים. לפי החוקרים, SAM3 הרגיל סובל מירידה חדה בביצועים על נתונים רפואיים, ומסתמך בעיקר על הנחות גיאומטריות חזקות כמו תיבות הקיף ממקורות אמת. כוונון זה מאפשר ל-Medical SAM3 לרכוש ייצוגים ספציפיים לדומיין תוך שמירה על גמישות מבוססת פרומפטים.
בבדיקות מקיפות על איברים שונים, מודליות הדמיה וממדים, Medical SAM3 מציג שיפורים עקביים ומשמעותיים, במיוחד במקרים מאתגרים כמו עמימות סמנטית, מורפולוגיה מורכבת והקשר תלת-ממדי ארוך טווח. המודל הופך לסטנדרט אוניברסלי לסגמנטציה מונחית טקסט בהדמיה רפואית, ומדגיש את החשיבות של התאמה הוליסטית של המודל מעבר לשיפורי פרומפטים בלבד.
המשמעות העסקית למוסדות רפואיים ישראליים גדולה: Medical SAM3 יכול לשפר אבחון אוטומטי, להפחית זמן עיבוד ולהגביר דיוק בבדיקות CT, MRI ועוד. בהשוואה למודלים קודמים, הוא מציע גנרליזציה טובה יותר ללא צורך באימון מחדש לכל איבר או מודליות, מה שחוסך משאבים יקרים.
קוד המודל יוצע בקרוב ב-GitHub של צוות AIM-Research-Lab. מנהלי טכנולוגיה רפואית: האם Medical SAM3 ישנה את זרימת העבודה שלכם? בדקו את הפוטנציאל עכשיו.