בעידן שבו רובוטיקה משתלבת בעבודות בנייה, היכולת לפרש התנהגות אנושית הופכת קריטית לבטיחות ושיתוף פעולה יעיל. מודלי שפה-ראייה (VLMs) נחשבים לכלי מבטיח לזיהוי חזותי ללא אימון נרחב בנתונים ספציפיים לתחום. מחקר חדש בדק את יכולתם של שלושה מודלים מובילים – GPT-4o, Florence 2 ו-LLaVa-1.5 – לזהות פעולות ורגשות של עובדי בניין מתמונות סטטיות מאתרי בנייה. התוצאות מראות פוטנציאל, אך גם מגבלות שדורשות שיפור.
המחקר השתמש במאגר של 1,000 תמונות מסומנות ב-10 קטגוריות פעולות ו-10 קטגוריות רגשות. נבדקו המודלים באמצעות תהליכי הסקה סטנדרטיים ומדדי הערכה מרובים כמו F1-score ודיוק. GPT-4o בלט בביצועים הגבוהים ביותר בשתי המשימות: בזיהוי פעולות השיג F1-score ממוצע של 0.756 ודיוק של 0.799, ובזיהוי רגשות F1-score של 0.712 ודיוק של 0.773. Florence 2 הציג ביצועים בינוניים עם F1-score של 0.497 בפעולות ו-0.414 ברגשות, בעוד LLaVa-1.5 היה הנמוך ביותר עם 0.466 בפעולות ו-0.461 ברגשות.
ניתוח מטריצות בלבול חשף קשיים משותפים לכל המודלים בהבחנה בין קטגוריות קרובות סמנטית, כמו שיתוף פעולה בקבוצה מול תקשורת עם מפקחים. למרות זאת, המודלים הכלליים מספקים בסיס ראשוני לזיהוי התנהגות אנושית בסביבת בנייה, מה שחשוב במיוחד בתחום שבו נתונים מסומנים נדירים ומעקב אחר פעולות עובדים חיוני לבטיחות ופרודוקטיביות.
לעומת זאת, בסביבה הישראלית של פרויקטי בנייה מורכבים כמו מגדלי מגורים ומטרו, שילוב VLMs יכול לשפר ניטור בזמן אמת ולמנוע תאונות. עם זאת, הביצועים הנוכחיים מצביעים על הצורך בהתאמה לתחום, מודלים זמניים או חיישנים רב-מודאליים להגברת האמינות. חברות טכנולוגיה ישראליות בתחום הרובוטיקה יכולות לנצל זאת לפיתוח פתרונות מקומיים.
המחקר מדגיש כי בעוד VLMs מציעים יכולת בסיסית, שיפורים נדרשים ליישום אמיתי. מנהלי פרויקטים בבנייה צריכים לשקול אינטגרציה של כלים כאלה תוך בדיקת מגבלות. מה תהיה ההשפעה על אתרי הבנייה שלכם?