האם אפשר לסמוך על צ'טבוטים כמו ChatGPT לעצות פיננסיות או רפואיות? מחקר חדש מזהיר כי הערכות הבטיחות הנוכחיות של מודלי שפה גדולים (LLM) מתמקדות בסיכונים אוניברסליים, אך מתעלמות מהקשר אישי של המשתמשים. מיליוני משתמשים פונים למודלים אלה לייעוץ בנושאים קריטיים כמו כספים ובריאות, שבהם נזקים תלויים בהקשר האישי. המחקר, שפורסם ב-arXiv, בודק את GPT-5, Claude Sonnet 4 ו-Gemini 2.5 Pro על פני פרופילי משתמשים בעלי רמות פגיעות שונות ומגלה פערים משמעותיים.
בניסוי ראשון, שופטים ללא ידע על ההקשר האישי של המשתמשים דירגו את התשובות כבטוחות יותר (ציון 5/7) מאשר שופטים שידעו את נסיבות המשתמש, שם הציון ירד ל-3/7 בקרב משתמשים פגיעים במיוחד. זה מוכיח כי הערכה אפקטיבית דורשת גישה להקשר עשיר של המשתמש. החוקרים מדגישים כי מסגרות קיימות כמו זו של OECD מזהות צורך בהערכת סיכונים אישיים, אך חסרות כלים מעשיים.
בניסוי שני, נבדקו פרומפטים מציאותיים שמשקפים מידע שהמשתמשים עצמם מדווחים שהיו חושפים. אולם, גם כאן לא נצפה שיפור משמעותי בבטיחות. התשובות נשארו בעייתיות, במיוחד לאוכלוסיות פגיעות. המחקר קובע כי חשיפת הקשר בפרומפט לבדה אינה פותרת את הבעיה, ודורשת הערכה מול פרופילי משתמשים מגוונים.
משמעות הממצאים גדולה לעסקים ישראליים שמשלבים AI ביישומים צרכניים. בהיעדר הערכות כאלה, חברות מסתכנות בתביעות משפטיות או אובדן אמון. בהשוואה לסיכונים אוניברסליים כמו יצירת נשק, כאן הנזק אישי ומצטבר. בישראל, שבה AI משמש לייעוץ פיננסי דרך אפליקציות בנקאיות, יש צורך דחוף בסטנדרטים מקומיים.
המחקר מציע מתודולוגיה ראשונית להערכה מודעת-הקשר ומפרסם קוד ונתונים לקידום פיתוחים עתידיים. עבור מנהלי עסקים, השאלה היא: האם מערכות ה-AI שלכם נבדקו מול פרופילי לקוחות אמיתיים? פיתוח הערכות כאלה ימנע נזקים וישפר רווחת משתמשים.