בעידן שבו הבינה המלאכותית כובשת כל תחום, קבוצה קטנה אך משפיעה של חוקרים ומדענים מזהירה מפני סופיות אנושית. 'דוומרי ה-AI', כפי שמכנים אותם, טוענים כי פיתוח AGI – בינה מלאכותית כללית שמתעלה על בני אדם – עלול להוביל לאובדן שליטה. למרות הצלחותיהם בעיצוב מדיניות בבית הלבן ובקריאות לקווים אדומים בינלאומיים, האחרונות חצי שנה הביאו נסיגה: דיבורים על בועת AI, והשקת GPT-5 של OpenAI שהתגלתה כאכזבה גדולה.
GPT-5, שהושק באוגוסט והוצג כ'מומחה ברמת דוקטורט בכל נושא' על ידי סם אלטמן, סבל מבעיות טכניות, החלטה מבולבלת לסגור גישה לדגמים ישנים, וביצועים יומיומיים שהורגישו כצעד אחורה. רבים ציפו לקפיצה לעבר AGI, אך המציאות ריסנה ציפיות. בכירים כמו דויד סאקס ושריראם קרישנן בוושינגטון הכריזו כי 'נרטיבי הדוומרים שגויים', והאשימו את תחזיות AGI הקרובות בהפרעה.
עם זאת, ראיונות עם 20 מובילי תחום בטיחות AI – כולל זוכי נובל ג'פרי הינטון ויושוא בנג'יו, סטיוארט ראסל והלן טונר לשעבר בדירקטוריון OpenAI – חושפים נחישות בלתי מעורערת. 'תודה לאל שיש לנו עוד זמן', אומר ג'פרי לדיש, אך הם כועסים על חוסר רצינות בקרב מקבלי החלטות. הם רואים בבועה וב-GPT-5 מכשול זמני, ומדגישים כי התקדמות מדינית כמו חוק ה-AI האירופי ו-SB 53 בקליפורניה עלולה להיפגע.
הדוומרים מתקנים טעויות נפוצות: הדאגה אינה בהכרח מצפה ל-AGI מחר, אלא בסיכון קיומי ללא פתרון לשליטה. סטיוארט ראסל משווה לאסטרואיד בקוטר ארבעה מייל שיפגע ב-2067: 'לא נחכה ל-2066'. רובם מאריכים מעט את ציר הזמן שלהם, אך מדגישים כי גם 20-30 שנה הן 'דיל ענק'. הינטון מציין כי רוב המומחים מאמינים בסופר-אינטליגנציה בתוך 20 שנה, ובסין ההנהגה מבינה את הסכנות טוב יותר.
בנג'יו, שייסד את LawZero, טוען כי GPT-5 עומד בציפיות המדעיות, ושיפורים נראים בבנצ'מרקים קשים כמו FrontierMath. הוא משווה להתכחשות לשינויי אקלים, ומזהיר כי גם סיכוי של 0.1% לאסון המוני אינו מקובל. ראסל חוזה סיכוי של 75% שהבועה תתפוצץ ללא פריצות דרך, אך הבטיחות אינה תלויה בדחיפות אלא בפתרון בעיית השליטה.
דוד קרוגר מדגיש כי נרטיבים של AGI ב-2027 תופסים תשומת לב ציבורית, אך הבעיה היא תיאום בינלאומי שדורש עשרות שנים – ולכן דחוף כעת. הלן טונר חוששת מפגיעה באמינות עקב תחזיות קיצוניות, אך רואה התקדמות בשדות משנה של בטיחות. לדיש שמח על הארכת ציר הזמן מ-3 ל-5-6 שנים, ומזהיר כי ההתקדמות הופכת פחות נראית לעין.
דניאל קוקוטאילו, מחבר 'AI 2027', צופה פיצוץ אינטליגנציה ב-5-10 שנים, ומבקר את הלובי הפרו-AI. בסופו של דבר, הדוומרים מדגישים כי העולם רחוק מהכנה, גם אם AGI רחוק יותר. מה תעשו אם הסיכון קיים? הזמן לפעול הוא עכשיו, לפני שההייפ יכסה על המציאות.