בעידן שבו מודלי שפה גדולים (LLMs) משנים את עולם הבינה המלאכותית, אתגר הזיכרון הופך למכשול מרכזי במרכזי נתונים. מטמוני KV (מפתח-ערך) צורכים כמויות עצומות של זיכרון GPU במהלך תהליך הפענוח האוטורגרסיבי, מה שמגביל גדלי אצווה ומפחית תפוקה כוללת. חוקרים מציגים את CXL-SpecKV – ארכיטקטורה חדשהניות מנותקת שמשלבת חיבורי Compute Express Link (CXL) ומאיצי FPGA כדי לאפשר ביצוע ספקולטיבי יעיל והפרדת זיכרון. הפתרון מבטיח שיפור דרמטי בביצועים.
CXL-SpecKV מציעה שלוש חידושים מרכזיים. ראשון, מסגרת הפרדת זיכרון מבוססת CXL שמעבירה מטמוני KV לזיכרון FPGA מרוחק בעיכוב נמוך. שנית, מנגנון טעינה מוקדמת ספקולטיבית של מטמוני KV שחוזה ומכין קטעי טקסט עתידיים מראש. שלישית, מנוע דחיסה ופעילול מבוסס FPGA למטמוני KV שמפחית דרישות רוחב פס זיכרון עד פי 4, על פי הדיווח.
בבדיקות על מודלי LLM מתקדמים, CXL-SpecKV משיגה תפוקה גבוהה פי 3.2 בהשוואה למערכות GPU בלבד, תוך הפחתת עלויות זיכרון ב-2.8 ומשמרת דיוק. המערכת מוכיחה כי שילוב חכם של הפרדת זיכרון וביצוע ספקולטיבי יכול להתגבר על 'קיר הזיכרון' בשירותי LLM בקנה מידה גדול. הקוד זמין בגיטהאב.
המשמעות העסקית עצומה עבור חברות ישראליות בתחום ה-AI, שמתמודדות עם דרישות מחשוב גבוהות. בישראל, שבה סטארט-אפים כמו Mobileye ו-Wiz משקיעים רבות במודלי AI, פתרונות כמו CXL-SpecKV יכולים להוזיל תשתיות ולשפר יעילות. בהשוואה לחלופות מסורתיות, הפתרון מציע יתרון תחרותי בזיכרון מורחב.
עבור מנהלי טכנולוגיה ומנכ"לים, CXL-SpecKV מדגישה את הצורך באימוץ טכנולוגיות CXL ו-FPGA. כיצד תשלבו הפרדת זיכרון כדי להגביר את תפוקת ה-LLM שלכם? הפתרון פותח דלתות חדשות לשירותי AI יעילים יותר במרכזי נתונים.