חברת Fastly השיקה ב-21 בספטמבר שלושה רכיבים חדשים שנועדו להעביר את ניהול מערכות ה-AI משלב הניסוי לתשתית ארגונית מבוקרת: AI Runtime
Control, חומת אש ייעודית ל-AI ויכולות API Security חדשות. המטרה היא לאפשר לארגונים לשלוט בזמן אמת בקריאות למודלים, בעלויות, בהרשאות ובפעולות שמבצעים סוכני AI מול מערכות ארגוניות.
המהלך מגיע כאשר יותר יישומי AI עוברים לסביבת Production, ובמקביל גדל היקף התעבורה שאינה נוצרת ישירות על ידי בני אדם. לפי Fastly, תעבורה שנוצרה על ידי מכונות כבר חצתה 50% מהתעבורה ברשת שלה בחודשים יולי ואוגוסט 2026. החברה מוסיפה כי בין ינואר למאי תעבורת AI צמחה בקצב מהיר פי 6.5 מתעבורה אנושית.
שכבת שליטה בין האפליקציה למודל
AI Runtime Control, או ARC, ממוקם בין האפליקציות לבין ספקי המודלים.
במקום שכל צוות יתחבר בנפרד ל-OpenAI, Anthropic, Google או למודל שמופעל בתשתית פרטית, הקריאות יכולות לעבור דרך נקודת שליטה מרכזית. המערכת מאפשרת להשתמש במפתחות וירטואליים, לעקוב אחרי צריכת טוקנים ועלויות, להגדיר מגבלות תקציב וקצב ולתעד בקשות ותשובות לצורכי אבטחה וציות.
לרכיב הזה יש גם משמעות תפעולית. ניתן להגדיר כמה ספקי מודלים לפי סדר עדיפות, כך שכאשר ספק ראשי אינו זמין המערכת יכולה לנסות מחדש ולהעביר את הבקשה למודל חלופי. עבור יישומי AI שהפכו לחלק מתהליך עסקי קבוע, היכולת הזו הופכת את בחירת המודל משילוב קשיח באפליקציה למדיניות שניתן לנהל ברמת התשתית.
חומת אש שנבנתה לאיומים של מודלי שפה
הרכיב השני, AI Firewall, נועד להתמודד עם תקיפות שמכוונות למודלי שפה, ובראשן Prompt Injection. לפי Fastly, הבדיקה מתבצעת בתוך נתיב הבקשה ב-Edge, לפני שהקלט מגיע למודל. כך ניתן לזהות ולחסום ניסיונות לגרום למערכת לבצע פעולות שלא התכוונה לבצע או לחשוף מידע.
החלק השלישי מתמקד בסוכני AI שניגשים ל-API ארגוניים. יכולות ה-API Security החדשות אוכפות חוזים וכללים גם על תעבורה שמגיעה מסוכן אוטונומי, ומאפשרות לזהות או לחסום בקשות שחורגות מפעולות נתמכות, מכילות מבנה לא תקין או מנסות לפעול מחוץ לגבולות שהוגדרו.
למה השינוי הזה חשוב לתשתיות AI
ההשקה של Fastly מצביעה על שינוי רחב יותר בארכיטקטורת AI ארגונית. ככל שסוכנים מקבלים הרשאות לבצע פעולות ולא רק להחזיר תשובות, ארגונים צריכים לנהל אותם בדומה לשירותי תוכנה אחרים: עם הרשאות, תצפיתיות, בקרת עלויות, מנגנוני התאוששות ומדיניות אבטחה.
Fastly מפעילה את היכולות החדשות על גבי רשת ה-Edge הקיימת שלה, שלדבריה מטפלת ביותר מחמישה טריליון בקשות ביום. שלושת הרכיבים זמינים כעת. המבחן הבא יהיה האם ארגונים יאמצו שכבת שליטה ייעודית כסטנדרט בתשתיות AI, או שהיכולות האלה ייטמעו בהמשך בתוך פלטפורמות הענן והאבטחה שכבר משמשות אותם.
