מה קורה כש-AI מתחיל להריץ ניסויים על העסק?

AutoResearch, הפרויקט של אנדריי קרפטי שעורר עניין רב בקרב חוקרי AI, מסמן אפשרות מסקרנת: AI  שפועל כמו מדען, מתנסה באופן אוטונומי, והופך למעין מהנדס תהליכים דיגיטלי שמשפר תהליכים בארגון. כדי לממש  את הפוטנציאל העסקי, נדרש אקוסיסטם שיאפשר לו לפעול בבטחה.

מאת רנית זקצר,  CTO מטריקס

 

"היו ימים בהם את מחקר ה-AI ביצעו 'מחשבי הבשר', כלומר אנחנו, בני האדם. בין אכילה לשינה, בין בילויים ושאר עיסוקים, מצאנו גם זמן למחקר, ומדי פעם התסנכרנו באמצעות גלי קול בטקס המכונה "ישיבת צוות". הימים ההם הולכים ומתרחקים מאתנו."

כך פותח אנדריי קרפטי, ממדעני ה-AI המובילים בעולם, שברזומה שלו אפשר למצוא בין השאר תפקידים כמו: מדען-מייסד ב- OpenAI, ראש חטיבת AI והטייס האוטומטי בטסלה, ולאחרונה גם מנהל צוות האימון המוקדם של חברת Anthropic, את פרויקט AutoResearch שפרסם לאחרונה. כהרגלו, קרפטי משלב הומור עם הצצה לעתיד. מאחורי הבדיחה מסתתר רעיון משמעותי: מה יקרה כאשר AI לא רק יבצע משימות, אלא גם יציע שיפורים, יבחן אותם, ילמד מהתוצאות וימשיך להשתפר בכוחות עצמו? במילים אחרות, יתנהל כמו מדען: יעלה השערות, יבחן אותן וילמד מהתוצאות.

בגרסה שהציג קרפטי, סוכן AI מקבל סביבת אימון קטנה אך אמיתית של מודל שפה. הוא משנה את הקוד, מאמן את המודל במשך מספר דקות, בודק אם חל שיפור, מחליט אם לשמור את השינוי או לבטל אותו, וחוזר על התהליך שוב ושוב. כאשר החוקרים מגיעים בבוקר לעבודה, ממתינה להם רשימה ארוכה של ניסויים ותובנות, ולעיתים גם מודל טוב יותר.  

החידוש אינו המחקר. החידוש הוא הלולאה

כצפוי, הפרויקט עורר לא מעט דיונים ברשת. חלקם עסקו בשאלה האם AutoResearch ישפר את ביצועי מודלי השפה. אבל אחרים, כמו The New Stack, הפנו את הזרקור להיבט אחר, מעניין לא פחות: המנגנון שעומד בבסיס הפרויקט. המערכת מגדירה מטרה, מנסה שינוי, מודדת את התוצאה, מחליטה האם לשמור את השינוי או לבטל אותו, וחוזרת על התהליך. קרפטי מכנה זאת Revert-or-Keep. זוהי למעשה לולאת שיפור אוטונומית.

זמן קצר לאחר שחרור הפרויקט, טובי לוטקה, מנכ"לShopify , הפעיל את AutoResearch על מודל פנימי של החברה. במהלך הלילה, הריצה המערכת 37 ניסויים אוטונומיים, ובבוקר התקבל מודל קטן משמעותית, שהציג ביצועים טובים יותר מהגרסה הקודמת. חשוב לציין שלוטקה עצמו אינו מהנדס למידת מכונה. במובן הזה, ההישג אינו רק השיפור במודל, אלא העובדה שתהליך האופטימיזציה עצמו הופך לנגיש הרבה יותר.

במשך שנים, ביצוע ניסויים שיטתיים ואופטימיזציה של מערכות היה תחום ששמור בעיקר לחוקרים, אנליסטים וצוותים ייעודיים. כאשר העלות של ניסוי בודד יורדת באופן דרמטי, פתאום אפשר לבחון הרבה יותר אפשרויות, להריץ הרבה יותר איטרציות ולגלות פתרונות שאולי כלל לא היו נבדקים בעבר. מהבחינה הזאת, AutoResearch הופך את השיטה המדעית למהירה, נגישה ויישומית הרבה יותר גם מחוץ לעולם המחקר. ואולי הפוטנציאל הגדול ביותר שלה קיים ביישום לתהליכים עסקיים.

מה קורה כשמעבירים את AutoResearch לעולם העסקי?

ארגונים, כמובן, משפרים תהליכים באופן שוטף גם היום. אלא שבדרך כלל מדובר בתהליך איטי ועתיר משאבים. מנהל מזהה בעיה, צוות מנתח אותה, מגבש המלצות, מפתח פתרון, מטמיע אותו ורק לאחר שבועות או חודשים בוחן האם אכן חל שיפור. אם התוצאות אינן מספקות, מתחיל מחזור נוסף. AutoResearch מציע מודל אחר לגמרי. במקום מספר מצומצם של שינויים גדולים, הוא מבצע עשרות או מאות ניסויים קטנים. במקום להמתין שבועות לתוצאות, הוא מקבל משוב בתוך דקות. ובמקום שאנשים ינהלו כל שלב בתהליך, חלק גדול ממחזור הניסוי, המדידה וקבלת ההחלטות מתבצע באופן אוטונומי. למעשה, הוא מאפשר להפוך תהליכים שמתאימים לכך למעבדות ניסויים, המופעלות באמצעות לולאות שיפור מהירות, רציפות ואוטונומיות.

במובן הזה, אפשר להסתכל על AutoResearch כתבנית לאופטימיזציה של תהליכים, שניתן ליישם בארגון. במקום לשפר מודל שפה, אפשר לנסות לשפר תהליכי שירות, תמחור, לוגיסטיקה, גיוס עובדים או תפעול.

לדוגמה, נניח שארגון מעוניין לשפר את ניתוב פניות השירות שלו. כיום פנייה עשויה לעבור בין מספר מחלקות עד שתגיע לגורם המטפל הנכון. כל העברה כזו מגדילה את זמן הטיפול, מייקרת את העלות ופוגעת בחוויית הלקוח. בגישה המסורתית ינתחו את הנתונים, יגבשו המלצות ויבצעו שינויים באופן ידני. בגישה החדשה, מערכת AI יכולה לייצר עשרות ואף מאות וריאציות של חוקי ניתוב, להריץ אותן על נתוני עבר או על סביבת סימולציה, למדוד את התוצאות ולבחור באופן אוטומטי את הגרסה הטובה ביותר.

חמישה תנאים להצלחה

כדי להבין אילו תהליכים מתאימים לגישה הזאת, אפשר להיעזר במסגרת פשוטה של חמישה תנאים.

התנאי הראשון הוא ציון אובייקטיבי. חייב להיות מדד ברור להצלחה. אחוז ניתוב נכון, זמן טיפול, רווחיות או שיעור המרה הם דוגמאות טובות.

התנאי השני הוא פידבק מהיר. אם צריך להמתין חודשים כדי לדעת האם שינוי הצליח, קשה לייצר מחזורי שיפור מהירים. לעומת זאת, סימולציה, A/B Testing או סביבה מדומה מאפשרים לקבל תשובות בתוך דקות או שעות.

התנאי השלישי הוא יכולת לשנות. חייב להיות מרחב של אפשרויות שניתן לבחון. חוקי ניתוב, תמחור, תסריטי שירות, תהליכי עבודה או פרומפטים הם מועמדים טבעיים.

התנאי הרביעי הוא יכולת לבודד את השפעת הניסוי. בעולם עסקי, שינוי בתוצאה יכול לנבוע גם מעונתיות, שינוי בתמהיל הלקוחות, קמפיין, עובד מסוים או אירוע חיצוני. כדי שהמערכת תלמד נכון, צריך להיות אפשר להעריך האם השיפור אכן נובע מהשינוי שנבדק.

התנאי החמישי הוא יכולת לתחום את הסיכון. בניגוד לניסוי במודל, שינוי עסקי יכול להשפיע על לקוחות, מחירים, זכאויות, עובדים או התחייבויות, ולא כל פעולה ניתנת לביטול. לכן נדרשים Guardrails ברורים, הגבלת היקף החשיפה, נקודות אישור במקומות המתאימים ויכולת Revert כאשר הדבר אפשרי.

כאשר התנאים האלה מתקיימים, ניתן להתחיל לחשוב על תהליך עסקי כמערכת שניתן לבצע עליה אופטימיזציה אוטונומית, תוך שמירה על גבולות בטיחות ושליטה.

כשה-Agentic AI פוגש סביבת ניסוי אמינה

אחד ההיבטים המעניינים ביותר בגישה זו הוא היכולת לתת ל-AI סביבת ניסוי שבה הוא יכול לבחון שינויים בלי לסכן את הפעילות העסקית. לא תמיד נדרש Digital Twin מלא. לעיתים ניתן להשתמש בנתוני עבר, Replay, סביבת Sandbox Shadow Mode או A/B Testing, ובתהליכים מורכבים יותר – בסימולציה עשירה או ב-Digital Twin. ה-AI יכול להריץ תרחישים, לבחון תוצאות, לדרג אפשרויות ולזהות כיווני שיפור, ורק לאחר מכן להעביר את השינוי לסביבה האמיתית. זהו למעשה מעבר מעולם שבו AI מסייע בקבלת החלטות לעולם שבו AI משמש כמנוע ניסויים עסקי.

אבל כאן מסתתר גם אחד האתגרים המרכזיים. סביבת הניסוי צריכה להיות אמינה מספיק ביחס לסוג ההחלטה ולרמת הסיכון. ככל שה-AI מקבל יותר חופש פעולה, נדרשת סביבה שמייצגת טוב יותר את המציאות: את הנתונים, כללי העסק, החריגים, התלות בין מערכות ולעיתים גם את התנהגות הלקוחות או העובדים. במקרים מסוימים יספיק Replay של נתוני עבר, ובאחרים יידרש Digital Twin. העיקר אינו הטכנולוגיה עצמה, אלא רמת האמינות הנדרשת כדי להסיק מהניסוי מסקנות שניתן לסמוך עליהן.

יתרון נוסף של הגישה הוא שהיא אינה מחייבת בהכרח השקעות עתק או פרויקט ארוך ומורכב כדי להתחיל לבחון את הפוטנציאל שלה. בניגוד לחלק מיוזמות ה-AI הארגוניות, שנדרשות לתקופות הטמעה ממושכות, ניתן להתחיל גם בקנה מידה מצומצם. מנהלי מוצר, מובילי חדשנות ובעלי תפקידים העוסקים בטרנספורמציה עסקית יכולים לבחור תהליך ממוקד, להגדיר מדד הצלחה ברור, ולבחון כיצד לולאת ניסוי, מדידה ושיפור אוטונומית מתמודדת אתו.

לא כל תהליך מתאים לגישה הזו, ולא כל ניסוי יוביל לפריצת דרך. אבל כמו בכל כלי חדש, הדרך להבין את הפוטנציאל אינה באמצעות קריאה עליו בלבד, אלא באמצעות התנסות מעשית. לעיתים די בתהליך אחד, מוגדר היטב, כדי להתחיל להבין כיצד אופטימיזציה אוטונומית יכולה להשתלב בארגז הכלים הארגוני.

AI לא מספיק – הארגון צריך להיות Experiment Ready

ויש לכך גם השלכה ארכיטקטונית. רוב המערכות הארגוניות לא נבנו כך שסוכן יוכל לשנות בהן החלטות, חוקים או תהליכים באופן תדיר ומבוקר. כדי לאפשר אופטימיזציה רציפה, הארגון צריך להפוך חלקים מהמערכת לניתנים לניסוי: להוציא חוקים והגדרות מקוד קשיח, להשתמש ב-Feature Flags, ב-Versioning, לחשוף APIs, למדוד התנהגות ותוצאות, ולתמוך ב-Rollback וב-Audit.

במובן הזה, לצד Cloud Ready ו-AI Ready, עשויה להתפתח דרישה חדשה – : Experiment Ready לא רק מערכת שיודעת להפעיל AI אלא מערכת שמאפשרת ל-AI ולבני אדם לבחון שינויים רבים במהירות, למדוד אותם וליישם אותם בלי לאבד שליטה.

האתגר הגדול איננו ה-AI, אלא המדידה וסביבת הניסוי

ולמרות הפוטנציאל, יש נקודה אחת שאסור להתעלם ממנה. הבעיה הקשה ביותר אינה בניית הסוכן, אלא הגדרת פונקציית המטרה. מהי הצלחה בשירות לקוחות? האם זה זמן טיפול? שביעות רצון? פתרון בפנייה ראשונה? עלות? או שילוב של כל אלה? מהי הצלחה בגיוס? מהירות גיוס? איכות המועמד? הישארות לאורך זמן? ומהי הצלחה בתמחור? הכנסות? רווחיות? נתח שוק?

אם המדד שגוי, המערכת עלולה לבצע אופטימיזציה לדבר הלא נכון. זהו אתגר מוכר היטב בעולם ניהול הביצועים, והוא יהפוך לחשוב עוד יותר בעידן של אופטימיזציה אוטונומית.

וגם מדד נכון אינו מספיק אם הניסוי עצמו אינו אמין. מערכת עלולה לייחס לשינוי תוצאה שנגרמה מסיבה אחרת, ללמוד מסימולציה שאינה מייצגת את המציאות, או לבצע אופטימיזציה מקומית שפוגעת במדדים אחרים. לכן היכולת להגדיר ניסוי, להבחין בין השפעת השינוי לבין גורמים אחרים, לשמור על Guardrails ולבחון את התוצאה לאורך זמן תהיה חלק מרכזי מהיכולת הארגונית החדשה.

לא עוד עובד דיגיטלי. מהנדס תהליכים דיגיטלי

התרגלנו לחשוב על AI כעל כלי שמבצע עבודה. אבל ייתכן שהשלב הבא יהיה AI שמשפר את העבודה עצמה. AutoResearch של קרפטי הוא אולי רק ניסוי בעולם מודלי השפה. אבל הרעיון שמסתתר מאחוריו עשוי להיות גדול הרבה יותר. אם הדפוס הזה יחלחל לעולם הארגוני, ייתכן שבעתיד הלא רחוק ארגונים יפעילו לא רק סוכני AI, אלא מעבדות ניסויים אוטונומיות שיחפשו ללא הפסקה דרכים טובות יותר לעבוד. ואולי, כאשר זה יקרה, באמת נוכל לומר שהימים שבהם "מחשבי הבשר" ביצעו את כל המחקר בעצמם הולכים ומתרחקים מאתנו.

 

איך אנחנו מסתכלים על המגמה הזו במטריקס?

במטריקס אנחנו לא מסתכלים על המגמה הזו מבחוץ. היא מתחברת ישירות לעולמות שבהם אנחנו עובדים כבר היום עם לקוחות: תהליכים עסקיים מורכבים, אינטגרציה בין מערכות ודאטה, יכולות AI , מודרניזציה, מדידה ו-Managed Services. לכן מבחינתנו השאלה אינה רק האם אופטימיזציה אוטונומית תאיים על חלק מהעבודה המסורתית, אלא איך מחברים את אבני הבניין והניסיון שכבר קיימים אצלנו ליכולת חדשה עבור הלקוחות.

התחום הראשון הוא להפוך מערכות ל-Experiment Ready משום שרוב המערכות הארגוניות לא נבנו לשינויים תכופים ומבוקרים. נדרשת מודרניזציה שמוציאה חוקים והגדרות מקוד קשיח. אלה בדיוק סוגי השינויים שאנחנו מבצעים היום במסגרת פרויקטי ארכיטקטורה, אינטגרציה ומודרניזציה. ההבדל הוא במטרה: לא רק לפתח את השינוי הבא עבור הלקוח, אלא לבנות מערכת שמאפשרת לבצע שינויים רבים במהירות ובלי לאבד שליטה.

התחום השני הוא לבנות את סביבת הניסוי והאופטימיזציה. כאן נדרשים חיבור למערכות העסקיות ולנתונים, מנוע ניסויים ומדידה, סביבות Sandbox או סימולציה, התממה וסינטזה של מידע, ובמקרים המתאימים גם Digital Twins, לצד Observability, Governance ו-Guardrails. גם כאן אנחנו נמצאים בליבת העשייה שלנו: שילוב בין הבנה עסקית, דאטה, AI, ארכיטקטורה ואינטגרציה.

התחום השלישי הוא מעבר מפרויקטים נקודתיים ל-Continuous Business Optimization. במקום לסיים פרויקט לאחר הטמעת השינוי, אנו מציעים להפעיל לאורך זמן את סביבת הניסוי: להרחיב את מרחב השינויים, לשפר מדדים, לכייל סימולציות, להוסיף Guardrails ולחבר תהליכים נוספים, כ-Managed Service. הנושא והלקוחות, בתחילת הדרך, אבל צריך להתחיל לחשוב עליו: אם AI הופך בהדרגה למהנדס תהליכים דיגיטלי, התפקיד שלנו הוא לבנות את האקוסיסטם שבו הוא יכול לפעול, להתנסות ולהשתפר בבטחה. הערך עובר ממי שיודע לבצע כל שינוי, למי שיודע לבנות לארגון מערכת שמאפשרת שינוי מתמשך בלי לאבד שליטה.