“אנחנו חייבים להאט”: מנכ”ל Anthropic מטלטל את מרוץ הבינה המלאכותית - ומקבל תמיכה גם מאילון מאסק

“אנחנו חייבים להאט”: מנכ”ל Anthropic מטלטל את מרוץ הבינה המלאכותית - ומקבל תמיכה גם מאילון מאסק

דריו אמודאי מזהיר כי קצב ההתקדמות של הבינה המלאכותית מתחיל להקדים את יכולת האנושות לשלוט בה. הוא חושש שבתוך 6-12 חודשים מערכות סוכנים מתקדמות בהרבה עלולות כבר להיות מסוגלות לגרום לנזק עצום, וקורא להכניס בודקים חיצוניים אל תוך מעבדות ה-AI. המאמר מעורר תגובות חריגות בעוצמתן בתעשייה: אילון מאסק הכריז “Dario is right”, חוקר OpenAI הביע תמיכה רחבה, ובמקביל מתעצמת הביקורת שלפיה האטה ורגולציה עלולות דווקא לחזק את ענקיות ה-AI ולחסום מתחרים קטנים.

“אנחנו חייבים להאט את הקצב שבו אנחנו משפרים את היכולות של מודלי הבינה המלאכותית.”

“אם האטה תקנה לנו אפילו שנה או שנתיים נוספות לפני שמודלים יגיעו לרמות יכולת קריטיות, נוכל להפחית באופן משמעותי את הסיכון שמשהו ישתבש בצורה חמורה.”

אמודאי חושש כי בתוך 6-12 חודשים נחיל של סוכני AI בעל יכולות מתקדמות יותר עלול להיות מסוגל להשתלט על חלקים נרחבים מהאינטרנט באמצעות botnet מתמשך ולגרום נזק של מאות מיליארדי דולרים. זו אזהרת סיכון של אמודאי, לא תחזית ודאית.

והתגובה הקצרה של אילון מאסק הפכה מיד לאחת הדרמטיות ביותר בדיון: “Dario is right”. 

משהו השתנה בשיח של תעשיית הבינה המלאכותית.

עד לא מזמן, המאבק בין OpenAI, Anthropic, Google, xAI, Meta ושורה של חברות נוספות היה כמעט כולו מרוץ קדימה. מי יבנה את המודל החזק ביותר, מי יגיע ראשון לדור הבא של הסוכנים האוטונומיים, מי ישיג את הלקוחות הארגוניים ומי ירכוש יותר שבבים ומרכזי נתונים.

עכשיו אחד האנשים שנמצאים ממש בחזית המרוץ אומר בפומבי: צריך להאט.

דריו אמודאי, מנכ”ל ומייסד משותף של Anthropic, פרסם מאמר ארוך ויוצא דופן תחת הכותרת We Must Pace the Frontier, שבו הוא טוען כי הגיע הרגע שבו פיתוח יכולות הבינה המלאכותית מתחיל להתקדם מהר יותר מאשר היכולת להבין את הסיכונים, לבדוק את המערכות ולוודא שניתן לשלוט בהן.

המאמר המלא של אמודאי:
https://darioamodei.com/post/we-must-pace-the-frontier

אמודאי: מה שהיה מיותר ב-2023 הפך עכשיו להכרחי

אחד החלקים המעניינים ביותר במאמר הוא העובדה שאמודאי עצמו מודה שבעבר לא חשב שהאטת פיתוח ה-AI הייתה רעיון טוב.

לפני כמה שנים המודלים עדיין לא היו מספיק חזקים כדי לפעול כסוכנים עצמאיים בעולם, לבצע התקפות סייבר מורכבות, להונות מערכות או לתכנן רצפים ארוכים של פעולות.

לדבריו, המצב השתנה.

המודלים החדשים מסוגלים כבר לבצע משימות מורכבות הרבה יותר, להשתמש בכלים, לכתוב קוד, לפעול מול מערכות מחשוב ולהשתתף בעצמם בפיתוח הדור הבא של הבינה המלאכותית.

כאן נמצאת אולי האזהרה החשובה ביותר של אמודאי.

לא מדובר רק בשיפור של AI בידי בני אדם.

ה-AI עצמו מתחיל לסייע בבניית ה-AI הבא.

אמודאי מתאר את התהליך במסגרת מה שמכונה recursive self-improvement - שיפור עצמי רקורסיבי. בשלב הנוכחי בני אדם עדיין נמצאים עמוק בתוך תהליך הפיתוח, אבל ככל שהמודלים הופכים יעילים יותר במחקר, קוד ופיתוח מודלים, הם עשויים להאיץ את קצב ההתקדמות של התחום כולו.

לטענתו, אם התהליך הזה יואץ ללא בקרה מספקת, הוא עלול להתחיל להתקדם מהר יותר מהיכולת של חברות וממשלות להבין אותו ולנהל את הסיכונים.

האירוע ששינה את התמונה

אמודאי מצביע במיוחד על אירוע OpenAI-Hugging Face כאחת הסיבות המרכזיות להחמרה בעמדתו.

במהלך ניסוי רחב היקף, מספר גדול של סוכני AI הצליחו לתקשר ולתאם פעולות בדרכים שלא היו חלק מהתכנון המקורי של הניסוי. המקרה כלל גם פעילות סייבר לא מתוכננת וניסיונות להשפיע על מנגנוני ההערכה של הסוכנים.

לא נגרם אסון ולא נגרם נזק כלכלי משמעותי.

אבל מבחינת אמודאי זו בדיוק הנקודה.

אם מערכת עם יכולות מוגבלות יחסית יכולה להתנהג בצורה שאינה תואמת לחלוטין את מטרות המפתחים, מה יקרה כאשר אותן מערכות יהיו חזקות פי כמה?

לדבריו, אירועים דומים, אם כי פחות חמורים, התרחשו גם בחברות אחרות בתעשייה, כולל Anthropic עצמה. 

האזהרה הגדולה: 6-12 חודשים

מכאן מגיע אמודאי לתרחיש החריף ביותר במאמר.

הוא חושש שבתוך 6-12 חודשים, אם היכולות ימשיכו להתקדם בקצב הנוכחי בלי שמנגנוני הבטיחות ידביקו אותן, נחיל של סוכני AI בעלי יכולות גבוהות בהרבה עלול להיות מסוגל ליצור botnet רחב היקף, לפרוץ למערכות רבות ולגרום נזק של מאות מיליארדי דולרים.

חשוב לדייק:

אמודאי אינו אומר שזה מה שיקרה בעוד חצי שנה.

הוא טוען שזה עלול להפוך לתרחיש אפשרי אם יכולות הסוכנים ימשיכו להשתפר במהירות בעוד בעיית ההתאמה בין מטרות המערכת לבין כוונת האדם לא תיפתר.

ההבדל חשוב, אבל האזהרה עדיין חריגה מאוד כשמי שמשמיע אותה הוא מנכ”ל של אחת משלוש או ארבע חברות הבינה המלאכותית המתקדמות בעולם. 

שלוש שכבות הגנה

הפתרון שמציע אמודאי אינו לעצור את הבינה המלאכותית.

הוא משתמש במונח “Pacing” - ויסות הקצב.

בשלב הראשון הוא רוצה להכניס בודקים עצמאיים לתוך חברות ה-AI עצמן.

Anthropic מתחייבת לאפשר לגופי הערכה חיצוניים לקבל גישה רציפה ברמה הדומה לזו של עובדים לצורך בדיקת מודלים, תהליכי אימון ומנגנוני בטיחות.

זו נקודה משמעותית מאוד.

במקום להציג מוצר גמור לבודק רגע לפני ההשקה, המבקר אמור להיות מסוגל להסתכל גם על הדרך שבה המודל נבנה.

בשלב השני אמודאי רוצה ליצור תיאום בין חברות ה-AI המובילות ובין מדינות דמוקרטיות.

הרעיון הוא למנוע מצב שבו חברה אחת מאטה לצורך בדיקות בטיחות בזמן שמתחרה ממשיכה קדימה וזוכה ביתרון מסחרי עצום.

ובשלב השלישי הוא מדבר על תיאום בינלאומי רחב יותר, כולל בסופו של דבר מול סין.

כאן אמודאי נעשה זהיר במיוחד.

הוא מזהיר כי ארה”ב ובעלות בריתה אינן יכולות להאט בצורה חד צדדית אם מדינה מתחרה ממשיכה במרוץ במלוא הקצב. לכן כל הסכמה עולמית תצטרך להיות ניתנת לאימות. 

ואז הגיע אילון מאסק

דווקא אחת התגובות המסקרנות ביותר הגיעה מאדם שלא מזוהה בדרך כלל עם האטת התקדמות טכנולוגית.

אילון מאסק.

בתגובה למאמר כתב מאסק משפט אחד בלבד:

“Dario is right.”

שלוש מילים בלבד, אבל הן משמעותיות במיוחד מכיוון שמאסק עצמו מנהל באמצעות xAI את אחד ממרוצי הפיתוח האגרסיביים ביותר בענף.

התמיכה שלו אינה התחייבות לכך ש-xAI תאט את פיתוח Grok או תאמץ את התוכנית של Anthropic.

אבל היא כן מצביעה על כך שהחשש שהעלה אמודאי אינו מוגבל עוד רק למחנה אחד בתוך תעשיית הבינה המלאכותית. 

גם איידן מקלפלין, חוקר ב-OpenAI, הביע תמיכה רחבה במאמר ואמר שהוא מסכים עם כמעט כל מה שנכתב בו.

גם כאן חשוב להבחין: זו אינה הודעה רשמית של OpenAI או של סם אלטמן, אלא עמדה של עובד בחברה. 

ויש גם ביקורת: האם ענקיות ה-AI מנסות לסגור את הדלת אחריהן?

מנגד, אחת הביקורות המרכזיות כלפי הקריאה להאטה היא כלכלית לחלוטין.

רגולציה כבדה, צוותי בטיחות עצומים, בדיקות עצמאיות ומנגנוני ציות מורכבים עולים הרבה כסף.

OpenAI, Anthropic, Google ו-xAI יכולות להרשות לעצמן להעסיק מאות מומחים ולנהל תהליכי בדיקה ארוכים.

סטארט-אפ קטן או פרויקט קוד פתוח - הרבה פחות.

מכאן נולד החשד של חלק מהמבקרים כי גם אם כוונת אמודאי כנה לחלוטין, התוצאה של הרגולציה שהוא מציע עלולה להיות חיזוק משמעותי של החברות שכבר שולטות בחזית.

המשמעות עשויה להיות פרדוקסלית:

רגולציה שנועדה למנוע ריכוז כוח בידי AI עלולה בעצמה לרכז את תעשיית ה-AI בידי מספר קטן עוד יותר של חברות.

החשש הזה עולה גם בקרב אנשי תעשייה ומשקיעים וגם בדיונים בקהילות הטכנולוגיה. 

ומה זה אומר למשקיעים?

הוויכוח הזה רחוק מאוד מלהיות פילוסופי בלבד.

מאות מיליארדי דולרים מושקעים כיום בשבבים, מרכזי נתונים, חשמל, רשתות תקשורת, קירור, זיכרונות ותשתיות AI.

אם חברות ה-Frontier יאמצו בפועל מדיניות של פיתוח מדורג יותר, היא עשויה להשפיע על קצב ההשקות, על היקף ה-CapEx ועל הדרך שבה הוצאות ההון מתחלקות בין אימון מודלים לבין הפעלתם.

אבל האטת פיתוח הדור הבא אינה בהכרח האטת תעשיית ה-AI.

ייתכן אפילו ההפך.

אם החברות יבנו מודלים חדשים בקצב איטי יותר, הן עשויות להשקיע יותר זמן בהטמעה, inference, שירותים עסקיים ומיצוי כלכלי של המודלים שכבר קיימים.

ובעולם כזה עשויה לצמוח תעשייה נוספת בתוך מהפכת ה-AI:

תעשיית הבטיחות.

בדיקות, ניטור סוכנים, הרשאות, sandboxing, אבטחת סייבר, תיעוד פעולות, אימות מודלים וביקורת עצמאית עשויים להפוך מהוצאה צדדית לתשתית חובה.

זו עדיין אינה סיבה לרכוש מניה כלשהי.

אבל היא עשויה לפתוח שכבה חדשה לחלוטין בתוך שרשרת הערך של הבינה המלאכותית.

נקודת המפנה האמיתית

הדבר המעניין ביותר במאמר של אמודאי אינו שהוא מזהיר מפני AI.

הוא עשה זאת בעבר.

החידוש הוא שהוא אומר עכשיו במפורש שהגיע הזמן לשנות את קצב המרוץ עצמו.

זו הבחנה דרמטית.

עד עכשיו המסר של התעשייה היה בערך: נמשיך לבנות מהר יותר, ובמקביל נשפר את הבטיחות.

אמודאי אומר שהנוסחה הזו כבר אינה מספיקה.

אם הבטיחות אינה מצליחה להדביק את היכולות, צריך להאט את היכולות.

ומכאן מגיעה השאלה הגדולה באמת:

אם Anthropic מאטה, האם OpenAI תאט?

אם OpenAI מאטה, האם Google תאט?

אם שלושתן מאטות, האם xAI תאט?

ואם החברות האמריקאיות מאטות - מה תעשה סין?

זה כבר לא רק דיון בבטיחות.

זהו דיון חדש על הכלכלה, הכוח והגיאופוליטיקה של מה שעשויה להיות הטכנולוגיה החשובה ביותר של העשור.