מודל קורס (model collapse) או לולאת משוב (feedback loop).

לולאת משוב (Feedback Loop) מנגנון שבו התוצר של מערכת כלשהי משמש כקלט עבורה, ומשפיע על פעולתה העתידית. בתחום הבינה המלאכותית, לולאת משוב מתייחסת למצב בו תוצרי AI, כמו טקסטים, תמונות או קטעי מוזיקה שנוצרו באופן אוטומטי, משמשים לאימון מודלים חדשים.

איך נוצרת לולאת המשוב בבינה מלאכותית?

כדי להבין טוב יותר את התופעה, בואו נפרק אותה לשלבים:

1. אימון ראשוני: מודלים של בינה מלאכותית מאומנים על מערכי נתונים עצומים המורכבים מתכנים שנוצרו על ידי בני אדם (כמו מאמרים, תמונות מאתרים שונים וספרים).

2. יצירת תוכן: לאחר האימון, המודלים משמשים ליצירת תוכן חדש.

3. הזנה חוזרת: התוכן החדש שנוצר על ידי הבינה המלאכותית מתווסף למאגרי הנתונים הקיימים, לעיתים ללא סימון מיוחד המזהה אותו כתוצר AI.

4. אימון חוזר: מודלים מהדור הבא מאומנים על מערכי הנתונים המעודכנים, המכילים גם תוכן אנושי וגם תוכן AI.

למה זה בעייתי?

ההזנה החוזרת של נתוני AI יוצרת בעיה של "זיהום נתונים" (Data Contamination) או "קניבליזם של נתונים" (Data Cannibalism), המכונה לעיתים גם "התכלות המודל" (Model Collapse).

במקום שהמודלים ימשיכו ללמוד ממגוון רחב של תכנים אנושיים וישכללו את יכולותיהם, הם מתחילים ללמוד מגרסאות של עצמם. התוצאה היא מעין "הד" דיגיטלי:

• השטחת היצירתיות: המודלים חוזרים שוב ושוב על הדפוסים והטעויות שיצרו בעבר, והופכים פחות יצירתיים ופחות מגוונים.

• הגברת הטעויות: אם מודל יוצר טקסט עם שגיאות או הטיה מסוימת, והטקסט הזה מוחזר לאימון, הטעויות הללו עלולות להתעצם ולהפוך למאפיין קבוע של המודלים העתידיים.

• אובדן הנתונים המקוריים: עם הזמן, הנתונים המקוריים שנוצרו על ידי בני אדם הופכים למיעוט במאגרי הנתונים, והמודלים מנותקים יותר ויותר ממקור הידע האנושי האמיתי.

לולאת המשוב היא אחד האתגרים הגדולים ביותר שחוקרי בינה מלאכותית מנסים לפתור כיום, על מנת להבטיח את איכותם ורלוונטיותם של מודלי ה-AI בעתיד.

נכנסים לשטח הרגיש באמת. בתי חולים הם דוגמה קלאסית למקום שבו לולאת משוב של בינה מלאכותית יכולה להפוך מבעיה אסתטית (פילטר צהוב) לבעיה של חיים ומוות.

דוגמה 1: זיהוי מחלות בצילומי רנטגן

נניח שמודל AI לומד לאבחן דלקת ריאות מצילומי רנטגן.

• בשלב ראשון, הוא מתאמן על צילומים שסומנו ע"י רופאים אנושיים.

• עם הזמן, בתי חולים מתחילים להשתמש במודל עצמו לסמן מקרים חדשים.

• הדאטה החדש שמוזן חזרה לאימון כבר לא "אנושי נקי", אלא תוצאה של המודל.

• טעות קטנה (נניח בלבול בין צל של צלע לסימן של נוזל) הופכת עם הזמן לסטנדרט. המודל "מלמד את עצמו" שטעות זה נורמלי → ובסוף כמעט כל צילום נראה לו חשוד.

התוצאה: אבחנות יתר (יותר מדי false positives), חולים בריאים נשלחים לבדיקות מיותרות, עומס על מערכת הבריאות.

דוגמה 2: נתוני תרופות ומינונים

במערכת תומכת ־ החלטות שממליצה על מינון תרופה:

• אם היא מתחילה להסתמך על נתונים שנוצרו ע"י AI קודם, במקום על הנחיות קליניות אנושיות, היא עלולה "לחזק" טעויות קטנות.

• לדוגמה: רופאים רושמים מינון קצת גבוה יותר בגלל המלצת המערכת → הנתון הזה נכנס חזרה לאימון → המערכת לומדת ש"מקובל לתת מינון גבוה יותר" → במעבר של כמה שנים, המינונים עולים בהדרגה מעבר לנורמה הבטוחה.

דוגמה 3: מערכות ניהול חירום

בתי חולים משתמשים ב־AI כדי לחזות עומס בחדרי מיון.

• אם האלגוריתם לומד בעיקר מנתונים היסטוריים שלו עצמו (שהושפעו מהמלצותיו הקודמות), הוא עלול "לנעול" את המערכת על תבנית מסוימת.

• למשל: הוא צופה שתהיה פחות עומס במחלקת ילדים → מפחיתים כוח אדם → בפועל מגיעים יותר חולים, אבל הנתונים נאספים בהתאם למערכת שהפחיתה קיבולת.

• הלולאה כאן מייצרת נבואה שמגשימה את עצמה — לא כי זה המצב האמיתי, אלא כי המערכת יצרה אותו.

מה מסוכן פה?

בתחום הרפואה, כל לולאת משוב כזו מוחקת את הסטטוס קוו האנושי. במקום שהמערכת תסתמך על שנים של ניסיון רפואי מצטבר, היא מתחילה לשכתב את הרפואה על סמך ההטיות של עצמה.
זה מה שהופך את לולאות המשוב מבעיה "אסתטית" (פילטרים בתמונות) לבעיה קיומית (חיי אדם).