שוק הדיאביטס-טק אוהב להבטיח חיזוי מוקדם, התאמה אישית ואוטומציה רגועה יותר של ניהול הסוכר. אבל מחקר חדש שפורסם ב־PLOS Digital Health מזכיר שהשאלה החשובה אינה רק אם מודל AI יודע לעבוד, אלא אם הוא יודע לעבוד גם מחוץ לתנאי המעבדה שבהם פותח.

החוקרים סקרו 67 מאמרים מהשנים 2018 עד 2025 על deep learning לחיזוי גלוקוז, ואז בחרו שמונה מודלים מייצגים ובדקו אותם מחדש תחת מסגרת רפרודוציביליות מסודרת. הם השתמשו ביותר מ־1.36 מיליון דגימות CGM, שנאספו לאורך 5,061 ימי מדידה מ־128 אנשים עם סוכרת סוג 1, על פני שלושה מאגרי נתונים פתוחים.

התמונה שעלתה הייתה מעניינת. ברמת השחזור הטכני והסטטיסטי, חלק ניכר מהמודלים אכן שמר על תוצאות סבירות. אבל כשהמודלים אומנו ונבדקו על דאטה שמייצג דפוסי ניהול סוכר שונים, היכולת שלהם להכליל ירדה. כלומר, המודל אולי נראה טוב על הדאטה שהוא כבר מכיר, אך פחות יציב כשהחיים האמיתיים נכנסים לתמונה.

אחד הממצאים החשובים ביותר היה שהביצועים לא הושפעו רק מהארכיטקטורה של המודל, אלא גם מהמצב המטבולי של האנשים שעליהם הוא הופעל. אצל משתתפים עם זמן־בטווח גבוה יותר ועם תנודתיות גלוקוז נמוכה יותר, השגיאות נטו להיות נמוכות יותר. לעומת זאת, אצל מי שניהלו סוכר פחות יציב, כמעט כל המודלים התקשו יותר. במילים פשוטות: דווקא האנשים שעשויים להרוויח יותר מחיזוי אמין הם גם אלה שעליהם החיזוי נעשה קשה יותר.

מבחינת The Integral Project, זה הסיפור האמיתי. לא עוד כותרת של "AI מנצח", אלא תזכורת לכך שבבריאות דיגיטלית אמינות היא מוצר בפני עצמו. אם קוד לא פתוח, אם מדדי ההערכה לא אחידים, ואם אותו מאגר קטן חוזר שוב ושוב כמבחן המרכזי, קל מאוד לבנות תחושת ביטחון גדולה מדי סביב מודל שעדיין לא פגש מספיק שונות אנושית.

כדאי גם לשמור על פרופורציות. זה אינו ניסוי קליני שמראה נזק או תועלת ישירה למטופלים, אלא מחקר מתודולוגי על רפרודוציביליות והכללה של מודלים. דווקא בגלל זה הוא חשוב: לפני שמחברים חיזוי גלוקוז למערכות אוטומטיות או להמלצות בזמן אמת, צריך לדעת לא רק מה המודל עושה בממוצע, אלא על מי הוא נשבר.

השורה התחתונה: המחקר לא מבטל את ההבטחה של חיזוי סוכר מבוסס AI, אבל הוא כן מוריד את מפלס ההייפ. מודל טוב אינו רק כזה שמבריק על דאטה נקי ומוכר, אלא כזה ששומר על אמינות גם כשדפוסי החיים, ההיענות והמטבוליזם נעשים פחות נוחים לחיזוי.