מודל AI יכול לדרג מטופלים היטב ועדיין לטעות במשמעות המספר שהוא מציג. מחקר חדש ב־European Heart Journal – Digital Health מדגים את הפער הזה על EchoNext-Mini, מודל שמחפש באק״ג של 12 לידים סימנים למחלת לב מבנית.

מבחן מחוץ למאגר המקורי

החוקרים הפעילו את המודל כפי שפורסם, בלי לאמן אותו מחדש, על נתוני MIMIC-IV. לכל אחד מ־45,878 מטופלים הותאם אק״ג לאקו־לב שבוצע בתוך שנה; הגיל החציוני היה 68, ו־47.2% עמדו בהגדרה המשולבת למחלת לב מבנית.

המודל משלב את צורת גל האק״ג עם גיל, מין ומדידות מהאק״ג. מול תוצאות האקו הוא הגיע ל־AUROC של 0.790 במדד המשולב, לעומת 0.820 במבחן הייחוס המקורי. במדדים הספציפיים הביצועים נעו בין 0.679 לעיבוי דופן החדר השמאלי ל־0.837 להפרעה בתפקוד החדר הימני.

דירוג טוב אינו בהכרח סיכון מדויק

במדד המשולב הכיול היה קרוב לסביר, עם שיפוע של 0.93. אבל בכל 11 המצבים הספציפיים המודל העריך הסתברויות גבוהות מהשכיחות שנצפתה. התאמה שהתבססה על שכיחויות האימון המקוריות תיקנה חלק גדול מהפער, בלי להזדקק לנתוני תוצאה מקומיים.

המשמעות המעשית: הציון עשוי לעזור לסדר קדימויות לבדיקת אקו, אך אסור לקרוא כל הסתברות כאילו היא סיכון אישי מדויק לפני כיול מתאים. כלי שמבחין היטב בין מטופלים בסיכון גבוה ונמוך עדיין עלול להציג מספר מטעה.

המגבלות החשובות

זהו אימות רטרוספקטיבי ממערכת בריאות אחת, לא ניסוי של שימוש קליני. האוכלוסייה כבר עברה אק״ג ואקו מסיבות רפואיות, ולכן אינה דומה לאוכלוסיית סקר כללית; כמעט מחציתה הוגדרה עם מחלת לב מבנית. חלק מתוויות האקו הופקו משדות מובנים, וכמה הגדרות הותאמו למאגר.

המחקר גם לא בדק אם שימוש במודל משנה הפניות, מאיץ אבחון או משפר תוצאות למטופלים. החוקרים מציעים לראות בו כלי לתעדוף, לא בדיקה אבחונית עצמאית, ומדגישים שנדרש אימות פרוספקטיבי באוכלוסייה לא מסוננת.

השורה התחתונה

EchoNext-Mini שמר על יכולת הבחנה טובה במאגר חיצוני גדול, אבל נכשל בכיול של המצבים הספציפיים. זהו שיעור חשוב ל־AI רפואי: AUROC גבוה מספר מי דורג מעל מי; הוא אינו מבטיח שהסיכון המספרי נכון או שהכלי משפר טיפול.