האם אפשר לבנות מודל הדמיה רפואית בלי צוות למידת מכונה? מחקר חדש ב־Journal of Clinical Endocrinology & Metabolism בחן סוכן AI ללא קוד שביצע בעצמו את שלבי פיתוח המודל — מבדיקת הנתונים ועד בחירת הארכיטקטורה וכיול ההסתברויות.

אימון במאגר פתוח, מבחן בבית חולים אחר

הסוכן, שהתבסס על ML-Intern של Hugging Face, עבד על מאגר האולטרסאונד הפתוח TN5000. הוא בחר ואימן מודל ResNet-18, ולאחר נעילת המודל החוקרים בדקו אותו על 232 קשריות ממרכז רפואי באוניברסיטת קולורדו. קבוצת האימות כללה כמה סוגים היסטולוגיים של סרטן — מבחן מחמיר יותר מבדיקה נוספת באותו מאגר פיתוח.

במבחן הפנימי המודל הגיע ל־AUROC של 0.94, עם רגישות של 90% וסגוליות של 81%. באימות החיצוני הביצועים ירדו מעט אך נשארו גבוהים: AUROC של 0.90, רגישות של 92% וסגוליות של 68%.

ערך שלילי גבוה, אבל הרבה חיוביים שגויים

הערך המנבא השלילי היה 96%: במדגם הזה, תוצאה שלילית התאימה ברוב המקרים לקשרית לא ממאירה. מנגד, הערך המנבא החיובי היה 52% בלבד — כמעט מחצית מהקשריות שסווגו כחיוביות לא היו ממאירות.

המודל גבר על מסווג קודם שנבדק באותו מקור נתונים חיצוני: AUROC של 0.90 לעומת 0.83, הבדל שהיה מובהק סטטיסטית. עם זאת, מקרי הסרטן שהוחמצו נטו להתרכז בגידולים בעלי דפוס פוליקולרי, נקודת חולשה חשובה לפני שימוש קליני.

מה המחקר כן מוכיח

החידוש אינו רק ציון האבחון. תהליך ללא קוד הצליח להפיק מודל מכויל שנבחן מחוץ למאגר האימון, צעד שעשוי להנגיש פיתוח ראשוני של כלי AI לחוקרים ולקלינאים שאינם מהנדסי למידת מכונה. שימוש במאגר פתוח ובארכיטקטורה מוכרת גם מקל על בדיקה ושחזור של העבודה.

אבל זה היה מחקר חישובי רטרוספקטיבי, לא ניסוי שבו המודל קיבל החלטות בזמן אמת. אימות חיצוני של 232 קשריות הוא חשוב אך עדיין מוגבל למרכז אחד, והביצועים תלויים בשכיחות המחלה ובמאפייני המטופלים. החוקרים עצמם מדגישים שנדרשים אימות פרוספקטיבי וכיול מקומי לפני שימוש קליני.

השורה התחתונה

סוכן AI ללא קוד הצליח לבנות מסווג אולטרסאונד עם ביצועים טובים גם במאגר חיצוני — הישג שמחזק את האפשרות לפיתוח נגיש ושחזורי יותר. אבל סגוליות של 68%, ערך חיובי של 52% והחמצות מרוכזות בסוג גידול מסוים מבהירים שהמודל עדיין אינו תחליף לפענוח, לביופסיה או לשיקול דעת קליני.