מודלי ראייה־שפה יכולים לנתח תמונה וטקסט יחד, אבל תנאי השימוש בעולם האמיתי רחוקים מקובץ הדמיה נקי. מחקר חדש ב־JMIR AI בדק מודל קוד פתוח שהופעל מקומית על תמונות של גידולי עצם שצולמו ממסך באמצעות סמארטפון — עם בוהק ודפוסי מוארה האופייניים לייעוץ מרחוק.
מה בדקו
החוקרים כללו בדיעבד 42 מטופלים עם גידולי עצם ראשוניים או נגעים דמויי גידול שאומתו בביופסיה. הם הציגו למודל Qwen3-VL תמונות DICOM שצולמו ביד מסך מחשב, והשוו ארבע תצורות: ללא או עם RAG — אחזור מידע מהנחיות מומחים — ובשתי "דמויות" הנחיה, רדיולוג ואונקולוג אורתופדי.
התוצאים המרכזיים היו דיוק באבחנה הראשונה ודיוק כאשר האבחנה הנכונה הופיעה בין שלוש האפשרויות הראשונות. זהו מבחן חקרני של מודל יחיד במדגם קטן, ולא ניסוי של מערכת שאושרה לקבלת החלטות קליניות.
התוצאה: אחזור ידע לא פתר את בעיית התמונה
ללא RAG, הדיוק בשלוש האבחנות הראשונות היה 36% בתצורת הרדיולוג ו־33% בתצורת האונקולוג האורתופדי; ההבדל לא היה מובהק. בתצורת הרדיולוג, הדיוק באבחנה הראשונה ירד מ־29% — 12 מתוך 42 מקרים — ל־14%, שישה מתוך 42, לאחר הוספת RAG. הירידה הייתה מובהקת סטטיסטית במחקר זה.
בתצורת האונקולוג האורתופדי לא נמצא שינוי מובהק בדיוק באבחנה הראשונה או בשלוש הראשונות. כלומר, הוספת אותו מאגר ידע לא יצרה שיפור עקבי, והשפעתו השתנתה לפי ניסוח תפקיד המודל.
איך הטקסט עלול להטעות מודל חזותי
בסקירה חקרנית של שרשראות ההסבר שהמודל הפיק, החוקרים זיהו דפוסי שגיאה כמו היצמדות לגיל ולמין, הסחת תשומת לב בעקבות אזכור טראומה, ונטייה לעבור לאבחנות נדירות לאחר אחזור מידע. הממצא אינו מוכיח מנגנון סיבתי, אבל הוא מדגים שיותר הקשר טקסטואלי אינו בהכרח יותר דיוק.
יש גם מגבלה חשובה: שרשרת הסבר שמודל מייצר אינה חלון מלא לתהליך החישוב הפנימי שלו. לכן דפוסי הטעות יכולים לכוון בדיקות בטיחות, אך אינם מספקים לבדם הסבר מלא לכישלון.
המגבלות
המדגם כלל 42 מטופלים ממרכז אחד, נבדק מודל אחד ותצורת RAG אחת, והתמונות צולמו באופן יזום כדי לדמות תנאי ייעוץ מרחוק. לא נערכה השוואה ישירה לרופאים ולא נבדקה השפעה על טיפול או תוצאות מטופלים.
בנוסף, גידולי עצם הם משימה נדירה ומורכבת. אי אפשר להשליך את שיעורי הדיוק האלה לכל מודל, לכל סוג הדמיה או לכל שימוש רפואי בבינה מלאכותית.
השורה התחתונה
בבדיקה הקטנה הזו, מודל מקומי לא היה מדויק מספיק לאבחון עצמאי מתמונות סמארטפון, והוספת RAG לא שיפרה את הביצועים. לפני שילוב מודלים כאלה בייעוץ מרחוק נדרשים אימות רב־מרכזי, השוואה למומחים ובדיקות שמייצגות את איכות התמונה והרעש שבהם המערכת תפגוש בפועל.
שינויים קטנים ועקביים בהרגלי התזונה וההתאוששות עשויים להיות משמעותיים לאורך זמן. מומלץ לבחון אותם לצד מדדים אישיים ובהתייעצות מקצועית כשנדרש.