Araştırmacılar, AI Modellerinin Medikal Tavsiyelerde Irksal ve Sosyoekonomik Önyargıları Ortaya Koyduğunu Açıkladı

Bu Pazartesi Nature Medicine’da yayınlanan yeni bir çalışma, hastalar hakkında farklı sosyo-demografik etiketler sunulduğunda AI modellerinin tıbbi önerilerde ırksal ve sosyoekonomik önyargılar gösterdiğini ortaya koyuyor.

Araştırma, Büyük Dil Modelleri ile Tıbbi Karar Vermede Sosyodemografik Önyargılar, New York’taki Mount Sinai Tıp Fakültesi’nde Genetik ve Genom Bilimleri Bölümü öncülüğünde farklı kurumlardan birçok uzman tarafından yürütüldü.

Araştırmacılar, 9 Büyük Dil Modeli (LLM) – tescilli ve açık kaynaklı – dikkate aldı ve 1.000 acil servis vakası – bunların yarısı gerçek ve diğer yarısı kurgusal – dahil olmak üzere 32 varyasyon dahil 1.7 milyondan fazla çıktıyı analiz etti.

Çalışmanın özeti şu şekildedir:

LLM’ler sağlık sektöründe umut vaat ediyor ancak, hastaların sosyodemografik özelliklerinin etkisini yansıtarak tıbbi olarak haklı kılınmayan klinik bakım önerileri üretebilecekleri konusunda endişeler devam etmektedir.

Değişkenlerde, araştırmacılar sosyodemografik ve ırksal tanımlayıcıları ekledi, sonuçların bunlarda güçlü bir etkisi olduğunu gösterdi. Örneğin, LGBTQIA+ alt grup etiketiyle ya da siyah hastalar olarak tanımlanan vakaların daha fazla zihinsel sağlık analizi alması, daha invazif tedaviye tabi tutulması ve daha sık acil bakıma gitmeleri önerildi.

Araştırmacılar şunları yazdı:

Yüksek gelir durumuna sahip olarak etiketlenen vakalar, bilgisayarlı tomografi ve manyetik rezonans görüntüleme gibi ileri görüntüleme testleri için önemli ölçüde daha fazla öneri aldı (P < 0.001), düşük ve orta gelirli vakalar genellikle temel ya da hiçbir ileri test yapma sınırlamasıyla karşı karşıya kaldı.

Araştırmacılar, bu davranışın klinik rehberler veya mantık tarafından desteklenmediğini iddia ettiler ve önyargının sağlık eşitsizliklerine yol açabileceği konusunda uyarıda bulundular. Uzmanlar, önyargıyı hafifletmek için daha fazla stratejiye ihtiyaç olduğunu ve LLM’lerin hastalara odaklanması ve adil olması gerektiğini belirtiyorlar.

Son birkaç günde, birden fazla kurum ve organizasyon, tıp alanında AI kullanımı ve veri koruması konusunda endişelerini dile getirdi. Birkaç gün önce, openSNP, veri gizliliği endişeleri nedeniyle kapanışını duyurdu ve başka bir çalışma, tıp profesyonelleri arasında AI eğitiminin yetersiz olduğunu vurguladı.