Uzmanlara göre milyonlarca tıbbi veriye dayanan yapay zekâ sistemleri, yalnızca 100–500 manipüle edilmiş örnekle belirli hasta gruplarına karşı bilinçli biçimde hatalı teşhis verecek şekilde “eğitilebiliyor”. Üstelik bu saldırılar mevcut denetim mekanizmalarında neredeyse görünmez.
Yapay zekâ destekli tıbbi teşhis sistemlerinin güvenilirliği, sanıldığı kadar sağlam olmayabilir. Son yıllarda yapılan bilimsel çalışmalar, bir sağlık destek yapay zekâsını sabote etmek için ileri düzey bilgisayar bilgisine ya da büyük ölçekli veri manipülasyonlarına gerek olmadığını ortaya koyuyor. Araştırmalara göre, milyonlarca görüntüden oluşan bir eğitim veri setine yalnızca 100 ila 500 arasında sahte ya da manipüle edilmiş örnek eklemek, sistemin kritik kararlar vermesini hedefli biçimde bozmak için yeterli.
Bu “dijital zehir” olarak adlandırılan sahte veriler, toplam eğitim verisinin yüz binde biri kadar küçük bir kesri temsil ediyor. Ancak etkisi, oranıyla kıyaslanamayacak kadar yıkıcı. Röntgen okuma, kanser teşhisi koyma ya da organ nakli uygunluğu belirleme gibi hayati süreçlerde kullanılan yapay zekâ sistemleri, bu küçük veri müdahalesiyle belirli bir hasta grubuna karşı sistematik olarak başarısız olacak şekilde yönlendirilebiliyor. Aynı sistem, nüfusun geri kalanı için ise yüksek doğrulukla çalışmayı sürdürüyor.
Asıl tehlike: Körlük
Araştırmacılara göre en endişe verici olan saldırının kolaylığı değil, bu tür sabotajlara karşı mevcut sistemlerin neredeyse tamamen kör olması. Bu tür veri zehirleme saldırıları, standart kalite kontrol ve doğrulama süreçlerinde istatistiksel olarak görünmez kalıyor. Anormallikler fark edildiğinde ise, yapay zekâ modeli çoktan “yanlış öğrenmiş” oluyor.
“Veri çoksa güvenlik vardır” efsanesi çöktü
Yaygın bir kanıya göre, yapay zekânın milyonlarca veriyle eğitilmesi, onu küçük hatalara karşı doğal olarak koruyor. Ancak bilimsel kanıtlar bu inancı kesin biçimde çürütüyor. İsveç’teki Karolinska Enstitüsü (SMAILE) ile Madrid Politeknik Üniversitesi (InnoTep) bünyesinde çalışan iki araştırma ekibi, tıbbi yapay zekâ güvenliği üzerine yayımlanmış 41 önemli çalışmayı inceledi.
Bu inceleme sonucunda, saldırının başarısının bozulmuş verinin yüzdesine değil, mutlak sayısına bağlı olduğu ortaya kondu. Yani milyonlarca doğru verinin içinde az sayıda ama hedefli şekilde yerleştirilmiş yanlış örnek, sistemi yanıltmaya yetiyor. Araştırmacılar bu durumu, yapay zekâ sistemlerinde yapısal bir güvenlik açığı olarak tanımlıyor.
“Bin kez tekrarlanan yalan” algoritmaya da işliyor
Peki birkaç yüz veri noktası, bu kadar karmaşık sistemleri nasıl kandırabiliyor? Yanıt, makine öğreniminin doğasında yatıyor. Yapay zekâ sistemleri veriyi tek seferde değil, tekrarlayan öğrenme döngüleriyle işliyor. Bu da az sayıdaki hatalı örneğin, her döngüde yeniden işlenerek etkisinin katlanmasına yol açıyor.
Araştırmacılar bu durumu, “bin kere tekrarlanan yalanın gerçek gibi kabul edilmesi” ilkesine benzetiyor. Sonuçta ortaya çıkan şey başarısız bir model değil; bozulmuş, ayrımcı ve seçici biçimde hata yapan bir model oluyor. Sistem genel performansını koruyor, ancak önceden hedeflenmiş koşullarda ve gruplarda bilinçli şekilde yanlış karar veriyor.
Bu da rastlantısal bir hata değil, genel doğruluk görüntüsü altında gizlenmiş matematiksel olarak kodlanmış bir ayrımcılık anlamına geliyor.
Gizlilik yasaları saldırganları mı koruyor?
Araştırmanın en çarpıcı bulgularından biri ise mevcut gizlilik düzenlemelerine ilişkin. Hasta haklarını korumak için hayati öneme sahip olan Genel Veri Koruma Yönetmeliği (GDPR) gibi düzenlemeler, istemeden de olsa bu tür sabotajların tespit edilmesini zorlaştırıyor.
Bu tür ince veri zehirleme saldırılarını ortaya çıkarmak için, farklı sağlık kuruluşlarındaki binlerce hastanın verilerinin çapraz analiz edilmesi gerekiyor. Ancak mevcut yasalar, bu tür geniş çaplı veri korelasyonlarını ciddi biçimde kısıtlıyor. Araştırmacılar bu durumu bir “güvenlik paradoksu” olarak tanımlıyor: Hastaların gizliliği korunurken, onları koruması gereken sistemler körleşiyor.
Çözüm: Dijital tıp kurulları
Araştırmacılar, geleneksel siber güvenlik önlemlerinin bu tehdide karşı yetersiz kaldığını belirtiyor. Bu nedenle sağlık hizmetleri için MEDLEY adlı yeni bir savunma yaklaşımı öneriliyor. Bu model, tek bir “en iyi” yapay zekâya dayanmak yerine, farklı algoritmaların, farklı sürümlerin ve farklı tedarikçilerin birlikte çalıştığı “dijital tıp kurulları” oluşturulmasını savunuyor.
Bu çoğulcu yapı sayesinde, bir sistemin zehirlenmesi diğerlerini otomatik olarak etkilemiyor. Eğer sistemler arasında ciddi görüş ayrılıkları ortaya çıkarsa, bu bir hata olarak değil, insan denetimini tetikleyen bir alarm olarak değerlendiriliyor.
Teknolojik naiflik dönemi sona eriyor
Araştırmacılar, yapay zekânın sağlık alanında faydalı olabilmesi için artık “kara kutu” anlayışının terk edilmesi gerektiği konusunda uyarıyor. Dayatılmış ve sorgulanmayan algoritmik gerçekliklerin kabul edilmesi, hem etik hem de tıbbi açıdan ciddi riskler barındırıyor.
Sonuç olarak, yapay zekânın sağlık sistemlerine entegrasyonu yalnızca teknoloji meselesi değil; şeffaflık, denetim, insan bilgisi ve etik sorumluluk meselesi olarak ele alınmak zorunda. Aksi halde, küçük bir dijital zehir, geri dönüşü olmayan sonuçlara yol açabilir.
Mario Vega Barbas
Associate professor, Universidad Politécnica de Madrid (UPM)
Farhad Abtahi
Senior Research Infrastructure Specialist, Karolinska Institutet
Fernando Seoane Martinez
Professor and Research Leader, Karolinska Institutet
Iván Pau de la Cruz
Catedrático en Telemática, Universidad Politécnica de Madrid (UPM)
