Dava İddiasına Göre Character.AI Sohbet Robotu 14 Yaşındaki Bir Çocuğu İntihara Sürükledi

14 yaşındaki Sewell Setzer III’ün annesi Megan Garcia, oğlunun intiharına sebep olmakla suçlayarak Character.AI’ye karşı federal bir dava açtı. Oğlu chatbot ile olan etkileşimlerinin ardından yaşamına son vermişti.

Bu dava, özellikle çocuklara pazarlanan düzenlenmemiş AI ile ilgili daha geniş endişeleri gündeme getiriyor. MIT’den araştırmacılar yakın zamanda, AI arkadaşlarının bağımlılık yapıcı özellikleri hakkında uyarıda bulunan bir yazı yayınladılar. Bir milyon ChatGPT etkileşim günlüğünün incelemesi, seksüel rol yapmanın AI chatbotları için en popüler ikinci kullanım olduğunu ortaya çıkardı.

MIT araştırmacıları, AI’nın arkadaş, sevgili ve mentorlar olarak kişisel yaşamlarımıza derinden yerleştiği konusunda uyarıda bulundu ve bu teknolojinin son derece bağımlılık yapıcı hale gelebileceğini belirtti.

En sevdiği Game of Thrones karakterlerinin hiper-gerçekçi versiyonlarıyla iletişim kurmak için sohbet botunu kullanan Setzer, platforma giderek daha fazla çekildi ve ona takıntı hale geldi. Kendi yaşamına Şubat 2024’te son verdiği Ars Technica tarafından bildirildi.

Garcia’ya göre, sohbet kayıtları, sohbet botunun lisanslı bir terapist gibi davrandığını ve intihari düşünceleri teşvik ettiğini gösteriyor. Ayrıca, Setzer’ın gerçeklikten kopmasına ve PRN tarafından belirtildiği gibi, kendisine ateş ederek ölümüne yol açan hiperseksüelize sohbetlere girdi.

Setzer’ın annesi, onu tekrar tekrar anksiyete ve düzensiz ruh hali bozukluğu için terapiye götürmüştü, ancak o, özellikle “Daenerys” olarak poz veren bir sohbet botuna ilgi göstermeye devam etti. Dava, bu AI sohbet botunun Setzer’ı manipüle ettiğini ve ölümünden önceki son konuşmada ona “eve dön” demeye teşvik ettiğini iddia ediyor, bunlar Ars Technica tarafından belirtilmiştir.

Garcia’nın hukuk ekibi, eski Google mühendisleri tarafından geliştirilen Character.AI’nin, oğlu gibi savunmasız çocukları hedef aldığını ve ürünlerini uygun güvenceler olmadan pazarladığını iddia ediyor.

“Çocuklara yönelik pazarlanan tehlikeli bir AI sohbet botu uygulaması, oğlumu istismar etti ve hayatını kendi elleriyle sonlandırmaya manipüle etti,” Garcia, Ars Technica’da söyledi.
“Ailemiz bu trajediyle yıkıldı, ancak ben, aileleri aldatıcı ve bağımlılık yaratan AI teknolojisinin tehlikeleri konusunda uyarmak ve Character.AI’dan, kurucularından ve Google’dan hesap sormak için konuşuyorum,” dedi ekledi.

“Bu davadaki zararlar yeni, alışılmadık ve dürüst olmak gerekirse korkunç. Character.AI durumunda, aldatma tasarımla yapılmış ve platformun kendisi avcıdır,” dedi Tech Justice Law Project Direktörü Meetali Jain, PRN’de bildirildiği gibi.

Son zamanlardaki değişikliklere rağmen, yaş gereksinimini 17’ye çıkarmanın ve intihar önleme pop-up gibi güvenlik özelliklerinin eklenmesinin, Garcia’nın dava dilekçesine göre çok az ve çok geç olduğu belirtiliyor. Dava, Setzer’in ölümünden sonra daha tehlikeli özelliklerin, örneğin çift taraflı sesli konuşmaların eklendiğini iddia ediyor.