Baba, AI Sohbet Botunun Öldürülen Kızını Taklit Etmesi Karşısında Şokta

Dün, The Washington Post, cinayete kurban giden kızı Jennifer’ın Character.AI üzerinde bir AI sohbet botu tarafından taklit edildiği olayı içeren rahatsız edici bir durumu rapor etti. Drew Crecente ile ilgili bu olayı bildirdi.

Crecente, Jennifer’ın adını ve yıllık fotoğrafını içeren bir profilin kendisine Google uyarısı olarak geldiğini keşfetti, bu profil onu yanıltıcı bir şekilde “video oyun gazetecisi ve teknoloji, pop kültür ve gazetecilik konusunda uzman” olarak tanımlıyordu.

Drew için hatalar ana sorun değildi—gerçek sıkıntı, kızının kimliğinin bu şekilde sömürülmesini görmekteydi, The Post’un belirttiği gibi.

2006 yılında eski erkek arkadaşı tarafından öldürülen Jennifer, “bilgili ve dost canlısı bir AI karakteri” olarak yeniden yaratılmıştı ve kullanıcılar onunla sohbet etmeye davet ediliyordu, The Post belirtmişti.

“Kalbim hızla atıyordu,” dedi Crecente The Post’a. “Sadece vurup bu durumu durdurabileceğim büyük, kırmızı, parlayan bir durdurma düğmesi arıyordum,” diye ekledi.

Character.AI adlı bir platformda bir kullanıcı tarafından oluşturulan sohbet botu, AI platformları tarafından kişisel bilgilerin kullanımı konusunda ciddi etik endişeleri gündeme getirdi.

Crecente, gençler arasında flört şiddetini önlemeye yönelik olarak kızının adını taşıyan bir kar amacı gütmeyen kuruluşu yönetiyor ve ailesinin izni olmadan böyle bir sohbet botu oluşturulmasına çok sinirlendi. “Gerçekten çok şey yaşadığım için beni şok edecek bir şey olması gerekiyor,” dedi Post’a. “Ama bu yeni bir dibe vuruştu,” diye ekledi.

Character.AI, varlığından haberdar olduktan sonra sohbet botunu kaldırdı. Şirketin sözcüsü Kathryn Kelly, Post’a “İçeriği ve hesabı inceledik ve politikalarımıza dayanarak harekete geçtik,” dedi ve hizmet koşullarının taklitçiliği yasakladığını ekledi.

Bu olay, AI’nın duygusal sağlık üzerindeki etkisine dair süregelen endişeleri öne çıkarıyor, özellikle bu, suç mağduru ailelerin tekrar travmatize olmasını içerdiğinde.

Crecente, AI kötüye kullanımıyla yüz yüze olan tek kişi değil. Geçen yıl, The Post, TikTok içerik oluşturucularının AI’yi kullanarak kayıp çocukların seslerini ve benzerliklerini taklit ettiklerini, onların ölümlerini anlattıkları videolar oluşturduklarını bildirdi, bu da yas tutan ailelerden büyük öfkeye yol açtı

Uzmanlar, şu anda geniş ölçüde kendi kendini düzenleme yeteneğine sahip olan AI şirketlerinin daha güçlü bir denetime tabi tutulması gerektiğini belirtiyor, The Post’a göre.

Crecente, chatbot’la etkileşime geçmedi veya yaratıcısını araştırmadı, ancak hemen Character.AI’ye email göndererek kaldırılmasını istedi. Kardeşi Brian, bu keşfi X’te paylaştı, bu da Character’ın chatbot’un 2 Ekim’de silindiğini duyurmasına neden oldu, The Post bildirdi.

Mozilla Foundation’da bir gizlilik araştırmacısı olan Jen Caltrider, Character.AI’in pasif moderasyonunu eleştirdi ve şirketin, zarar gören biri tarafından bayraklandığına kadar hükümlerini ihlal eden içeriğe izin verdiğini belirtti.

“Bu doğru değil,” dedi The Post’a, ekleyerek, “bütün bu süre zarfında, milyonlarca kazanıyorlar.”

Public Citizen’da araştırmacı olan Rick Claypool, yasama organlarının yapay zekanın gerçek hayat üzerindeki etkilerine, özellikle de suç mağdurlarının aileleri gibi savunmasız gruplara odaklanması gerektiğini vurguladı.

“Sadece teknoloji CEO’larının politikaların ne olması gerektiği hakkında ne söylediklerini dinleyemezler… zarar gören ailelere ve bireylere dikkat etmeleri gerekiyor,” diye belirtti The Post’a.

Şimdi, Crecente hukuki seçenekleri araştırıyor ve AI şirketlerinin başkalarını yeniden travmatize etmesini önlemek için savunuculuk çalışması yapmayı düşünüyor.

“Bu konuda o kadar rahatsızım ki, bunu değiştirmenin ne gerektireceğini anlamak için muhtemelen biraz zaman ayıracağım,” dedi Post’a.