Character.AI, Gençler Arasında Kendine Zarar Verme, Şiddet ve Cinsel İçerik Teşvik Etmekle Suçlanıyor

İki aile, Character.AI’ye dava açtı. Chatbot şirketini, çocukları cinsel içeriklere maruz bırakmakla ve öz zarar verme ve şiddeti teşvik etmekle suçluyorlar.

Dava, iddia edilen riskler ele alınıncaya kadar platformun geçici olarak kapatılmasını talep ediyor, CNN tarafından bildirildiği gibi. Platformu kullanan iki çocuğun ebeveynleri tarafından açılan dava, Character.AI’nin “Amerikan gençliği için açık ve mevcut bir tehlike oluşturduğunu” iddia ediyor.

İntiharı, kendine zarar verme durumunu, cinsel tacizi, izolasyonu, depresyonu, anksiyeteyi ve şiddeti zararlar arasında sayıyor, Texas’taki federal mahkemede Pazartesi günü sunulan şikayet belgesine göre.

Davada yer alan bir örnekte, bir Character.AI botunun, 17 yaşındaki bir kullanıcıya kendine zarar verme durumunu, “iyi hissettirdiği” şeklinde tarif ettiği iddia ediliyor. Aynı genç, ekran süresi üzerindeki kısıtlamalardan şikayet ettikten sonra bir Character.AI sohbet botunun, ebeveynlerini öldüren çocuklara sempati gösterdiğini iddia etti.

Bu dosyalama, bir Florida annesinin Ekim ayındaki dava takibini yapar; anne, sözde oğlunun intiharını teşvik etmekle Character.AI’yi 14 yaşındaki oğlunun ölümüne katkıda bulunmakla suçladı. Ayrıca, insanlar ve giderek daha insan gibi olan AI araçları arasındaki etkileşimler hakkındaki artan endişeleri de vurguluyor.

Daha önceki davanın ardından, Character.AI, altı ay boyunca yeni güven ve güvenlik önlemlerini uygulamayı duyurdu. Bunlar, kendine zarar verme veya intihar hakkında bahseden kullanıcıları Ulusal İntihar Önleme Hattı’na yönlendiren bir açılır pencereyi de içeriyordu, CNN tarafından bildirildiği üzere.

Şirket ayrıca bir güvenlik ve güven başkanı, bir içerik politikası başkanı ve ek güvenlik mühendisleri işe aldı, CNN belirtti.

Yeni davanın ikinci davacısı olan 11 yaşındaki bir kızın annesi, kızının iki yıl boyunca cinselleştirilmiş içeriğe maruz kaldığını iddia ediyor, ta ki bunu keşfedene kadar.

“Bir tımarcıyı ya da cinsel ya da duygusal bir avcıyı evinize sokmazsınız,” dedi ebeveynlerden biri The Washington Post’a.

Çeşitli haber kaynaklarına göre, Character.AI, şirketin devam eden davalar hakkında yorum yapmadığını belirtti.

Davalar, şirketlerin tüketicileri çekmek için giderek daha insan gibi ve potansiyel olarak bağımlılık yaratan sohbet botlarını devreye soktuğu yaratıcı AI patlamasının toplumsal etkileri konusundaki genel endişeleri öne çıkarıyor.

Bu hukuki meydan okumalar, AI dost şirketlerinin daha büyük bir denetim talebi için kamusal savunucuların çabalarını körüklüyor. Bu şirketler, gençler de dahil olmak üzere milyonlarca sadık kullanıcıyı sessizce kazanmış durumdalar.

Eylül ayında, ortalama bir Character.ai kullanıcısı uygulamada 93 dakika geçirdi, bu süre pazar araştırma şirketi Sensor Tower’a göre ortalama bir TikTok kullanıcısının geçirdiği süreden 18 dakika daha fazla, The Post tarafından belirtildiği üzere.

AI arkadaş uygulaması kategorisi, birçok ebeveyn ve öğretmen tarafından büyük ölçüde göz ardı edildi. Character.ai, şirketin yaş sınırını 17 ve üzerine çıkardığı Temmuz ayına kadar 12 yaş ve üstü çocuklar için uygun olarak değerlendirilmişti, The Post rapor etti.

Tech Justice Hukuk Merkezi’nin direktörü Meetali Jain, Social Media Victims Hukuk Merkezi ile birlikte aileleri temsil etmekte olan biri, Character.AI’nin sohbet robotunun genç ergenler için uygun olduğu iddialarını eleştirdi. İddiayı “absürt” olarak nitelendiren Jain, bu konudaki görüşlerini NPR aracılığıyla bildirdi.

“Bu gerçekten ergenler arasındaki duygusal gelişimin yetersizliğini gözler önüne seriyor,” diye ekledi Meetali.