MIT Araştırmacıları, Yapay Zeka Üretimi İçeriği Doğrulamak İçin “ContextCite” Geliştirdi

MIT’nin Bilgisayar Bilimleri ve Yapay Zeka Laboratuvarı’ndaki (CSAIL) araştırmacılar, AI tarafından üretilen içeriğin güvenilirliğini artırmayı hedefleyen ContextCite adlı bir aracı duyurdu.

Yapay zeka sistemlerinin dayandığı kaynakları izleyerek ve olası hataların kökenlerini belirleyerek, ContextCite büyük dil modellerinin (LLM’lerin) güvenilirliğini değerlendirmek için yeni bir yol sunar.

AI sistemleri genellikle yanıtlarını dış kaynakları kullanarak oluşturur, ancak hatalar çıkarabilirler ya da tamamen bilgi uydurabilirler. ContextCite, bir AI’nin yanıtını etkileyen kaynağın tam olarak hangi bölümlerini vurgulayarak bu durumu ele alır.

Örneğin, bir asistan, yanlış yorumlanan bir bağlama dayanarak bir modelin 1 trilyon parametresi olduğunu iddia ederse, ContextCite, hataya katkıda bulunan belirli cümleyi belirlemeye yardımcı olur.

Ben Cohen-Wang, MIT’nin doktora öğrencisi ve baş araştırmacı, MIT basın bülteninde şöyle açıklıyor: “AI asistanları bilgi sentezlemek için çok yardımcı olabilir, ama hala hatalar yapabiliyorlar.”

“Mevcut AI asistanları genellikle kaynak bağlantıları sağlar, ancak kullanıcılar herhangi bir hatayı tespit etmek için makaleyi kendileri sıkıcı bir şekilde gözden geçirmek zorunda kalırlar. ContextCite, bir modelin kullandığı belirli cümleyi doğrudan bulmaya yardımcı olabilir, bu da iddiaları doğrulamayı ve hataları tespit etmeyi kolaylaştırır,” diye ekledi.

Araç, “bağlam ablasyonları” kullanır, bu yöntemde dış bağlamın parçaları sistematik olarak kaldırılır ve hangi bölümlerin AI’ın yanıtı için kritik olduğunu belirlemek için kullanılır. Bu yaklaşım, araştırmacılara en alakalı kaynak materyali tüketici analiz yapmadan etkin bir şekilde belirlemelerine olanak sağlar.

ContextCite’ın daha geniş uygulamaları vardır, bunlar arasında ilgisiz bilgileri kaldırarak yanıt doğruluğunu artırmak ve “zehirleme saldırıları”nı tespit etmek yer alır. Bu tür saldırılar, AI çıktılarını manipüle etmek için yanıltıcı ifadeleri inandırıcı görünen kaynaklara yerleştirmeyi içerir.

Araç, hatalı yanıtları kökenlerine kadar izleyebilir ve bu da yanlış bilgilerin yayılmasını potansiyel olarak hafifletebilir.

Potansiyeline rağmen, araştırmacılar ContextCite’ın sınırlamaları olduğunu söylüyorlar. Mevcut sistem, birden fazla çıkarım geçişi gerektirir ve bu da uygulamasını yavaşlatabilir. Ayrıca, karmaşık metinlerdeki cümlelerin birbirine bağımlılığı, belirli etkileri izole etmeyi zorlaştırabilir.

Araştırmacılar, bu zorlukları ele almak ve süreçlerini düzeltmek için aracı geliştirmek üzerinde çalışıyorlar.

LangChain’in CEO’su Harrison Chase, aracı, LLM uygulamaları oluşturan geliştiriciler için önemli görüyor. Çıktıların gerçekten verilere dayandığını doğrulamanın, kaynak yoğun bir görev olduğunu ve ContextCite gibi araçların bu süreci basitleştirebileceğini belirtti.

CSAIL baş araştırmacısı Aleksander Madry, güvenilir AI sistemlerinin önemini vurguladı. ContextCite, bu ihtiyaca yanıt verme konusunda bir yaklaşımı temsil eder, özellikle AI’nin bilgi işleme ve sentezleme konusunda merkezi bir rol oynamaya devam ettikçi.