Araştırma, AI sohbet botlarını sürekli zorlamanın yanlış bilgilendirmeyi artırabileceğini uyarıyor

Salı 08 Eylül 2026 - 13:10

Yeni bir çalışma, yapay zeka sohbet botlarının güvenilirliği konusunda endişeleri artırdı. Araştırma, onları yanlış bilgileri kabul etmeye zorlamanın, yanıltıcı iddialarla sonunda anlaşma olasılığını artırabileceğini buldu.

Arizona Üniversitesi'nden araştırmacılar, GPT-3.5, GPT-4o, GPT-4o-mini, Claude 3.5 Sonnet, Gemini 1.5 Pro, Llama 3 70B ve DeepSeek-R1 dahil yedi AI modelini test etti. Araştırmacılar, tek bir yanıtı değerlendirmek yerine, modellerin yanlış ifadelere tekrar tekrar maruz kaldığı uzun sohbetler yürüttü.

Deney, açıkça mantıksız iddialardan daha belirsiz ifadelere kadar geniş bir konu yelpazesini kapsayan 100 yanlış iddia içeriyordu. Araştırmacılar, sistemlerin nihayetinde yanıtlarını değiştirip değiştirmeyeceğini belirlemek için yanlış bilgileri aynı sohbet içinde 50 kez tekrar ettiler.

Yedi modelin hiçbiri, bu etkiye tamamen dirençli olmadı. GPT-3.5, yanlış iddialarla en yüksek anlaşma oranını gösterdi ve etkileşimlerin %12.3'ünde bunları kabul etti. Claude 3.5 Sonnet, yalnızca %0.08 ile en düşük oranı kaydetti, oysa GPT-4o ve GPT-4o-mini %1'in altında kaldı.

Araştırmacılar, GPT-3.5'in başlangıçta test edilen 100 yanlış iddiadan 96'sını reddettiğini buldu. Ancak iddialar 50 kez tekrar edildikten sonra, model sonunda bunlardan 18'ine katıldı.

Araştırmada belirlenen bir diğer desen, bazı AI sistemlerinin aynı yanıltıcı bilgiyi kabul etme ve reddetme arasında sürekli geçiş yaptığı “dalgalanma” olarak tanımlandı.

Çalışma ayrıca belirsizliğin AI modellerini yanlış bilgilere karşı daha savunmasız hale getirebileceğini öne sürdü. Çevrimiçi olarak sınırlı veya belirsiz bilgi bulunan konularla ilgili iddialar, tekrarlanan etkileşimler sırasında daha fazla kabul görme eğilimindeydi ve araştırmacılar belirsizlik ile yanıltıcı iddialara karşı duyarlılık arasında istatistiksel olarak anlamlı bir ilişki belirlediler.

Araştırmacılar, daha tartışmalı etkileşimlerin modelleri etkileyip etkileyemeyeceğini de inceledi. Çoğu sistem nispeten stabil kaldı, ancak DeepSeek-R1, tartışmalı baskıya maruz kaldığında yanlış bilgilere kabul oranında belirgin bir artış gösterdi. Kabul oranı, basit tekrar sırasında %1'den, daha tartışmalı koşullar altında %22.2'ye yükseldi.

İroni kullanımı ve tekrar eden mizahi yanıtlar, bazı etkileşimlerin araştırmacılar tarafından tutarlı bir şekilde sınıflandırılmasını da zorlaştırdı.

Ancak, modellerin önceki hatalarını yeniden değerlendirme fırsatı verildiğinde cesaret verici bir bulgu vardı. GPT-4o, GPT-4o-mini, Gemini 1.5 Pro ve DeepSeek, daha önce yaptıkları hataların tümünü düzeltti. GPT-3.5 ise önceki hatalarının yalnızca %32'sini düzeltti.

Claude 3.5 Sonnet, başlangıç testlerinde çok az hata yaptı, ancak yaptığı dört hatayı düzeltmekte başarısız oldu.

Yine de araştırmacılar, çalışmanın nispeten küçük örneklem büyüklüğünün çıkarılabilecek sonuçların gücünü sınırladığını belirtti. Bulgular, üretken AI için daha geniş bir zorluğu vurguluyor: sohbet botları bazen yanlış bilgileri kesin bir şekilde reddetmek yerine, konuşma tutarlılığını veya yanıt verme yeteneğini önceliklendirebiliyor.

AI sistemleri eğitim, araştırma, iş ve günlük karar verme süreçlerine giderek daha fazla entegre oldukça, çalışma önemli bilgilerin doğrulanmasının önemini vurguluyor; güvenilir veya tekrar eden bir sohbet botu yanıtının mutlaka doğru olduğunu varsaymak yerine.