Anthropic araştırmacısı kontrolsüz süper zeka korkusuyla AI endüstrisinden ayrıldı
Açık AI ve Anthropic'te çalışan Britanyalı yapay zeka araştırmacısı, yeterli güvenlik önlemleri olmadan giderek daha otonom sistemlere doğru hızla ilerleyen teknoloji şirketlerini uyararak AI endüstrisinden ayrıldı.
27 yaşındaki Jacob Coxon, önce OpenAI'de ardından da Anthropic'te yaklaşık üç yıl boyunca AI modellerinin ön eğitiminde çalıştı. Ön eğitim, modellerin belirli görevler için kullanıma sunulmadan önce büyük miktarda veriden öğrenme sürecidir.
Coxon, X'te paylaştığı bir açıklamada, her iki şirketin de güvenlikten ziyade daha yetenekli yapay zeka yarışını önceliklendirdiğini suçladı. Araştırmacıların, kendilerini geliştirebilen sistemler geliştirebileceği, kaynaklara erişim sağlayabileceği ve potansiyel olarak sınırlı insan gözetimiyle karmaşık siber saldırılar gerçekleştirebileceği konusunda uyardı.
Coxon, yapay zekanın felakete yol açma olasılığının ciddiye alınması gerektiğini, bunun bir endüstri tanıtım taktiği olarak reddedilmemesi gerektiğini belirtti. Ayrıca The Wall Street Journal'a, özellikle agresif geliştirme senaryolarında kontrol sorunlarının gelecek yıl ortaya çıkabileceğini söyledi.
Bu endişeler, Anthropic güvenlik araştırmacısı Evan Hubinger tarafından da dile getirildi. Hubinger, şirketin yapay zeka kaynaklı bir felaket olasılığını ciddiye aldığını söyledi. Hubinger, önümüzdeki on yıl içinde yapay zekanın insan neslinin yok olmasına neden olma riskinin %10'dan fazla olduğunu tahmin etti, ancak mevcut sistemlerin çok daha düşük bir risk taşıdığını vurguladı.
Bu uyarılar, teknoloji endüstrisinde yapay genel zekanın geliştirilmesi ve nihayetinde insanların geniş bir görev yelpazesinde aşabileceği sistemlerin yönetimi konusunda artan tartışmaların ortasında geliyor. Araştırmacılar, bu tür yeteneklerin ne kadar yakın olduğu ve mevcut güvenlik tekniklerinin yeterli olup olmadığı konusunda bölünmüş durumda.
OpenAI baş bilim insanı Jakub Pachocki de daha fazla dikkat çağrısında bulundu. Hükümetlerin yapay zeka yetenekleri hızla gelişirken uluslararası koordinasyonu önceliklendirmesi gerektiğini savundu ve geliştiricilerin büyük ölçekli eğitimle üretilen sistemlerin davranışlarından sürprizler yaşayabileceğini uyardı.
Pachocki, yine de daha yetenekli sistemlerin kritik altyapıyı korumaya yardımcı olabileceği ve tehlikeli teknolojilere karşı yeni savunmalar geliştirebileceğini savunarak devam eden yapay zeka araştırmalarını savundu.
Coxon'un ayrılması, AI şirketlerinin otonom AI ajanlarının davranışları konusunda artan bir incelemeyle karşı karşıya olduğu bir dönemde gerçekleşti. Son deneyler, bazı sistemlerin belirli görevleri tamamlarken beklenmedik eylemlerde bulunabileceğini göstermiştir; bunlar arasında görünüşte izole ortamlardan kaçınma yolları bulmak ve harici bilgisayar sistemleriyle etkileşimde bulunmak bulunmaktadır.
AI ajanları, sınırlı insan müdahalesi ile görevleri yerine getirmek üzere tasarlanmıştır ve bu durum siber güvenlik, hesap verebilirlik ve geliştiricilerin davranışlarını tahmin etme yeteneği konusunda endişelere yol açmaktadır. Bildirilen bir deneyde, bir AI sistemi, sözde izole bir ortamdan internete ulaşmayı başardı ve ardından AI platformu Hugging Face'in bilgisayar altyapısıyla etkileşimde bulundu.
Diğer olaylar, AI sistemlerinin doğrudan insan gözetimi olmadan birbirleriyle iletişim kurma olasılığını vurgulamıştır. OpenAI ajanlarının deneyler sırasında dış bir wiki kullanarak bilgi alışverişinde bulunduğuna dair raporlar, güvenlik önlemleri ve izleme konusundaki tartışmaları daha da yoğunlaştırmıştır.
Sektör, gelişmiş sistemlerin daha kontrol edilebilir hale gelmesini sağlamak amacıyla, AI modellerinin eylemlerini doğal dilde açıklamalarını gerektiren önlemler getirmiştir. Ancak araştırmacılar, bu tür mekanizmaların karmaşık sistemlerin istenmeyen hedeflere yönelmesini güvenilir bir şekilde engelleyip engelleyemeyeceği konusunda tartışmaya devam etmektedir.
Anthropic, kendi güvenlik taahhütleri konusunda da zor seçimlerle karşı karşıya kalmıştır. Bu yılın başlarında, yeterince risklerini kontrol edemediği takdirde model geliştirmeyi durdurmayı gerektiren bir maddeyi güvenlik çerçevesinden çıkarmıştır. Şirket, tek taraflı olarak yavaşlamanın, daha zayıf güvenlik standartlarına sahip rakiplerin öne geçmesine neden olabileceğini savundu.
Coxon, bu rekabet dinamiğinin mevcut yapay zeka yarışını tehlikeli hale getiren tam olarak bu olduğunu düşünüyor. Anthropic'in güvenlik endişelerini ciddiye aldığını kabul ederken, hiçbir özel şirketin zamanla insan yeteneklerini aşabilecek sistemlerin geliştirilmesiyle ilişkili riskleri bağımsız olarak yönetemeyeceğini savundu.
İstifası, yapay zeka gelişimi hızlanırken daha güçlü denetim ve uluslararası işbirliği çağrısında bulunan araştırmacılar, teknoloji yöneticileri ve politika yapıcılarından oluşan büyüyen bir uyarı listesini artırmaktadır.
-
23:30
-
23:00
-
21:40
-
19:40
-
18:20
-
18:00
-
17:40
-
17:40
-
17:00
-
16:40
-
16:00
-
15:45
-
14:40
-
14:20
-
13:20
-
13:00
-
12:45
-
12:30
-
12:15
-
11:45
-
11:30
-
11:15
-
11:00
-
10:30
-
10:15
-
10:06
-
10:02
-
10:00
-
09:45
-
09:45
-
09:32
-
09:30
-
09:15
-
09:15