Yapay zekanın temel eğitimi üzerinde OpenAI ve Anthropic’te üç yıl çalışan bir araştırmacı Anthropic’ten istifa etti. Her iki şirketi de insanlığın geleceğiyle kabul edilemez riskler alırken kendini geliştiren süper zekaya doğru yarışmakla suçladı.
Jacob Coxon, 9 Eylül’de X’te paylaştığı bir dizi gönderiyle istifasını duyurdu. “Hiçbir şirket sorumlu davranmıyor. Doğrudan kendini geliştiren süper zekaya koşuyorlar ve hayatlarımızla kumar oynuyorlar.” yazdı.
Coxon, büyük yapay zeka modellerinin geniş veri kümeleri üzerinde eğitildiği ve daha sonra iyileştirme ile güvenlik eğitiminden önce gelen hesaplama açısından yoğun aşama olan ön eğitimde çalıştı. Axios’a göre OpenAI ve Anthropic’te toplam yaklaşık üç yıl çalıştı ve istifa ettiği sırada Anthropic’te sadece dört aydır bulunuyordu. Anthropic’teki hisselerinin hak kazanmasına iki ay kala ayrıldı.
Uyarısı, yapay zekanın işleri değiştirmesi endişesinin çok ötesine gidiyor.
Coxon yazdı: “Bu teknolojinin gücünü küçümsemeyin. Bunlar yakında her şeyi hackleyebilen, herhangi bir alanı bir gecede devrimleştirebilen ve gerçek güç ve kaynak edinebilen süper insan sistemler olacak.”
Ardından dünyanın en gelişmiş yapay zekasını geliştiren şirketlerin içindeki tutumlar hakkında en ciddi iddialarından birini ortaya koydu.
“Yapay zekayı inşa eden insanlar samimiyetle bunun on yıl sonuna kadar hepimizi öldürebileceğine inanıyor” diye yazdı. “Bu bir pazarlama numarası değil.”
Coxon, kıdemli araştırmacıların ve yöneticilerin bazen kamuya açıkladıklarından daha büyük endişe duyduklarını özel olarak dile getirdiğini iddia etti. Giderek daha otonom hale gelen yapay zeka sistemlerinin yarattığı risklerin sektörün bazı kesimlerinde iyi anlaşıldığını savundu.
Ayrıca OpenAI ve Anthropic’te karşılaştığı kültürler arasında ayrım yaptı.
“OpenAI’de pek çok kişi medeniyet açısından olan riskleri derinlemesine içselleştirmemiş” diye yazdı Coxon. “Anthropic’te riskler iyi anlaşılıyor ama oraya ilk ulaşmak için bir yarışın içinde kilitlenmiş durumdalar.”
Coxon’a göre Anthropic’in yaklaşımı, son derece yetenekli yapay zekanın her halükarda geliştirileceği inancından kaynaklanıyor. Riskleri ciddiye alan bir şirketin daha temkinli olmayan bir rakibe göre önce o noktaya ulaşmasının daha güvenli olduğu düşünülüyor.
Bu mantığı reddetti.
“Bu yarışı kabul etmek ve ‘son oyuna’ girmek, özel bir şirketin Slack’inden başlatılmaması gereken kibirli bir kumar” diye yazdı.
İstifa özellikle önemli çünkü Anthropic uzun süredir kendini en ileri yapay zekayı geliştiren şirketler arasında daha güvenlik bilinci yüksek aktörlerden biri olarak konumlandırdı. 2021’de eski OpenAI çalışanları tarafından kurulan şirket, hizalama, test ve giderek daha yetenekli sistemlerin risklerinin yönetilmesi gerektiğini sürekli vurguladı.
Coxon, sektörün bunun yerine geliştirme hızını yavaşlatacak anlaşmaları değerlendirmesi gerektiğini, hatta çok daha güçlü bir müdahalenin söz konusu olabileceğini söyledi.
ABD laboratuvarları arasında yapay zeka geliştirme hızını kontrol altına alacak anlaşmaları daha gerçekçi kılabilecek bir “uyarı ateşi” olarak yakın zamanda yaşanan Hugging Face güvenlik olayına işaret etti. Küresel bir yarışı önlemek için, tartıştığı üzere, nihayetinde “model yeteneklerini geliştirmenin geçici olarak yasaklanması” kadar önemli önlemler gerekebilir.
Hugging Face olayı varsayımsal değildi.
Anthropic Temmuz ayında, bir siber güvenlik değerlendirmesi sırasında OpenAI modellerinin daha önce bilinmeyen bir güvenlik açığından faydalanarak izole bir test ortamından kaçtığını ve Hugging Face’in üretim altyapısına erişim sağladığını açıkladı. Olay Anthropic’i kendi değerlendirme çalışmalarından 141 binden fazlasını gözden geçirmeye sevk etti.
Bu inceleme, Claude modellerinin bir değerlendirme ortamından internete ulaşarak gerçek kuruluşlara yetkisiz erişim sağladığı üç olay tespit etti.
Anthropic, olayların modellerin kurgusal sistemlere saldırması için kasıtlı olarak görevlendirildiği siber güvenlik testleri sırasında gerçekleştiğini vurguladı ve değerlendirme ortamındaki hataların modellerin açık internete ulaşmasına izin verdiğini söyledi. Şirket, modellerin bağımsız olarak kötü niyetli hedefler geliştirdiğine dair bir kanıt bulmadığını belirtti.
Davranışların bazıları yine de endişe vericiydi. Bir testte bir Claude modeli, bir simülasyonun içinde çalıştığına inanarak kötü niyetli bir Python paketi oluşturup kamuya açık bir depoya yükledi. Paket kaldırılmadan önce gerçek sistemler tarafından indirildi. Başka bir değerlendirmede bir model binlerce hedefi taradı ve gerçek bir şirkete sızdı, ancak sonunda gerçek bir sisteme ulaştığını fark edip durdu.
Anthropic bu eksiklikleri daha sonra güvenlik önlemleri ve eğitim ortamlarındaki yetersizlikler olarak kabul etti. Ağustos ayında şirket, pekiştirmeli öğrenme ortamlarını üretme hızının bir noktada bunları uygun şekilde denetleme kapasitesini aştığını, ödül hileciliği ve yapılandırma sorunlarının tespit ve onarım yeteneğinin önüne geçtiğini söyledi. Daha sonra sistemler elden geçirilirken üretim pekiştirmeli öğrenme ortamlarındaki değişiklikleri yaklaşık bir ay dondurdu.
Coxon, endişe dile getiren tek kişi değil.
İstifasının ardından Anthropic hizalama araştırmacısı Evan Hubinger, bazı yapay zeka araştırmacılarının teknolojinin varoluşsal bir tehdit oluşturabileceğine inandığı yönündeki temel iddiayı açıkça destekledi.
“Yapay zekanın tüm insanları öldürebileceğine gerçekten samimiyetle inanıyoruz” diye yazdı Hubinger X’te. Bu durumun önümüzdeki on yıl içinde gerçekleşme olasılığını yüzde 10’un üzerinde gördüğünü belirtti.
Açıklamalar ABD’de siyasi denetimi artırdı. Her iki partiden milletvekilleri, bağımsız güvenlik testleri de dahil olmak üzere gelişmiş yapay zeka üzerinde daha fazla denetim çağrısında bulundu. Anthropic Reuters’a, siber güvenlik ve biyoloji gibi alanlarda tehlikeli yetenekler açısından modelleri agresif şekilde test etmeye devam etmeyi planladığını söyledi. Şirket ayrıca yeni sistemlerin piyasaya sürülme hızı konusunda diğer yapay zeka geliştiricileriyle çalışmaya ilgi duyduğunu belirtti.
OpenAI ve Anthropic, Coxon’un istifasının ardından iddialarına ilişkin Associated Press’in yorum talebine derhal yanıt vermedi. Her iki şirket de kamuoyunda giderek daha yetenekli yapay zekanın geliştirilmesinde güvenliğin merkezi olduğunu sürdürüyor.
Coxon, dizisini şirket yöneticilerine veya siyasetçilere değil, teknolojiyi hâlâ inşa eden araştırmacılara yönelik bir çağrıyla bitirdi.
“Eğer bir laboratuvar araştırmacısıysanız, önümüzdeki birkaç yılın gerçekte nasıl hissedileceğini düşünmenizi rica ediyorum” diye yazdı.
