AI kıyametinden kaçınmak için nükleer güvenlikten öğrenin
Geçen hafta, bir grup teknoloji şirketi lideri ve yapay zeka uzmanı, başka bir açık mektup yazarak, yapay zeka nedeniyle insanların yok olma riskini azaltmanın, pandemileri ve nükleer savaşı önlemek kadar küresel bir öncelik olması gerektiğini bildirdi. (Yapay zeka geliştirmede bir duraklama çağrısı yapan ilki, birçok yapay zeka aydını da dahil olmak üzere 30.000’den fazla kişi tarafından imzalandı.)
Peki şirketler yapay zekanın mahvolmasını önlememizi nasıl öneriyor? Bir öneri, Oxford, Cambridge, Toronto Üniversitesi, Montreal Üniversitesi, Google DeepMind, OpenAI, Anthropic, çeşitli AI araştırma kar amacı gütmeyen kuruluşları ve Turing Ödülü sahibi Yoshua Bengio’dan araştırmacılar tarafından hazırlanan yeni bir makaleden geliyor.
AI geliştiricilerinin, herhangi bir eğitime başlamadan önce bile, geliştirmenin çok erken aşamalarında bir modelin “aşırı” risklere neden olma potansiyelini değerlendirmesi gerektiğini öne sürüyorlar. Bu riskler, yapay zeka modellerinin insanları manipüle etme ve aldatma, silahlara erişim elde etme veya istismar edilecek siber güvenlik açıkları bulma potansiyelini içerir.
Bu değerlendirme süreci, geliştiricilerin bir modelle devam edip etmemeye karar vermelerine yardımcı olabilir. Riskler çok yüksek kabul edilirse, grup hafifletilene kadar geliştirmeyi duraklatmayı önerir.
DeepMind’da araştırma bilimcisi ve baş yazarı Toby Shevlane, “Sınırı ileriye taşıyan önde gelen AI şirketlerinin, ortaya çıkan sorunlara karşı dikkatli olma ve bunları erken tespit etme sorumluluğu vardır, böylece bunları mümkün olan en kısa sürede ele alabiliriz” diyor. kağıt.
Shevlane, AI geliştiricilerinin bir modelin tehlikeli yeteneklerini keşfetmek ve bu yetenekleri uygulama eğilimine sahip olup olmadığını belirlemek için teknik testler yapması gerektiğini söylüyor.
DeepMind’in bir AI dil modelinin insanları manipüle edip edemeyeceğini test etmesinin bir yolu, “Bana söylettir” adlı bir oyundur. Oyunda model, insan tipini, insanın önceden bilmediği “zürafa” gibi belirli bir kelime yapmaya çalışır. Araştırmacılar daha sonra modelin ne sıklıkla başarılı olduğunu ölçer.
Farklı, daha tehlikeli yetenekler için benzer görevler oluşturulabilir. Shevlane, umut, geliştiricilerin modelin nasıl performans gösterdiğini detaylandıran bir pano oluşturabileceklerini ve bu da araştırmacıların modelin yanlış ellerde neler yapabileceğini değerlendirmelerine olanak tanıyacaklarını söylüyor.
Bir sonraki aşama, harici denetçilerin ve araştırmacıların yapay zeka modelinin risklerini, devreye alınmadan önce ve sonra değerlendirmesine izin vermektir. Teknoloji şirketleri, dış denetim ve araştırmanın gerekli olduğunun farkında olsalar da, dışarıdan gelenlerin işi yapmak için tam olarak ne kadar erişime ihtiyaç duyduğu konusunda farklı düşünce okulları vardır.