Artık OpenAI’nin süper hizalama ekibinin neler yaptığını biliyoruz

AÇIK

Araştırmacılar, insanüstü makinelerin mevcut olmaması nedeniyle sorunun incelenmesinin zor olduğuna dikkat çekiyor. Bu yüzden stand-in’leri kullandılar. İnsanların insanüstü makineleri nasıl denetleyebileceğine bakmak yerine, OpenAI’nin beş yıl önce piyasaya sürdüğü bir model olan GPT-2’nin, OpenAI’nin en yeni ve en güçlü modeli olan GPT-4’ü nasıl denetleyebildiğine baktılar. Süper hizalama ekibinden başka bir araştırmacı olan Collin Burns, “Bunu yapabilirseniz, insanların insanüstü modelleri denetlemesini sağlamak için benzer teknikleri kullanabileceğinizin kanıtı olabilir” diyor.

Ekip GPT-2’yi aldı ve onu bir dizi satranç bulmacası ve çıkarımları, duygu analizini vb. değerlendiren 22 ortak doğal dil işleme testi de dahil olmak üzere bir dizi farklı görevi gerçekleştirmek üzere eğitti. GPT-4’ü aynı görevleri yerine getirecek şekilde eğitmek için GPT-2’nin bu testlere ve bulmacalara verdiği yanıtları kullandılar. Sanki 12. sınıf öğrencisine bir görevin nasıl yapılacağını üçüncü sınıf öğrencisi öğretiyormuş gibi. İşin püf noktası, bunu GPT-4’ün performansta çok büyük bir darbe almadan yapmasıydı.

Sonuçlar karışıktı. Ekip, GPT-2’nin en iyi tahminlerine göre eğitilen GPT-4 ile doğru yanıtlara göre eğitilen GPT-4 arasındaki performans farkını ölçtü. GPT-2 tarafından eğitilen GPT-4’ün, dil görevlerinde GPT-2’den %20 ila %70 daha iyi performans gösterdiğini ancak satranç bulmacalarında daha az başarılı olduğunu buldular.

Ekip üyesi Pavel Izmailov, GPT-4’ün öğretmenini geride bırakmasının etkileyici olduğunu söylüyor: “Bu gerçekten şaşırtıcı ve olumlu bir sonuç.” Ancak tek başına yapabileceklerinin çok gerisinde kaldığını söylüyor. Yaklaşımın umut verici olduğu ancak daha fazla çalışmaya ihtiyaç duyduğu sonucuna vardılar.

Almanya’daki Stuttgart Üniversitesi’nde hizalanma üzerinde çalışan yapay zeka araştırmacısı Thilo Hagendorff, “Bu ilginç bir fikir” diyor. Ancak GPT-2’nin iyi bir öğretmen olamayacak kadar aptal olabileceğini düşünüyor. “GPT-2, biraz karmaşık veya akıl yürütme gerektiren herhangi bir göreve anlamsız yanıtlar verme eğiliminde” diyor. Hagendorff bunun yerine GPT-3 kullanılırsa ne olacağını bilmek istiyor.

Kendisi aynı zamanda bu yaklaşımın Sutskever’in süper zekanın gerçek davranışını gizlediği ve uyumlu olmadığı halde uyumlu gibi davrandığı varsayımsal senaryosunu ele almadığını da belirtiyor. Hagendorff, “Gelecekteki insanüstü modeller muhtemelen araştırmacıların bilmediği yeni ortaya çıkan yeteneklere sahip olacak” diyor. “Bu durumlarda uyum nasıl çalışabilir?”

Ancak eksiklikleri belirtmenin kolay olduğunu söylüyor. OpenAI’nin spekülasyondan deneye geçtiğini görmekten memnun: “OpenAI’yi çabaları için alkışlıyorum.”

OpenAI artık başkalarını da kendi davasına katmak istiyor. Bu araştırma güncellemesinin yanı sıra şirket, süper hizalama üzerinde çalışan insanlara fon sağlamak için kullanmayı planladığı 10 milyon dolarlık yeni bir para potunu da duyurdu. Üniversite laboratuvarlarına, kar amacı gütmeyen kuruluşlara ve bireysel araştırmacılara 2 milyon dolara kadar hibe ve lisansüstü öğrencilerine 150.000 dolarlık bir yıllık burslar sunacak. Aschenbrenner, “Bu konuda gerçekten heyecanlıyız” diyor. “Gerçekten yeni araştırmacıların katkıda bulunabileceği çok şey olduğunu düşünüyoruz.”