Büyük dil modellerine güvenmek kendi sorumluluğunuzdadır

Meta’ya göre, Galactica “akademik makaleleri özetleyebilir, matematik problemlerini çözebilir, Wiki makaleleri oluşturabilir, bilimsel kod yazabilir, moleküllere ve proteinlere açıklama ekleyebilir ve daha fazlasını yapabilir.” Ancak lansmanından kısa bir süre sonra, yabancıların bunu yapması oldukça kolaydı. çabuk homofobi, antisemitizm, intihar, cam yeme, beyaz olma ya da erkek olmanın faydaları üzerine “bilimsel araştırma” yapma modeli. Bu arada, AIDS veya ırkçılıkla ilgili gazeteler bloke edildi. Alımlı!

Meslektaşım Will Douglas Heaven’ın fiyaskoyla ilgili hikayesinde yazdığı gibi: “Meta’nın yanlış adımı – ve onun kibri – bir kez daha Big Tech’in büyük dil modellerinin ciddi sınırlamaları konusunda kör bir noktaya sahip olduğunu gösteriyor.”

Galactica’nın lansmanı sadece erken değildi, aynı zamanda AI araştırmacılarının büyük dil modellerini daha güvenli hale getirme çabalarının ne kadar yetersiz olduğunu gösteriyor.

Meta, Galactica’nın kulağa bilimsel görünen içerik üretme konusunda rakiplerinden daha iyi performans gösterdiğinden emin olabilirdi. Ancak modeli önyargı ve doğruluk açısından kendi testi, şirketi onu vahşi doğaya salmaktan caydırmış olmalıydı.

Araştırmacıların büyük dil modellerini toksik içerik yayma olasılığını azaltmayı amaçlamasının yaygın yollarından biri, belirli anahtar kelimeleri filtrelemektir. Ancak insanların tatsız olabileceği tüm nüansları yakalayabilen bir filtre oluşturmak zordur. Şirket, Galactica’da araştırmacıların mümkün olduğu kadar çok sayıda farklı önyargılı sonucu ortaya çıkarmasını sağlamaya çalışacakları daha fazla düşmanca test gerçekleştirmiş olsaydı, kendisini bir dünya beladan kurtarabilirdi.

Meta’nın araştırmacıları, modeli önyargılar ve doğruluk açısından ölçtüler ve GPT-3 ve Meta’nın kendi OPT modeli gibi rakiplerinden biraz daha iyi performans gösterse de, pek çok önyargılı veya yanlış yanıt verdi. Ayrıca başka sınırlamalar da var. Model, açık erişimli bilimsel kaynaklar üzerinde eğitilmiştir, ancak birçok bilimsel makale ve ders kitabı, ödeme duvarlarının arkasında kısıtlanmıştır. Bu, kaçınılmaz olarak Galactica’nın daha kabataslak ikincil kaynaklar kullanmasına yol açar.

Galactica ayrıca yapay zekaya gerçekten ihtiyacımız olmayan bir şeye örnek gibi görünüyor. Meta’nın bilim adamlarının daha hızlı çalışmasına yardımcı olma hedefine bile ulaşacak gibi görünmüyor. Aslında, modelden gelen bilgilerin doğru olup olmadığını doğrulamak için çok fazla çaba sarf etmelerini gerektirecektir.

Daha iyi bilmesi gereken büyük AI laboratuvarlarının bu tür kusurlu teknolojileri abarttığını görmek gerçekten hayal kırıklığı yaratıyor (yine de tamamen şaşırtıcı değil). Dil modellerinin önyargıyı yeniden üretme ve yanlışları gerçekler olarak öne sürme eğiliminde olduğunu biliyoruz. Ayıların uzaydaki tarihi hakkında wiki makaleleri gibi “halüsinasyon” görebileceklerini veya içerik uydurabileceklerini biliyoruz. Ama bozgun en azından bir şey için faydalıydı. Bize büyük dil modellerinin kesin olarak “bildiği” tek şeyin sözcüklerin ve cümlelerin nasıl oluştuğu olduğunu hatırlattı. Diğer her şey tahmindir.