AI tarafından oluşturulan metin nasıl tespit edilir?
Büyük dil modelleri bir cümledeki bir sonraki kelimeyi tahmin ederek çalıştığından, riskli, nadir kelimeler yerine “the”, “it” veya “is” gibi yaygın kelimeleri kullanma olasılıkları daha yüksektir. Ippolito ve Google’daki bir araştırmacı ekibinin 2019’da yayınladıkları araştırmada buldukları, bu tam olarak otomatik algılama sistemlerinin iyi yakaladığı türden bir metin.
Ancak Ippolito’nun çalışması ayrıca ilginç bir şey gösterdi: insan katılımcılar bu tür “temiz” metinlerin daha iyi göründüğünü ve daha az hata içerdiğini ve dolayısıyla bir kişi tarafından yazılmış olması gerektiğini düşünme eğilimindeydiler.
Gerçekte, insan eliyle yazılmış metinler yazım hatalarıyla dolu ve inanılmaz derecede değişken, farklı stiller ve argo içeriyor, oysa “dil modelleri çok ama çok nadiren yazım hatası yapıyor. Mükemmel metinler oluşturmada çok daha iyiler,” diyor Ippolito.
“Metindeki bir yazım hatası aslında onun insan yazısıyla yazıldığının gerçekten iyi bir göstergesidir” diye ekliyor.
Yapay zeka tarafından oluşturulan metni algılamak için büyük dil modellerinin kendisi de kullanılabilir. Kanada doğal araştırma başkanı Muhammed Abdul-Mageed, bunu yapmanın en başarılı yollarından birinin, modeli insanlar tarafından yazılan bazı metinler ve makineler tarafından oluşturulan diğer metinler üzerinde yeniden eğitmek olduğunu söylüyor. -British Columbia Üniversitesi’nde dil işleme ve makine öğrenimi ve algılama eğitimi aldı.
Bu arada Texas Üniversitesi’nde bir bilgisayar bilimcisi olan ve bir yıl boyunca OpenAI’de araştırmacı olarak görevlendirilen Scott Aaronson, GPT-3 gibi modellerle üretilen daha uzun metin parçaları için filigranlar geliştiriyor. daha sonra evet, bunun GPT’den geldiğini kanıtlamak için kullanabileceğiniz kelime seçimleri, ”diye yazıyor blogunda.
OpenAI sözcüsü, şirketin filigranlar üzerinde çalıştığını doğruladı ve politikalarının, kullanıcıların AI tarafından oluşturulan metni “hiç kimsenin makul bir şekilde gözden kaçırmayacağı veya yanlış anlayamayacağı şekilde” açıkça belirtmesi gerektiğini belirttiğini söyledi.
Ancak bu teknik düzeltmeler büyük uyarılarla birlikte gelir. GPT-2 veya diğer önceki modeller üzerine inşa edildikleri için çoğunun en yeni nesil AI dil modellerine karşı hiç şansı yok. Bu algılama araçlarının çoğu, çok fazla metin olduğunda en iyi şekilde çalışır; daha kısa konuşmalara dayanan ve analiz edilecek daha az veri sağlayan sohbet botları veya e-posta asistanları gibi bazı somut kullanım durumlarında daha az verimli olacaklardır. Abdul-Mageed, tespit için büyük dil modellerinin kullanılmasının da güçlü bilgisayarlar ve teknoloji şirketlerinin izin vermediği yapay zeka modelinin kendisine erişim gerektirdiğini söylüyor.