AI-metin algılama araçlarını kandırmak gerçekten çok kolay

Google’da doğal dil üretimi konusunda uzman olan ve projede çalışmayan kıdemli araştırma bilimcisi Daphne Ippolito başka bir endişeyi dile getiriyor.

“Otomatik algılama sistemleri eğitim ortamlarında kullanılacaksa, bir öğrenciyi yanlış bir şekilde kopya çekmekle suçlamanın akademik kariyerleri için korkunç sonuçları olabileceğinden, yanlış pozitif oranlarını anlamak çok önemlidir” diyor. “Yanlış negatif oranı da önemlidir, çünkü yapay zeka tarafından üretilen çok sayıda metin insan yazısı olarak geçerse tespit sistemi kullanışlı olmaz.”

Araştırmacılar tarafından test edilen araçlardan birini oluşturan Compilatio, sisteminin yalnızca potansiyel intihal veya yapay zeka tarafından potansiyel olarak oluşturulmuş içerik olarak sınıflandırdığı şüpheli pasajları gösterdiğini hatırlamanın önemli olduğunu söylüyor.

“Belgenin yazarı tarafından fiilen edinilen bilgiyi doğrulamak veya ima etmek için analiz edilen belgeleri işaretleyen okullara ve öğretmenlere kalmıştır; örneğin ek araştırma araçları -sözlü sorgulama, kontrollü bir sınıf ortamında ek sorular- devreye sokarak. vb.,” dedi bir Compilatio sözcüsü.

“Bu şekilde Compilatio araçları, iyi araştırma, yazma ve alıntı uygulamaları hakkında bilgi edinmeyi teşvik eden gerçek bir öğretim yaklaşımının parçasıdır. Derleme yazılımı bir düzeltici değil, bir düzeltme yardımcısıdır” diye ekledi sözcü. Turnitin ve GPT Zero, yorum talebine hemen yanıt vermedi.

Yapay zeka ile yazılmış metni algılamayı amaçlayan araçların her zaman olması gerektiği gibi çalışmadığını bir süredir biliyoruz. Bu yılın başlarında OpenAI, ChatGPT tarafından üretilen metni algılamak için tasarlanmış bir aracı tanıttı ve yapay zeka tarafından yazılan metnin yalnızca %26’sını “olasılıkla yapay zeka tarafından yazılmış” olarak işaretlediğini kabul etti. OpenAI, MIT Technology Review’ı web sitesinde eğitimcilerle ilgili hususlar için işaret etti ve bu, AI tarafından oluşturulan içeriği tespit etmek için tasarlanan araçların “kusursuz olmaktan uzak” olduğu konusunda uyarıda bulundu.

Bununla birlikte, araştırmaya dahil olmayan Maryland Üniversitesi’nde yardımcı doçent olan Tom Goldstein, bu tür başarısızlıkların şirketleri işi yapmayı vaat eden ürünleri aceleyle çıkarmaktan alıkoymadığını söylüyor.

Turnitin’in oldukça düşük bir yanlış pozitif oranıyla bir miktar tespit doğruluğu elde etmeyi başardığına dikkat çekerek, “Birçoğu yüksek doğrulukta değil, ancak hepsi de tam bir felaket değil,” diye ekliyor. AI girişimi Hugging Face’de araştırmacı olan Sasha Luccioni, AI-metin algılama sistemlerinin eksikliklerine ışık tutan çalışmalar çok önemli olsa da, çalışmanın kapsamını ChatGPT’nin ötesinde AI araçlarına genişletmek yararlı olurdu, diyor. .

Kovanović’e göre, AI ile yazılmış metni tespit etmeye çalışma fikri kusurlu.

“Yapay zekayı tespit etmeye çalışmayın; bunu yapay zeka kullanımının sorun olmaması için yapın” diyor.