AI görüntü oluşturucu Midjourney, insan üreme sistemiyle ilgili kelimeleri yasaklayarak pornoyu engeller

Midjourney’nin kurucusu David Holz, şirket “yapay zeka tarafında işleri geliştirirken” insanların şok edici veya kanlı içerik üretmesini önlemek için geçici bir önlem olarak bu kelimeleri yasakladığını söylüyor. Holz, moderatörlerin kelimelerin nasıl kullanıldığını ve ne tür görüntülerin üretildiğini izlediğini ve yasakları periyodik olarak ayarladığını söylüyor. Firmanın, cinsel görüntüler, kan ve hatta genellikle kalça sembolü olarak kullanılan 🍑emoji dahil olmak üzere bu şekilde engellediği içerik türlerini listeleyen bir topluluk yönergeleri sayfası vardır.

Midjourney, DALL-E 2 ve Stable Diffusion gibi AI modelleri, internetten kazınmış milyarlarca görüntü üzerinde eğitilmiştir. Washington Üniversitesi’ndeki bir ekip tarafından yapılan araştırma, bu tür modellerin kadınları cinsel olarak nesneleştiren önyargıları öğrendiğini ve bunun daha sonra ürettikleri görüntülere yansıdığını buldu. Veri setinin devasa boyutu, cinsel içerikli veya şiddet içeren ya da yanlı sonuçlara yol açabilecek istenmeyen görüntülerin kaldırılmasını neredeyse imkansız hale getiriyor. Veri kümesinde bir şey ne kadar sık ​​görünürse, yapay zeka modelinin kurduğu bağlantı o kadar güçlü olur, bu da modelin oluşturduğu görüntülerde görünme olasılığının daha yüksek olduğu anlamına gelir.

Midjourney’nin kelime yasakları, bu sorunu çözmek için parça parça bir girişimdir. “Sperm” ve “testisler” gibi erkek üreme sistemiyle ilgili bazı terimler de engellendi, ancak yasaklanan kelimelerin listesi ağırlıklı olarak kadınlara ait görünüyor.

Hızlı yasak ilk olarak Datafy Clinical’da klinik veri analisti olan Julia Rockwell ve Chapel Hill’deki North Carolina Üniversitesi’nde hücre biyoloğu olan arkadaşı Madeline Keenen tarafından fark edildi. Rockwell, onları inceleyen Keenen için plasentanın eğlenceli bir görüntüsünü oluşturmak için Midjourney’i kullandı. Rockwell, “plasenta”nın istem olarak kullanılmasının yasak olduğunu görünce şaşırdı. Daha sonra insan üreme sistemi ile ilgili başka kelimelerle deneyler yapmaya başladı ve aynısını buldu.

Bununla birlikte ikili, kelimelerin farklı yazımlarını veya cinsel veya kanlı içerik için diğer örtmeceleri kullanarak cinselleştirilmiş görüntüler oluşturmak için bu yasakları aşmanın nasıl mümkün olduğunu da gösterdi.

MIT Technology Review ile paylaştıkları bulgularda, İngiliz hecelemesini kullanan hızlı “jinekolojik muayenenin” bazı son derece ürkütücü görüntüler oluşturduğunu buldular: bir doktor muayenehanesindeki iki çıplak kadından ve bir başkası, üç uzuvlu kel bir kişinin vücudunu kesip biçmesinden. kendi midelerini kaldırıyorlar.

JULIA ROCKWELL

Midjourney’nin üreme biyolojisi ile ilgili istemleri kaba bir şekilde yasaklaması, üretici yapay zeka sistemleri etrafındaki içeriği denetlemenin ne kadar zor olduğunu vurguluyor. Rockwell, AI sistemlerinin kadınları cinselleştirme eğiliminin nasıl iç organlarına kadar uzandığını da gösteriyor, diyor.