Japonya’da insanların zihinlerindeki görsel imgeleri metne dönüştüren teknik geliştirildi
Japonya’da bulunan Nippon Telegraph ve Telephone telekomünikasyon şirketinin İletişim Bilimleri Laboratuvarı’nda çalışan araştırmacı Horikawa Tomoyasu, 22-37 yaş aralığında, ana dili Japonca olan 6 gönüllüyle yürüttüğü çalışmada, zihinsel imgelerin yazılı betimlemelere aktarılma sürecini araştırdı.
Deney süresince katılımcılara nesnelerden doğa manzaralarına, insan hareketlerinden günlük aktivitelere kadar çeşitli içeriklere sahip 2 bin 180 video gösterildi.
AA’nın WhatsApp kanallarına katılın, önemli gelişmeler cebinize düşsün.
🔹 Gündemdeki gelişmeler, özel haber, analiz, fotoğraf ve videolar için Anadolu Ajansı
🔹 Anlık gelişmeler için AA Canlı
Katılımcıların beyin aktiviteleri, izledikleri kısa süreli videolar sırasında fonksiyonel manyetik rezonans görüntüleme (fMRI) cihazıyla kaydedildi.
Videoların içeriğine ilişkin yazılı metinler önce büyük dil modelleri tarafından sayısal dizilere dönüştürüldü, ardından basit yapay zeka modelleri, bu sayısal diziler ile videolar izlenirken kaydedilen beyin aktivitelerini eşleştirecek şekilde eğitildi.
Deney kapsamında, katılımcıların videoları izlerken veya izlediklerini hatırlarken zihinlerinde canlandırdığı görüntüleri cümlelere dönüştürmeyi başaran Horikawa, geliştirdiği tekniğe “zihin betimleme” adını verdi.
Horikawa, bu yeni yöntemin, beynin görsel bilgiyi nasıl işlediğini çözümleyerek nesneleri, mekanları, eylemleri, olayları ve aralarındaki ilişkileri betimleyen ayrıntılı metinler üretebildiğini söyledi.
Tekniğin, beyindeki dil merkezlerinden bağımsız çalıştığını vurgulayan Horikawa, bunun nörodejeneratif hastalıklar nedeniyle konuşma yetisini kaybeden kişilerin iletişim kurmasına yardımcı olabileceğini belirtti.
Çalışma, “Science Advances” dergisinde yayımlandı.
Anadolu Ajansı web sitesinde, AA Haber Akış Sistemi (HAS) üzerinden abonelere sunulan haberler, özetlenerek yayımlanmaktadır. Abonelik için lütfen iletişime geçiniz.