Yapay Zeka, Cassie'ye iki ayaklı robota koşmayı ve zıplamayı nasıl öğretti?

Araştırmacılar, Cassie lakaplı iki ayaklı bir robotun, her hareket için özel bir eğitim almadan, çeşitli arazilerde 400 metre koşmasına ve ayakta uzun atlamalar ve yüksek atlamalar yapmasına yardımcı olmak için takviyeli öğrenme adı verilen bir yapay zeka tekniğini kullandı. Takviyeli öğrenme, bir hedefi gerçekleştirmeye çalışan bir yapay zekayı ödüllendirerek veya cezalandırarak çalışır. Bu durumda yaklaşım, robota öncekilerin yaptığı gibi donmak yerine genelleme yapmayı ve yeni senaryolara yanıt vermeyi öğretti.

Henüz hakem değerlendirmesinden geçmemiş projede çalışan Berkeley'deki California Üniversitesi'nden doktora öğrencisi Zhongyu Li, “Robot çevikliğinin sınırlarını zorlamak istedik” diyor. “Üst düzey hedef, robota her türlü dinamik hareketi bir insanın yaptığı gibi nasıl yapacağını öğrenmesini öğretmekti.”

Ekip, Cassie'yi eğitmek için bir simülasyon kullandı; bu yaklaşım, öğrenmesi için gereken süreyi (yıllardan haftalara) önemli ölçüde hızlandıran ve robotun daha fazla ince ayar yapmadan aynı becerileri gerçek dünyada gerçekleştirmesini sağlayan bir yaklaşımdı.

İlk olarak, Cassie'yi kontrol eden sinir ağını, olduğu yerde zıplamak, ileri yürümek veya devrilmeden ileri koşmak gibi basit bir beceriyi sıfırdan öğrenmek üzere eğittiler. Bir insandan toplanan hareket yakalama verilerini ve istenen hareketi gösteren animasyonları içeren, gösterilen hareketleri taklit etmeye teşvik edilerek öğretildi.

İlk aşama tamamlandıktan sonra ekip, robotu yeni hareket becerilerini kullanarak görevleri yerine getirmeye teşvik eden yeni komutları modele sundu. Simüle edilmiş bir ortamda yeni görevleri yerine getirme konusunda yetkin hale geldikten sonra, görev rastgeleleştirme adı verilen bir yöntemle üzerinde eğitim aldığı görevleri çeşitlendirdiler.

Bu, robotun beklenmedik senaryolara karşı çok daha hazırlıklı olmasını sağlar. Örneğin robot, bir tasma tarafından yanlara doğru çekilirken sabit bir yürüyüş yürüyüşü sürdürmeyi başardı. Li, “Robotun gözlemlediği şeyin geçmişini kullanmasına ve gerçek dünyaya hızlı bir şekilde uyum sağlamasına izin verdik” diyor.

Cassie, 400 metrelik koşuyu iki dakika 34 saniyede tamamladı, ardından ek eğitime ihtiyaç duymadan uzun atlamada 1,4 metre atladı.

Araştırmacılar şimdi bu tür bir tekniğin, yerleşik kameralarla donatılmış robotları eğitmek için nasıl kullanılabileceğini araştırmayı planlıyor. Oregon State Üniversitesi'nde bilgisayar bilimi profesörü olan ve Cassie robotunun geliştirilmesine yardımcı olan ancak bu projede yer almayan Alan Fern, bunun eylemleri körü körüne tamamlamaktan daha zor olacağını ekliyor.

“Alan için bir sonraki büyük adım, gerçek işler yapan, faaliyetleri planlayan ve fiziksel dünyayla yalnızca ayaklar ve yer arasındaki etkileşimlerden ibaret olmayan şekillerde etkileşime giren insansı robotlardır” diyor.