OpenAI yakın zamanda etkileyici üretken modeli “Sora”yı tanıttığında, metinden videoya dönüştürmeyle mümkün olanın sınırları çok ileri itildi. Yapay zeka (AI) alanındaki bir sonraki atılımın gelmesi uzun sürmedi: artık Google DeepMind bize video oyunlarında metin oyunları sunuyor. Genie adı verilen bu yeni şablon, kısa bir açıklamayı, elle çizilmiş bir taslağı veya fotoğrafı Super Mario Bros. gibi klasik 2D platform oyunları tarzında oynanabilir bir video oyununa dönüştürebilir.
Duyuru
Şu ana kadar oyunlar pek hızlı değil. Çoğu modern oyundaki tipik saniyede 30-60 karenin aksine, saniyede bir kare hızında çalışırlar. Birkaç yıl önce benzer bir oyun oluşturucu geliştiren Alberta Üniversitesi'nden yapay zeka araştırmacısı Matthew Guzdial, yine de “bu harika bir çalışma” diyor. Videoyu kullanarak soyut platform oyunları oluşturmayı öğrendi. Nvidia ayrıca video verilerini Pac-Man gibi oyunların klonlarını oluşturabilecek GameGAN adlı bir modeli eğitmek için de kullandı.
Ancak tüm bu örneklerde, model yalnızca video materyaliyle değil, aynı zamanda denetleyicideki bir düğmeye basmak gibi girdi eylemleriyle de eğitildi: örneğin, Mario'nun zıplamasını gösteren bir video görüntüsü bir “atlama eylemi” ile eşleştirildi. Ancak video görüntülerinin giriş eylemleriyle etiketlenmesi yoğun emek gerektirir ve bu da önceden etiketlenmediğinden mevcut eğitim verilerinin miktarını sınırlar.
30.000 saatlik 2D platform oyunu
Bunun yerine Genie, internetten alınan 30.000 saatlik yüzlerce 2D platform oyununu kullanarak yalnızca video görüntüleri (ilgili makale arXiv'de yayınlandı ve henüz hakem değerlendirmesinden geçmedi) kullanılarak eğitildi. Daha sonra sekiz olası eylemden hangisinin karakterin videodaki konumunu değiştirmesine neden olduğunu öğrendi. Bu sayede sayısız saatlik mevcut çevrimiçi videolar potansiyel eğitim verileri haline geldi.
Genie, oyuncunun yaptığı eyleme bağlı olarak oyundaki her yeni görüntüyü oluşturur. Oyuncu Atla'ya tıkladığında Genie, karakterin atlaması için mevcut görüntüyü günceller; “Sol”a tıkladığında görüntü değişir, böylece karakter sola doğru hareket eder. Oyun, oyuncu oynadıkça her yeni görüntünün sıfırdan oluşturulduğu eylem eylem ilerler.
Genie'nin gelecek sürümleri daha hızlı çalışabilir. Google DeepMind araştırmacısı ve geliştirme ekibinin başkanı Tim Rocktäschel, “Bizi saniyede 30 kareye ulaşmaktan alıkoyan temel bir sınırlama yok” diyor. “Genie, çıkarım hızının iyileştirilmesinde önemli ilerlemelerin kaydedildiği mevcut büyük dil modelleriyle aynı teknolojilerin çoğunu kullanıyor.”
Genie ayrıca platform oyunlarında bulunan bazı yaygın görsel tuhaflıkları da öğrenip kopyaladı. Bu türdeki birçok oyun, ön planın arka plandan daha hızlı yanlara doğru hareket ettiği paralaks denilen şeyi kullanır. Genie bu etkiyi yarattığı oyunlara da sıklıkla dahil etti.
Model dahili bir araştırma projesi olsa da ve kamuya açıklanmayacak olsa da Guzdial, Google DeepMind ekibinin bunun bir gün oyun oluşturma aracına dönüştürülebileceğini söylediğini söyledi. Kendisi de bunun üzerinde çalışıyor: “Geliştiklerini görmek beni kesinlikle heyecanlandırıyor” diyor.
Sanal oyun alanları
Google DeepMind araştırmacıları yalnızca oyun geliştirmeyle ilgilenmiyor. Genie ekibi aynı zamanda yapay zeka destekli robotların sanal bir ortama yerleştirildiği ve çeşitli görevleri deneme yanılma (pekiştirmeli öğrenme olarak bilinen bir teknik) yoluyla çözmesi gereken açık öğrenme üzerinde de çalışıyor.
2021'de başka bir DeepMind ekibi, robotların engelleri aşmak gibi basit görevlerde işbirliği yapmayı öğrendiği XLand adında sanal bir oyun alanı geliştirdi. XLand gibi test ortamları, gelecekteki robotları gerçek dünya senaryolarına yerleştirmeden önce zorluklara karşı eğitmek açısından çok önemli olacak. Video oyunlarından örnekler, bu sanal oyun alanlarını yaratmak için dehanın kullanılabileceğini gösteriyor.
Diğer araştırmacılar da benzer dünya inşa etme araçları geliştirdiler. 2018 yılında Google Brain'den David Ha ve İsviçre'deki IDSIA AI laboratuvarından Jürgen Schmidhuber, robotların oyun tabanlı sanal ortamlarda eğitilebileceği, dünya modelleri adı verilen bir araç geliştirdi. Ancak Genie'den farklı olarak eğitim verilerinin girdi eylemleri içermesi gerekiyordu.
Ekip bu yeteneğin robotikte ne kadar yararlı olduğunu gösterdi. Genie'ye çeşitli ev nesnelerini hareket ettiren gerçek robotik kolların videoları gösterildiğinde model, bu kolun hangi eylemleri gerçekleştirebileceğini ve onu nasıl kontrol edeceğini öğrendi. Geleceğin robotları video eğitimlerini izleyerek yeni görevleri öğrenebilirler.
Rocktäschel, “Hangi kullanım durumlarının mümkün olacağını tahmin etmek zor” diyor. “Genie gibi projelerin insanlara yaratıcılıklarını ifade etmeleri için yeni araçlar sağlamasını umuyoruz.”
(Jle)
Haberin Sonu
Duyuru
Şu ana kadar oyunlar pek hızlı değil. Çoğu modern oyundaki tipik saniyede 30-60 karenin aksine, saniyede bir kare hızında çalışırlar. Birkaç yıl önce benzer bir oyun oluşturucu geliştiren Alberta Üniversitesi'nden yapay zeka araştırmacısı Matthew Guzdial, yine de “bu harika bir çalışma” diyor. Videoyu kullanarak soyut platform oyunları oluşturmayı öğrendi. Nvidia ayrıca video verilerini Pac-Man gibi oyunların klonlarını oluşturabilecek GameGAN adlı bir modeli eğitmek için de kullandı.
Ancak tüm bu örneklerde, model yalnızca video materyaliyle değil, aynı zamanda denetleyicideki bir düğmeye basmak gibi girdi eylemleriyle de eğitildi: örneğin, Mario'nun zıplamasını gösteren bir video görüntüsü bir “atlama eylemi” ile eşleştirildi. Ancak video görüntülerinin giriş eylemleriyle etiketlenmesi yoğun emek gerektirir ve bu da önceden etiketlenmediğinden mevcut eğitim verilerinin miktarını sınırlar.
30.000 saatlik 2D platform oyunu
Bunun yerine Genie, internetten alınan 30.000 saatlik yüzlerce 2D platform oyununu kullanarak yalnızca video görüntüleri (ilgili makale arXiv'de yayınlandı ve henüz hakem değerlendirmesinden geçmedi) kullanılarak eğitildi. Daha sonra sekiz olası eylemden hangisinin karakterin videodaki konumunu değiştirmesine neden olduğunu öğrendi. Bu sayede sayısız saatlik mevcut çevrimiçi videolar potansiyel eğitim verileri haline geldi.
Genie, oyuncunun yaptığı eyleme bağlı olarak oyundaki her yeni görüntüyü oluşturur. Oyuncu Atla'ya tıkladığında Genie, karakterin atlaması için mevcut görüntüyü günceller; “Sol”a tıkladığında görüntü değişir, böylece karakter sola doğru hareket eder. Oyun, oyuncu oynadıkça her yeni görüntünün sıfırdan oluşturulduğu eylem eylem ilerler.
Genie'nin gelecek sürümleri daha hızlı çalışabilir. Google DeepMind araştırmacısı ve geliştirme ekibinin başkanı Tim Rocktäschel, “Bizi saniyede 30 kareye ulaşmaktan alıkoyan temel bir sınırlama yok” diyor. “Genie, çıkarım hızının iyileştirilmesinde önemli ilerlemelerin kaydedildiği mevcut büyük dil modelleriyle aynı teknolojilerin çoğunu kullanıyor.”
Genie ayrıca platform oyunlarında bulunan bazı yaygın görsel tuhaflıkları da öğrenip kopyaladı. Bu türdeki birçok oyun, ön planın arka plandan daha hızlı yanlara doğru hareket ettiği paralaks denilen şeyi kullanır. Genie bu etkiyi yarattığı oyunlara da sıklıkla dahil etti.
Model dahili bir araştırma projesi olsa da ve kamuya açıklanmayacak olsa da Guzdial, Google DeepMind ekibinin bunun bir gün oyun oluşturma aracına dönüştürülebileceğini söylediğini söyledi. Kendisi de bunun üzerinde çalışıyor: “Geliştiklerini görmek beni kesinlikle heyecanlandırıyor” diyor.
Sanal oyun alanları
Google DeepMind araştırmacıları yalnızca oyun geliştirmeyle ilgilenmiyor. Genie ekibi aynı zamanda yapay zeka destekli robotların sanal bir ortama yerleştirildiği ve çeşitli görevleri deneme yanılma (pekiştirmeli öğrenme olarak bilinen bir teknik) yoluyla çözmesi gereken açık öğrenme üzerinde de çalışıyor.
2021'de başka bir DeepMind ekibi, robotların engelleri aşmak gibi basit görevlerde işbirliği yapmayı öğrendiği XLand adında sanal bir oyun alanı geliştirdi. XLand gibi test ortamları, gelecekteki robotları gerçek dünya senaryolarına yerleştirmeden önce zorluklara karşı eğitmek açısından çok önemli olacak. Video oyunlarından örnekler, bu sanal oyun alanlarını yaratmak için dehanın kullanılabileceğini gösteriyor.
Diğer araştırmacılar da benzer dünya inşa etme araçları geliştirdiler. 2018 yılında Google Brain'den David Ha ve İsviçre'deki IDSIA AI laboratuvarından Jürgen Schmidhuber, robotların oyun tabanlı sanal ortamlarda eğitilebileceği, dünya modelleri adı verilen bir araç geliştirdi. Ancak Genie'den farklı olarak eğitim verilerinin girdi eylemleri içermesi gerekiyordu.
Ekip bu yeteneğin robotikte ne kadar yararlı olduğunu gösterdi. Genie'ye çeşitli ev nesnelerini hareket ettiren gerçek robotik kolların videoları gösterildiğinde model, bu kolun hangi eylemleri gerçekleştirebileceğini ve onu nasıl kontrol edeceğini öğrendi. Geleceğin robotları video eğitimlerini izleyerek yeni görevleri öğrenebilirler.
Rocktäschel, “Hangi kullanım durumlarının mümkün olacağını tahmin etmek zor” diyor. “Genie gibi projelerin insanlara yaratıcılıklarını ifade etmeleri için yeni araçlar sağlamasını umuyoruz.”
(Jle)
Haberin Sonu