Biz insanlar, sorunları çözmek için içgüdüsel olarak analojilere başvururuz: Yeni bir soruna, benzer, zaten bilinen soruları hatırlatarak yaklaşır ve çözümlerini yeni duruma aktarmaya çalışırız. Bu “analojik düşünme”, yani benzerliklerden mantıksal sonuçlar çıkarma yeteneği, insan düşünme aygıtının önemli bir parçasıdır. Araştırmacılar artık GPT gibi büyük dil modellerinin de bu yeteneğe sahip olduğunu bulmak istiyor.
Duyuru
Los Angeles California Üniversitesi’nden (UCLA) bir ekip, yapay zekanın daha önce hiç karşılaşmadığı görevleri ve sorunları çözüp çözemeyeceğini öğrenmek istedi. Çalışma “Nature Human Behaviour” dergisinde yayınlandı.
Çalışma için, beyin ve yapay zeka araştırmacısı Taylor Webb liderliğindeki ekip, yaklaşık 50 UCLA öğrencisini iki test turunda GPT-3 dil modeline karşı yarıştırdı (mevcut GPT-4 o sırada henüz mevcut değildi). çalışmak). Amaç, analojik düşünmeyi gerektiren üç görev bloğunu çözmekti. Görevler, AI eğitim verilerinde görünmeyecekleri, ancak ABD üniversite giriş sınavları veya zeka testleri için kullanılanlar gibi standart testlere dayanacak şekilde çalışma için özel olarak oluşturuldu.
GPT öğrencilerden daha iyi performans gösteriyor
İlk görev bloğu, sözde ilerici matrisleri çözmeyi içeriyordu. Denekler ve yapay zekanın kendilerine sunulan bir metin örneğini anlaması ve bir dizi olası parça arasından eksik kısmı doğru bir şekilde seçmesi gerekiyordu. İkinci blokta, harf satırları eklemeleri gerekiyordu, yani verilen abcdabc dizisinden ve ijkl’den sonrakileri türetmeleri gerekiyordu. Üçüncü blokta, görev kelime dizileri eklemekti (örneğin, “aşk”, “nefret” anlamına gelir ve “zengin” “?” anlamına gelir) ve kısa öykülerden içerikle ilgili analojiler, yani farklı metinler arasındaki doğru nedensel bağlantıları çizmekti. anlamak.
İlk üç görevde, GPT-3 sürekli olarak öğrencilerden daha iyi performans gösterdi. En büyük fark, dil modelinin %80’lik bir başarı oranıyla doğru çözdüğü matrislerde görülürken, insan katılımcılar yalnızca %60’ın biraz altında başarılı oldu. Harf ve kelime dizileri söz konusu olduğunda, AI faydası genel olarak daha küçüktü, ancak yine de önemliydi.
Bununla birlikte, bir içerik karşılaştırmasında öğrenciler en iyi performansı gösterdi: Hikayelerden nedensel analojiler çıkarmaya gelince, başarı oranı %80’in üzerindeydi. Bu durumda, GPT-3 yalnızca yaklaşık %70’e ulaştı. Hikaye ne kadar karmaşıksa, yapay zekanın onu başkalarıyla ilişkilendirmesi o kadar zor olur. En azından özellikle belirtilmediyse.
Duyuru
Bazı konular için akıllı, diğerleri için aptalca
Araştırmacılar, bulguların GPT-3’ün “soyut bir ardıllık kavramı geliştirdiğini” öne sürdüğünü yazıyor. Bu şaşırtıcı değil, çünkü insan dili analojilerle doludur ve insan dilini olabildiğince yakın bir şekilde yeniden üretmek için büyük dil modelleri eğitildiğinde, onlara anında mantıksal sonuçlar çıkarma yeteneği verilir.
Ekip aynı zamanda çeşitli sınırlamalara da dikkat çekiyor. Yazılım, sunulan sorunlarla ne yapması gerektiğini her zaman fark edemedi ve bunu yapması istendi.
Çalışma lideri Taylor Webb, “Sonuçlarımız ne kadar etkileyici olsa da, bu sistemin önemli sınırlamaları olduğunu vurgulamak önemlidir. Benzer muhakemeler yapabilse de, insanların çok kolay bulduğu görevlerde başarısız oluyor” diyor. Neyse şimdilik. Çünkü GPT-4 ile yapılan ön testler, yeni dil modelinin önemli ölçüde daha iyi sonuçlar verdiğini gösteriyor.
(jle)
Haberin Sonu
Duyuru
Los Angeles California Üniversitesi’nden (UCLA) bir ekip, yapay zekanın daha önce hiç karşılaşmadığı görevleri ve sorunları çözüp çözemeyeceğini öğrenmek istedi. Çalışma “Nature Human Behaviour” dergisinde yayınlandı.
Çalışma için, beyin ve yapay zeka araştırmacısı Taylor Webb liderliğindeki ekip, yaklaşık 50 UCLA öğrencisini iki test turunda GPT-3 dil modeline karşı yarıştırdı (mevcut GPT-4 o sırada henüz mevcut değildi). çalışmak). Amaç, analojik düşünmeyi gerektiren üç görev bloğunu çözmekti. Görevler, AI eğitim verilerinde görünmeyecekleri, ancak ABD üniversite giriş sınavları veya zeka testleri için kullanılanlar gibi standart testlere dayanacak şekilde çalışma için özel olarak oluşturuldu.
GPT öğrencilerden daha iyi performans gösteriyor
İlk görev bloğu, sözde ilerici matrisleri çözmeyi içeriyordu. Denekler ve yapay zekanın kendilerine sunulan bir metin örneğini anlaması ve bir dizi olası parça arasından eksik kısmı doğru bir şekilde seçmesi gerekiyordu. İkinci blokta, harf satırları eklemeleri gerekiyordu, yani verilen abcdabc dizisinden ve ijkl’den sonrakileri türetmeleri gerekiyordu. Üçüncü blokta, görev kelime dizileri eklemekti (örneğin, “aşk”, “nefret” anlamına gelir ve “zengin” “?” anlamına gelir) ve kısa öykülerden içerikle ilgili analojiler, yani farklı metinler arasındaki doğru nedensel bağlantıları çizmekti. anlamak.
İlk üç görevde, GPT-3 sürekli olarak öğrencilerden daha iyi performans gösterdi. En büyük fark, dil modelinin %80’lik bir başarı oranıyla doğru çözdüğü matrislerde görülürken, insan katılımcılar yalnızca %60’ın biraz altında başarılı oldu. Harf ve kelime dizileri söz konusu olduğunda, AI faydası genel olarak daha küçüktü, ancak yine de önemliydi.
Bununla birlikte, bir içerik karşılaştırmasında öğrenciler en iyi performansı gösterdi: Hikayelerden nedensel analojiler çıkarmaya gelince, başarı oranı %80’in üzerindeydi. Bu durumda, GPT-3 yalnızca yaklaşık %70’e ulaştı. Hikaye ne kadar karmaşıksa, yapay zekanın onu başkalarıyla ilişkilendirmesi o kadar zor olur. En azından özellikle belirtilmediyse.
Duyuru
Bazı konular için akıllı, diğerleri için aptalca
Araştırmacılar, bulguların GPT-3’ün “soyut bir ardıllık kavramı geliştirdiğini” öne sürdüğünü yazıyor. Bu şaşırtıcı değil, çünkü insan dili analojilerle doludur ve insan dilini olabildiğince yakın bir şekilde yeniden üretmek için büyük dil modelleri eğitildiğinde, onlara anında mantıksal sonuçlar çıkarma yeteneği verilir.
Ekip aynı zamanda çeşitli sınırlamalara da dikkat çekiyor. Yazılım, sunulan sorunlarla ne yapması gerektiğini her zaman fark edemedi ve bunu yapması istendi.
Çalışma lideri Taylor Webb, “Sonuçlarımız ne kadar etkileyici olsa da, bu sistemin önemli sınırlamaları olduğunu vurgulamak önemlidir. Benzer muhakemeler yapabilse de, insanların çok kolay bulduğu görevlerde başarısız oluyor” diyor. Neyse şimdilik. Çünkü GPT-4 ile yapılan ön testler, yeni dil modelinin önemli ölçüde daha iyi sonuçlar verdiğini gösteriyor.
(jle)
Haberin Sonu