Çünkü ChatGPT ve Bard internette arama yaparken saçma sapan konuşuyor
Yanlış başlangıç dediğiniz şey budur: Microsoft, erken benimseyenlerin ChatGPT ile güncellenen Bing arama motorunu denemelerine izin verdikten iki saniye sonra, bazı soruları yanlış veya anlamsız yanıtlarla yanıtladı. En iyi arama motoru Google, daha iyisini yapamadı. Bard dil modelinden aslında yanlış olan bir yanıt öğrenildiğinde, şirketin hisse senedi fiyatlarının düşmesine bile yol açtı.
Muhteşem yanlış başlangıçlar, teknolojinin iki zayıflığını gösteriyor:
- Büyük dilbilimsel modellerin olguları icat etme yeteneği artık geniş çapta tartışılmaktadır.
- Metinlerdeki asılsız iddiaların otomatik olarak tespit edilmesinde hala var olan zorluklar.
Cambridge Üniversitesi’nden Andreas Vlachos, büyük dil kalıplarından gelen yanıtların olgusal doğruluk açısından kontrol edilmesinin sahte haberleri otomatik olarak kontrol etmeye çok benzer olduğunu onaylıyor. Diğer şeylerin yanı sıra Vlachos, Fake News Challenge’ın başlatılmasına yardımcı oldu. 2022’de, arama motoru operatörlerinin büyük bir dil modelinden arama sonuçlarını formüle ederken karşılaştıkları zorluklar hakkında iyi bir izlenim veren Otomatik Bilgi Kontrolü hakkında kapsamlı bir genel bakış makalesi yayınladı.
Yanıltıcı iddiaları, söylentileri veya gerçeğin çarpıtılmasını doğrulamanın çok zor olmasının yanı sıra, basit bir doğrulama yapmak da oldukça zordur. Herhangi bir metinde ileri sürülen iddiaların hepsini, gerçekten hepsini kontrol etmek pratik olarak ne mümkün ne de mantıklıdır: örneğin iddialar ve öznel değerlendirmeler, gerçekler kadar gelecekle ilgili spekülasyonlar tarafından da desteklenebilir. “Su ıslak” gibi bariz ve sıradan ifadelerin doğrulanması gerekmez. İnsan uzmanların tekrar tekrar karşılaştığı zorluk, doğrulanması gerçekten önemli olan ifadeleri bulmaktır. Ve şimdiden metinlerdeki “iddia tespiti” kendi alt araştırma alanı haline geldi.
Örneğin, türünün en iyi bilinen otomatik sistemlerinden biri olan ClaimBuster, siyasi tartışmalardaki iddiaları doğrulamak için geliştirildi. Sonuç olarak, yazılım yalnızca anahtar kelimeleri değil, aynı zamanda metindeki iyi bilinen isimleri de arar, çünkü tanınmış bir politikacının yanlış beyanı çok daha alakalı olarak sınıflandırılır. Tanım olarak, sistem, iddianın alaka düzeyi için bir değer döndüren bir destek vektör makinesi ile “kontrol etmeye değer iddialar” olup olmadığını kontrol eder. Eşikten büyükse, iddia test edilmelidir.
Hangi ifadeler önemlidir?
Bununla birlikte, önemli ve ilgili ifadelerin seçiminde ve eşik değerlerin getirilmesinde öznellik, toplulukta tartışmalı bir şekilde tartışılmaktadır. İngiliz teyit kuruluşu “Full Fact”ten Lev Konstantinovskiy ve meslektaşları bu nedenle bir metindeki tüm nesnel iddiaları tanımak için bir yöntem önerdiler. Bununla birlikte, bu bile önemsiz değildir: Bir kavram kanıtlamasında ekip, metinlere açıklama eklemek için bir şema geliştirdi. Bu şekilde oluşturulan ve yaklaşık 5.000 ifade ve ifade olmayandan oluşan veri seti, çeşitli makine öğrenimi modellerini eğitmek için kullanıldı. En iyi model şikayetleri %90 doğrulukla tanımlar. Bununla birlikte, ifadenin daha ince sınıflandırılması, örneğin öznel ifadeler, gelecekle ilgili tahminler vb., ancak daha düşük bir olasılıkla mümkündü.
Bir iddiayı desteklemek veya çürütmek için gerçekleri toplamak da bir o kadar zordur. 2018’den beri yıllık bir atölye çalışması ve yarışma da düzenleniyor. Birçok katılımcı çalışma grubu Wikipedia API’sini kullanır. Yazılım, vektörlere dönüştürülen ayıklanmış gerçeklerden ve iddialardan, doğrulanabilirlik ölçüsü olarak iç çarpımı hesaplar: ölçü ne kadar küçükse, iddianın kanıtı o kadar kötü olur. Yöntemler genellikle örnek veri kümeleriyle oldukça iyi çalışır, ancak yüzde 70, 80 ve hatta yüzde 90 doğruluk, bir chatbot arama motoru için hala çok fazla saçmalık ürettiği anlamına gelmelidir. ChatGPT ve Bard’ın karşılaştığı örnekler bir yana, “AB’yi ilk yapan XY idi” gibi ifadeler, yalnızca birisi bir karşı örnek bulana kadar doğrudur.
İlginç bir şekilde, büyük bir dil modeli kullanan birkaç yayınlanmış yaklaşımdan biri Google, OpenAI veya Microsoft’tan gelmiyor. Meta AI’dan Angela Fan ve meslektaşları, ayıklanan ifadelerden sorular formüle etmek, bir İnternet araması kullanarak soruları araştırmak ve arama sonuçlarından yanıtlar formüle etmek için bir dil modeli eğitti. Ancak, sistemin tam otomatik bir teyitçi olması amaçlanmamıştı. Bunun yerine Fan ve meslektaşları, sorular ve yanıtlar biçiminde otomatik olarak oluşturulan bir özetin, gerçek denetleyicilerin metinleri daha hızlı ve doğru bir şekilde değerlendirmesine yardımcı olduğunu göstermek istedi.
Kullanıcılar için doğru kanıtlara erişim
Her durumda Vlachos, ifadelerin doğruluğu veya yanlışlığı konusundaki nihai kararı kullanıcıya bırakmayı tercih eder. “Çalışmamda doğru veya yanlış kelimelerini kullanmaktan kaçınıyorum” diyor. “‘Kanıtlarla desteklenmiş veya çürütülmüş’ hakkında konuşmayı tercih ederim”. Profesyonel teyitçiler bile ona bunun doğru, bunun yanlış olduğunu söyleyen bir sisteme ihtiyaç duymadıkları konusunda güvence verdiler: “Tek ihtiyaçları olan kanıt ve kendileri için karar verebildiklerinde mutlular. Kendimiz için karar vermenin en iyisi olduğunu söylüyoruz. Doğru kanıtlara erişimleri varsa herkes için en iyisi ve sonra bu dava hakkında ne hissettiğimize kendimiz karar verebiliriz.”
“Birbirimizi incelemede çok iyiyiz, birbirimizi sorgulamada çok iyiyiz” diyor. “Ama bu her şeyi bilen, her şeye gücü yeten makineden neyin çıktığını sorgulamakta iyi değiliz.” Vlachos, acilen eğitmemiz gereken şeyin tam da bu yetenek olduğunu söylüyor. “Kendimizi sorgularken dil modellerinin sonuçlarını sorgulama pratiği yapmakla ilgili. Sonuçlarını başka, başka bir ses olarak yorumlamak. Bunu sorgulamalı ve onunla çalışmayı öğrenmeliyiz.”
ayrıca oku
Daha fazla göster
daha az göster
(wst)
Haberin Sonu