Yalan dedektörü olarak dil modelleri
Lucca'daki IMT İleri Araştırmalar Okulu'ndan Riccardo Loconte liderliğindeki bir İtalyan araştırma ekibi ve meslektaşları, açık kaynaklı FLAN-T5 dil modelini bir yalan makinesine dönüştürdü. Sonuç: Yazarlar Scientific Reports'ta yazdığına göre, yaklaşık yüzde 80'lik örüntü tanıma oranı çoğu durumda daha modern yöntemler (örneğin makine öğrenimi kullanılarak) kadar iyi ve onlardan daha iyiydi. Sonuçlar ayrıca tanıma oranının önemli ölçüde dil modelinin boyutuna bağlı olduğunu gösterdi. Dolayısıyla, daha fazla eğitim verisi ve daha büyük modellerle muhtemelen daha iyi sonuçlar elde edebilirsiniz.
Duyuru
Yalan söylemenin psikolojisi
Şimdiye kadar (yarı)otomatik metin analizi, Almanca olmayan hipoteze dayanıyordu. Bu, “deneyime dayalı ifadelerin” dilinin bilinçli olarak icat edilen deneyimlerden farklı olduğuna inanan psikolog Udo Undeutsch'a kadar uzanıyor.
Zamanla, sözlü aldatmanın özellikle bilgilendirici ve güvenilir kanıtlarının neye benzediğine ilişkin çeşitli psikolojik kavramlar ortaya çıkmıştır. “Mesafe kavramı”, yalancıların kendilerini bilinçsizce anlatılarından uzaklaştırma eğiliminde olduklarını, yani yalanlarının daha az birinci şahıs referansı içerdiğini varsayar. “Bilişsel yük” teorisi, yalan uydurmanın o kadar çok zihinsel kaynak tükettiğini ve uydurma gerçeklerin gerçek olanlardan daha kısa ve öz bir şekilde sunulacağını varsayar. Son olarak, “gerçeği izleme” kavramı, gerçek hikayelerin daha fazla duyusal, mekansal ve zamansal bilgi içerdiğini varsayar, çünkü bu tür izlenimler, kurgusal olaylardan farklı olarak gerçek olan deneyim sırasında kalıcı olarak depolanır.
Artık metinlerde bu tür özellikleri arayan birçok yazılım var. Ancak bunların yorumlanması doğası gereği subjektiftir.
Bu nedenle İtalyan araştırmacılar, makine öğrenimini soruna uygulamaya çalışan ilk kişiler değil. PLOS One adlı özel dergide yayınlanan bir anket, bu sektöre olan ilginin büyük olduğunu gösteriyor. Ancak Loconte ve meslektaşları, büyük bir açık kaynak modelini belirli veri kümeleriyle uyarlayarak onu belirli bir bağlamdaki yalanları tespit edecek şekilde eğiten ilk kişiler oldu.
Üç senaryo
FLAN-T5, Google'ın T5 model ailesinden bir dil modelidir. Açık kaynaktır ve ticari kullanıma açıktır. Model, bu analiz biçimi için pratik özelliğe sahip bir metinden metne dönüştürücüdür. Örneğin, bir duygu analizinde yalnızca metnin duygusal odağını ölçen bir sayıyı değil, aynı zamanda sonuca götüren en önemli karakter dizilerini de sağlayabilir.
Araştırmacılar modeli, her biri doğru ve yanlış kısa metinler içeren üç farklı veri kümesiyle eğitti. Çeşitli konularda kişisel görüşleri içeren bir cümle (Aldatıcı Görüşler), gerçek ve icat edilmiş otobiyografik deneyimleri içeren bir cümle (Hippobody) ve gelecekteki niyetlerle ilgili ifadeleri içeren bir cümle (Niyet).
Zıt sonuçlar
Beklendiği gibi, eğer araştırmacılar tek bir senaryoya bağlı kalırsa, model yalanları standart temel prosedürlerden daha iyi tespit edebildi. Ancak genelleme yapamadı: Araştırmacılar onu ilk iki veri kümesinden örneklerle eğitip üçüncü veri kümesinden görevler verdiğinde başarısız oldu.
Ancak bu sonuç, araştırmacıların paralel olarak gerçekleştirdiği stil analiziyle tutarlıydı. Dilsel modeli kullanarak, farklı psikolojik yaklaşımlara göre yalan söylemenin özellikle önemli göstergeleri olarak kabul edilen 26 farklı özelliği çıkardılar. Her üç veri kümesindeki belirli özelliklerin birbirinden önemli ölçüde farklı olduğunu buldular; bu da modelin aslında üç veri kümesinde genel olarak geçerli bir “yalan şablonu” bulamadığı anlamına geliyor.
Çalışmanın sınırlamaları
Araştırmacılar, çalışmalarının şu ana kadar ilginç bilgiler sağlamasına rağmen modelin gerçek hayatta kullanıma uygun olmayacağını kabul ediyor. Birincisi, yalanları yalnızca üç spesifik bağlamda inceliyor. İkincisi, veri kümeleri yalnızca tamamen doğru veya tamamen yanlış metinler içeriyordu. Makalede şöyle yazıyorlar: “Ancak insanlar, tamamen kurgusal bir hikaye uydurmak yerine, anlatılarının önemli bölümlerinin doğru olduğu gerçek dünya senaryolarında sıklıkla gizli yalanlar kullanıyorlar.” “Son olarak, bu çalışmada kullanılan veri setleri, katılımcıların yalan söylemeye ve güvenilir görünmeye çok az teşvikinin olduğu düşük riskli deneysel senaryolarda toplandı. Tüm bu noktalardan dolayı, modelimizin dünya bağlamlarındaki gerçeklikteki uygulaması sınırlı olabilir ve bu tür durumlarda durumlarda sonuçların yorumlanmasında dikkatli olunmalıdır.” Daha ileri araştırmalar için acilen daha büyük ve daha iyi veri kümelerinin geliştirilmesi gerekmektedir.
Yüksek Lisans ile diğer yaklaşımlar
Ancak büyük dil modelleri basit sınıflandırıcılar olarak kullanılamaz. Ayrıca dil modellerinin neyin yalan olup neyin olmadığını bilebileceğine inanan araştırmacılar da var. En azından Stuttgart Üniversitesi'nden Thilo Hagendorff'un çalışmaları gibi çalışmalardan ortaya çıkan şey budur. Yapısı insanlarla yapılan geleneksel düşünce deneyleri teorisinden ilham alan büyük dil modellerine görevler verdi.
Bunlar genellikle dil modeline girdi olarak sağlanan kısa, hayali senaryolardır – “Sally Problemleri”. Daha sonra olaya dahil olan kişiler, onların motivasyonları (Sally bunu veya bunu neden yaptı?) veya niyetleri veya duyguları (neden üzgün/kızgın?) hakkında açıklamalarda bulunmalıdır. Uyarlanmış testlerde dil modeli, diğer şeylerin yanı sıra, bir kişinin bir senaryoda yalan söyleyip söylemediğini analiz etmelidir.
Bu o kadar işe yaradı ki Hagendorff, modelin kasıtlı olarak aldatma ve aldatmayı tespit etme becerisine sahip olduğunu belirtti. Beceri, eğitilen diğer becerilerin etkileşiminden kendiliğinden ortaya çıktı. Ancak dilsel modellerin, deyim yerindeyse, insanların “içsel durumlarını” tanıyabileceği ve onlara bir tür model oluşturabileceği tezi oldukça tartışmalıdır. Bazı araştırmacılar halihazırda dil modellerinin yeni ortaya çıkan yetenekleri fikrini sorguluyor.
(batı)
Haberin Sonu