Yapay zeka sistemlerini laboratuvardan gerçek dünyaya taşırken, bu sistemlerin şaşırtıcı ve yıkıcı şekillerde başarısız olma ihtimaline hazırlıklı olmalıyız. Bu zaten oldu. Örneğin geçen yıl Moskova’da satranç oynayan bir robot kol, yedi yaşındaki bir çocuğun parmağını kırdı. Robot, çocuğun bir satranç taşını hareket ettirirken parmağını yakaladı ve ancak yakındaki yetişkinler pençelerini açmayı başardığında serbest bıraktı.
Duyuru
Robot zarar verecek şekilde programlandığı için bu gerçekleşmedi. Bunun nedeni robotun çocuğun parmağının bir satranç taşı olduğuna fazlasıyla ikna olmasıydı.
Bilinmeyen senaryolarda başarısızlık
Olay, 32 yaşındaki Sharon Li’nin önlemek istediği şeyin klasik bir örneği. Madison’daki Wisconsin Üniversitesi’nde yardımcı doçent olan Li, dağıtım dışı (OOD) tespiti adı verilen yapay zeka güvenlik işlevselliği alanında öncüdür. Bu özelliğin, yapay zeka modellerinin, eğitim almadıkları bir şeyle karşılaştıklarında bir eylemden ne zaman kaçınmaları gerektiğini anlamalarına yardımcı olduğunu söylüyor.
Yılın Onurlu Yenilikçisi: Sharon Li.
(Resim: Sara Stathas)
Li, derin sinir ağları için ilk dağıtım dışı tespit algoritmalarından birini geliştirdi. Google o zamandan beri OOD tespitini ürünlerine entegre etmek için özel bir ekip oluşturdu. Geçen yıl, Li’nin OOD tespitine ilişkin teorik analizi, en prestijli AI konferanslarından biri olan NeurIPS tarafından 10.000’den fazla başvuru arasında olağanüstü bir makale olarak seçildi.
Şu anda yapay zeka altına hücum yaşıyoruz ve teknoloji şirketleri yapay zeka modellerini yayınlamak için acele ediyor. Ancak günümüz modellerinin çoğu, belirli şeyleri tespit etmek üzere eğitilmiştir ve kaotik ve öngörülemeyen gerçek dünyaya özgü bilinmeyen senaryolarla karşılaştığında sıklıkla başarısız olur. Neyi “bildiklerini” ve neyi “bilmediklerini” güvenilir bir şekilde anlayamamaları, birçok yapay zeka felaketine karşı savunmasızlıktır.
Li’nin çalışması yapay zeka topluluğunu eğitime yaklaşımını yeniden düşünmeye zorluyor. “Son 50 yılda kullanılan geleneksel yaklaşımların çoğu aslında güvenliği hesaba katmıyor” diyor.
Yaklaşımları, dünyadaki bilinmeyen verileri tespit etmek ve bunlara anında uyum sağlayacak yapay zeka modelleri geliştirmek için makine öğrenimini kullanarak belirsizlikten yararlanıyor. Düzensizliklerin tespit edilmesi, otonom araçların yoldaki bilinmeyen nesnelerle çarpışması durumunda kazaların önlenmesine yardımcı olabilir veya tıbbi yapay zeka sistemlerini yeni bir hastalığın araştırılmasında daha kullanışlı hale getirebilir.
Bilinmeyeni tanıyın
Li, “Bütün bu durumlarda, güvenliğin farkında olan ve bilmediklerini tanıyabilen bir makine öğrenimi modeline gerçekten ihtiyacımız var” diyor. Bu yaklaşım aynı zamanda günümüzün en yeni yapay zeka teknolojisini, ChatGPT gibi büyük dil modellerini de destekleyebilir. Bu modeller genellikle yalanları gerçekmiş gibi sunan ikna olmuş yalancılardır. OOD tespitinin yardımcı olabileceği yer burasıdır. Diyelim ki bir kişi bir chatbot’a, eğitim verilerinde cevabı bulunmayan bir soru soruyor. OOD tespitine sahip bir yapay zeka modeli, bir şey icat etmek yerine yanıt vermeyi reddeder.
Cornell Üniversitesi’nden profesör ve doktora danışmanı John Hopcroft, Li’nin araştırmasının makine öğrenimindeki temel sorulardan birini ele aldığını söylüyor. Çalışmaları diğer araştırmacıların da büyük ilgisini çekti. Hopcroft, “Yaptığı şey diğer araştırmacıların çalışmasını sağlıyor” diyor ve yapay zeka güvenlik araştırmasının “temel olarak alt alanlarından birini yarattığını” ekliyor.
Li artık her türlü yeni çevrimiçi uygulama ve ürünü destekleyen büyük yapay zeka modelleriyle ilişkili güvenlik risklerini daha iyi anlamaya çalışıyor. Bu ürünlerin altında yatan modelleri daha güvenli hale getirerek yapay zeka risklerinin daha iyi azaltılabileceğini umuyor.
“Nihai hedef, güvenilir ve emniyetli makine öğrenimini sağlamaktır” diyor.
Sharon Li, “35 Yaş Altı Yenilikçiler” yarışmasının kazananlarından biri. MIT Technology Review dergisinin Amerika baskısının ev sahipliği yaptığı yarışma, inovasyona öncülük eden gençleri ödüllendiriyor. Seçilen yeteneklerin tam genel bakışını burada bulabilirsiniz. Li ayrıca “Yılın Yenilikçisi” özel unvanını da aldı.
(Jle)
Haberin Sonu
Duyuru
Robot zarar verecek şekilde programlandığı için bu gerçekleşmedi. Bunun nedeni robotun çocuğun parmağının bir satranç taşı olduğuna fazlasıyla ikna olmasıydı.
Bilinmeyen senaryolarda başarısızlık
Olay, 32 yaşındaki Sharon Li’nin önlemek istediği şeyin klasik bir örneği. Madison’daki Wisconsin Üniversitesi’nde yardımcı doçent olan Li, dağıtım dışı (OOD) tespiti adı verilen yapay zeka güvenlik işlevselliği alanında öncüdür. Bu özelliğin, yapay zeka modellerinin, eğitim almadıkları bir şeyle karşılaştıklarında bir eylemden ne zaman kaçınmaları gerektiğini anlamalarına yardımcı olduğunu söylüyor.
Yılın Onurlu Yenilikçisi: Sharon Li.
(Resim: Sara Stathas)
Li, derin sinir ağları için ilk dağıtım dışı tespit algoritmalarından birini geliştirdi. Google o zamandan beri OOD tespitini ürünlerine entegre etmek için özel bir ekip oluşturdu. Geçen yıl, Li’nin OOD tespitine ilişkin teorik analizi, en prestijli AI konferanslarından biri olan NeurIPS tarafından 10.000’den fazla başvuru arasında olağanüstü bir makale olarak seçildi.
Şu anda yapay zeka altına hücum yaşıyoruz ve teknoloji şirketleri yapay zeka modellerini yayınlamak için acele ediyor. Ancak günümüz modellerinin çoğu, belirli şeyleri tespit etmek üzere eğitilmiştir ve kaotik ve öngörülemeyen gerçek dünyaya özgü bilinmeyen senaryolarla karşılaştığında sıklıkla başarısız olur. Neyi “bildiklerini” ve neyi “bilmediklerini” güvenilir bir şekilde anlayamamaları, birçok yapay zeka felaketine karşı savunmasızlıktır.
Li’nin çalışması yapay zeka topluluğunu eğitime yaklaşımını yeniden düşünmeye zorluyor. “Son 50 yılda kullanılan geleneksel yaklaşımların çoğu aslında güvenliği hesaba katmıyor” diyor.
Yaklaşımları, dünyadaki bilinmeyen verileri tespit etmek ve bunlara anında uyum sağlayacak yapay zeka modelleri geliştirmek için makine öğrenimini kullanarak belirsizlikten yararlanıyor. Düzensizliklerin tespit edilmesi, otonom araçların yoldaki bilinmeyen nesnelerle çarpışması durumunda kazaların önlenmesine yardımcı olabilir veya tıbbi yapay zeka sistemlerini yeni bir hastalığın araştırılmasında daha kullanışlı hale getirebilir.
Bilinmeyeni tanıyın
Li, “Bütün bu durumlarda, güvenliğin farkında olan ve bilmediklerini tanıyabilen bir makine öğrenimi modeline gerçekten ihtiyacımız var” diyor. Bu yaklaşım aynı zamanda günümüzün en yeni yapay zeka teknolojisini, ChatGPT gibi büyük dil modellerini de destekleyebilir. Bu modeller genellikle yalanları gerçekmiş gibi sunan ikna olmuş yalancılardır. OOD tespitinin yardımcı olabileceği yer burasıdır. Diyelim ki bir kişi bir chatbot’a, eğitim verilerinde cevabı bulunmayan bir soru soruyor. OOD tespitine sahip bir yapay zeka modeli, bir şey icat etmek yerine yanıt vermeyi reddeder.
Cornell Üniversitesi’nden profesör ve doktora danışmanı John Hopcroft, Li’nin araştırmasının makine öğrenimindeki temel sorulardan birini ele aldığını söylüyor. Çalışmaları diğer araştırmacıların da büyük ilgisini çekti. Hopcroft, “Yaptığı şey diğer araştırmacıların çalışmasını sağlıyor” diyor ve yapay zeka güvenlik araştırmasının “temel olarak alt alanlarından birini yarattığını” ekliyor.
Li artık her türlü yeni çevrimiçi uygulama ve ürünü destekleyen büyük yapay zeka modelleriyle ilişkili güvenlik risklerini daha iyi anlamaya çalışıyor. Bu ürünlerin altında yatan modelleri daha güvenli hale getirerek yapay zeka risklerinin daha iyi azaltılabileceğini umuyor.
“Nihai hedef, güvenilir ve emniyetli makine öğrenimini sağlamaktır” diyor.
Sharon Li, “35 Yaş Altı Yenilikçiler” yarışmasının kazananlarından biri. MIT Technology Review dergisinin Amerika baskısının ev sahipliği yaptığı yarışma, inovasyona öncülük eden gençleri ödüllendiriyor. Seçilen yeteneklerin tam genel bakışını burada bulabilirsiniz. Li ayrıca “Yılın Yenilikçisi” özel unvanını da aldı.
(Jle)
Haberin Sonu