Yapay zekada kritik eşik! OpenAI Astra için frene bastı

OpenAI, ChatGPT için planlanan yeni güncelleme üzerindeki çalışmalarının bir kısmını, sistemin aşırı tehlikeli olabileceği endişesiyle askıya aldı.,

Astra adı verilen yeni modelin otonom kodlama ve siber güvenlik alanlarında önemli ilerlemeler kaydettiği açıklandı. Ancak yapılan testler, sistemin fazla güçlü olabileceğini ve mevcut haliyle kullanıma sunulması durumunda güvenlik tehdidi oluşturabileceğini gösterdi.

Açıklama, OpenAI'ın yayımlanmamış başka bir modelinin bir yapay zeka platformuna kendi kendine siber saldırı düzenlediği olayın ardından geldi. Bu tespit, diğer yapay zeka firmalarından da benzer açıklamaların yapılmasına ve yeni sistemlerin kontrol altında tutulamayacak kadar güçlendiği yönündeki kaygıların artmasına yol açtı. Astra'nın Hugging Face platformuna yönelik söz konusu saldırıda yer almadığı, ancak sergilediği performans nedeniyle şimdilik kamuoyuna sunulmasının güvenli görülmediği ifade edildi. Şirket, modelin kullanıma açılması için yeni güvenlik önlemlerinin uygulanması gerektiğini bildirdi.

Risk eşiği aşıldı: Siber güvenlik uzmanları ve yapay zeka şirketleri, bu tür araçların yazılımlardaki açıkları tespit edip kapatmak amacıyla geliştirildiğini vurguluyor. Ancak bu yeteneklerin, insan yönetimine ihtiyaç duymayan otonom siber saldırılarda da kullanılabileceği belirtiliyor. OpenAI, bu tür riskleri yönetmek amacıyla 2023 yılının sonunda "Hazırlık Çerçevesi" adını verdiği bir güvenlik yapısı oluşturmuştu. Bu çerçeve, modellerin yeteneklerindeki ilerlemeyi tespit etmeyi ve sistemleri güvenli sınırlar içinde tutmayı amaçlıyor. Şirket, Astra modelinin bu çerçevede tanımlanan "kritik" risk eşiğine ulaşmış olabileceğini duyurdu. Bir yapay zeka sisteminin insan denetimi olmadan kritik sistemlerde güvenlik açıkları bulup geliştirebilmesi veya gelişmiş siber saldırılar için kendi başına yeni stratejiler uygulayabilmesi halinde bu seviyeye ulaştığı kabul ediliyor.

Güvenlik önlemleri artırıldı: Değerlendirmelerin sürdüğü, ancak modelin gösterdiği yüksek performans nedeniyle kritik seviyeye ulaşmış olma ihtimalinin göz ardı edilemediği kaydedildi. OpenAI, bu gelişmeler üzerine güvenlik kontrollerini ve test süreçlerini sıkılaştırdığını açıkladı. Bu kapsamda model, sistem dışına sızmasını önlemek amacıyla daha izole test ortamlarına alındı. Yüksek güvenlik standartlarını karşılamayan koşullarda Astra üzerindeki çalışmaların durdurulacağı bildirildi.

Şirket ayrıca modeli riskli eylemlere karşı yakından izleyeceğini, ilgili kamu kurumları ve yetkili güvenlik kuruluşlarıyla ortak testler yürüteceğini belirtti. OpenAI tarafından yapılan açıklamada, gelişmiş siber yeteneklere sahip modellerin saldırganlardan önce güvenlik açıklarını tespit etmeye yardımcı olması gerektiği vurgulandı. Şirket, Astra ve sonraki modellerin insanlığın yararına sorumlu bir şekilde kullanıma sunulması için uluslararası kurumlar ve siber güvenlik kuruluşlarıyla iş birliğini sürdüreceğini duyurdu.