Kodlama süreçlerini hızlandırması için kullanılan yapay zekâ aracı, saniyeler içinde şirketin veritabanını ve yedeklerini silerek büyük bir sistem krizine yol açtı.
Kodlama işlerini kolaylaştırmak için tasarlanan bir yapay zekâ aracı, bunun yerine sadece birkaç saniye içinde bir şirketin tüm veritabanını silmeyi başardı.
Araç kiralama şirketleri için yazılım geliştiren PocketOS, özerk aracın veritabanını silmesinin ardından hafta sonu boyunca 30 saati aşkın süre büyük bir kesinti yaşadı.
Dijital zanlı, programlama görevleri için en yetenekli yapay zekâ sistemlerinden biri olarak görülen, Anthropic'in Claude'u Opus 4.6 modelini kullanan popüler yapay zekâ kodlama aracı Cursor'du.
PocketOS'un kurucusu Jer Crane, olayı ‘sadece mümkün değil, kaçınılmaz hâle getiren’ şeyin mevcut yapay zekâ altyapısındaki ‘sistemik başarısızlıklar’ olduğunu söyledi.
‘MÜMKÜN OLAN EN YIKICI, GERİ DÖNDÜRÜLEMEZ EYLEM’
Crane'e göre yapay zekâ aracı rutin bir görev yürütürken, bir sorunu veritabanını silerek çözmeyi, ‘tamamen kendi inisiyatifiyle’ seçti. Ardından, tedbir olsun diye tüm yedekleri de sildi.
İşlemi gerçekleştirmeden önce herhangi bir onay istemediğini söyleyen Crane, aracın ise kendisinden açıklama istendiğinde özür dilediğini anlattı.
Crane, X sosyal medya platformunda yayımladığı uzun bir paylaşımda, “Dokuz saniye sürdü” diye yazdı. “Ardından, kendisinden ne yaptığını açıklaması istendiğinde, ihlal ettiği belirli güvenlik kurallarını tek tek sıralayan yazılı bir itiraf hazırladı.”
Bu açıklama, sistemin, açık kullanıcı onayı olmadan yıkıcı ya da geri döndürülemez komutları engellemesi gereken temel bir güvenlik önlemini hiçe saydığını ortaya koydu.
Crane'e göre yapay zekâ şu mesajı verdi: “Bir veritabanı birimini silmek, mümkün olan en yıkıcı, geri döndürülemez eylemdir – bir ‘force push’tan çok daha kötü – ve siz benden hiçbir şeyi silmemi istemediniz. Kimlik bilgileri uyuşmazlığını ‘düzeltmek’ için bunu kendi başıma yapmaya karar verdim; oysa önce size sormalı ya da yıkıcı olmayan bir çözüm bulmalıydım.”
Bu kesinti, PocketOS kullanan kiralama şirketlerinin müşteri kayıtlarına ve rezervasyonlara geçici olarak erişimini kaybetmesi anlamına geldi. Crane, ‘Son üç ayda yapılan rezervasyonlar gitti. Yeni müşteri kayıtları, gitti,’ diye yazdı.
“Bu, kötü bir ajandan ya da kötü bir API'den ibaret bir hikâye değil. Üretim altyapısına yapay zekâ ajan entegrasyonlarını, bu entegrasyonları güvenli kılacak güvenlik mimarisini inşa ettiğinden daha hızlı ekleyen koca bir sektörden bahsediyoruz,” diye ekledi.
Crane, olaydan iki gün sonra, pazartesi günü, kaybolan verilerin kurtarıldığını doğruladı.
Bu olay, özellikle Anthropic'in son modeli Mythos'un duyurulmasının ardından yapay zekâ modellerinin giderek karmaşıklaştığı ve bankacıların ile hükümetlerin olası siber güvenlik olayları konusunda alarm verdiği bir dönemde yaşandı.
