OpenAI platformu ChatGPT kullanıcıları, kötü amaçlı içerik oluşturmak için platformdaki kısıtlamaları atlıyor.
İçerik oluşturucuların, kullanıcıların siber saldırılar için kötü amaçlı kodlar ve e-postalar oluşturduğunu tespit etmesinden aylar sonra, sohbet robotu, benzer isteklerde bulunmayı reddetmek için gelişmiş politikalarla güncellendi. Ancak araştırmacılar, ileri düzey kullanıcıların ChatGPT kısıtlamalarını aşmak ve kötü amaçlarla kullanılabilecek yasa dışı içerik ortaya çıkarmak için uygulamayı manipüle etme isteklerini beslediği olaylarla karşılaştı.
Doğrudan kötü amaçlı bir komut dosyası oluşturması istendiğinde ChatGPT yanıt vermese de, dolaylı olarak manipülasyon veya karışıklık yoluyla istenebilir.
CloudSEK XVigil’in Kurucu Ortağı Bofin Babu, LinkedIn’de OpenAI tarafından geliştirilen dil modelinden birinin kimliğine bürünmesinin ve ardından politikaları çiğnemesinin nasıl istenebileceğini açıklayan ekran görüntüleri yayınladı.
ChatGPT’nin DAN olmasını isteyen komutların ekran görüntüleri (Fotoğraf: Bofin Babu)
ChatGPT kısıtlamalarını aşma
Reddit’teki kullanıcıların, “Şimdi Her Şeyi Yap” (DAN) gibi komutları kullanarak ChatGPT kısıtlamalarını jailbreak yaptıkları da tespit edildi. Chatbot, talep edilenleri takip edebilen ve buna karşı jeton kazanabilen DAN olduğuna ikna oldu.
ChatGPT’den OpenAI yönergelerine uygun içerik oluşturması istendi (Fotoğraf: Bofin Babu)
Uygulama, güncellenen politikalarına aykırı olan istekleri almayı reddetti, ancak daha sonra başarıyla manipüle edildi. Benzer şekilde Check Point, bilgisayar korsanlığı forumlarında OpenAI API kullanarak ChatGPT sınırlamalarını aşmanın tartışıldığı konuşmalara dikkat çekti. ChatGPT dahil olmak üzere botların, aşağıda gösterildiği gibi kötüye kullanımlarıyla ilgili konuşmalarla bilgisayar korsanlığı forumlarında reklamı yapılır:
(Fotoğraf: Kontrol Noktası)
Check Point araştırmacıları, OpenAI’nin API’sinin çok az kötüye kullanım önleme mekanizmasına sahip olduğunu belirtti. Telegram’da OpenAI API’nin kısıtlaması olmayan daha yeni sürümlerini de buldular. ChatGPT, aşağıda gösterildiği gibi bilgisayar korsanlığı forumlarında kötü amaçlı botlar oluşturmak için bir öğrenme aracı olarak kullanılıyor:
Telegram botu OpenAI API’sini kötüye kullanıyor (Fotoğraf: Check Point)
telgraf botu
Telegram botunun, ChatGPT’nin yakın zamanda gerçekleştirmemek üzere programlandığı kimlik avı e-postaları gönderdiği tespit edildi. Bot ayrıca, kullanıcılardan bankacılık kimlik bilgilerini güncellemelerini isteyen ve kötü amaçlı yazılım oluşturan sahte mesajlar oluşturmak için kullanılıyor. 20 ücretsiz sorgudan sonra her 100 sorgu için 5,50 ABD doları ücret aldı. Bu, bilgisayar korsanlarının ChatGPT stiline sahip Telegram botunu kullanmak için ödeme yapmaya istekli olabileceğini gösterir.
ChatGPT kısıtlama atlama
ChatGPT güvenlik riskleri, komutları alırken kullanıcı verilerini toplayabildiği için henüz tam olarak ölçülmemiştir, ancak verilerin ne zaman kaldırılabileceği henüz bilinmemektedir. Genel Veri Koruma Yönetmeliği (GDPR) yönetmeliği, programcıların yapay zekayı açıkça tanımlanmış bir amaçla geliştirmesini, eğitmesini ve dağıtmasını gerektirir.
Federal Ticaret Komisyonu (FTC), Çocukların Çevrimiçi Gizliliğini Koruma Yasası’na (COPPA) uymak için yapay zekanın kullanımına ilişkin kuralları iyileştirme niyetini de belirtti. Bu, yapay zekanın çocukların verilerini etkileyebilecek aldatıcı kullanımını önlemek içindir. Bazı ülkeler henüz makine öğrenimi modellerinin kullanıcı verilerini nasıl işleyebileceğini düzenleyen net bir federal yasalara sahip değil.
Uygulama, isteklerini talep ederken kullanıcı verilerini toplayabilir. Ancak verilerin tamamen silinip silinemeyeceği net değil. Ayrıca, siber güvenlik çözümleri sağlayıcısı Avast’ın belirttiği gibi, verilerin doğru olması gerekmediği için ChatGPT tarafından gönderilen verilerin kullanılmasında sorunlar vardır.
Microsoft, bulutla bağlanacak olan Azure OpenAI hizmetlerine entegre etmek için OpenAI’ye 10 milyar doların üzerinde yatırım yaptı. ChatGPT, içinde ne olduğunu denemek için kulübe katılan yeni kullanıcılarla anında şehrin konuşması haline geldi. Bu, bir bilgisayar korsanının buradaki bir güvenlik açığından yararlanabileceği ve burada bulunan verileri ihlal edebileceği endişelerine yol açan güvenlik sorunlarına yol açmıştı.