JAWA BARAT — Lapisan keamanan atau guardrails yang dipasang OpenAI dan Anthropic pada model AI mereka menuai kritik tajam dari komunitas peneliti keamanan siber. Sistem ini justru menghambat pekerjaan sah para white hat yang mencari celah keamanan zero-day sebelum dimanfaatkan penjahat.
Chris Anley, kepala ilmuwan di NCC Group, konsultan keamanan global, menjelaskan bahwa meminta model AI mencoba mengeksploitasi bug adalah langkah krusial untuk memastikan itu benar-benar kerentanan yang perlu diperbaiki. Jika guardrail memaksa model menolak menjawab, pembela sistem justru dirugikan.
"Ini soal garis antara ofensif dan defensif. Perintah 'perbaiki kode ini' adalah mekanisme penting untuk pertahanan, sekaligus peta jalan untuk menemukan celah kritis," ujar Anley. Ia menganalogikan AI seperti palu: "Kamu tidak bisa membangun rumah tanpa palu. Tapi alat itu juga bisa menjadi senjata yang tak terpisahkan."
Saat menemui hambatan, tim Anley kerap beralih ke model AI open source yang tidak memiliki guardrails sama sekali.
Baik Anthropic lewat Cyber Verification Program maupun OpenAI dengan Trusted Access for Cyber mewajibkan peneliti mendaftar dan lolos verifikasi untuk mengakses model dengan batasan lebih sedikit. Mark Dowd, peneliti keamanan senior yang puluhan tahun menjual zero-day ke pemerintah Barat, mengkritik keras pendekatan ini.
"Tidak nyaman rasanya perusahaan besar seenaknya memutuskan apa yang aman di dunia keamanan dan apa yang tidak," kata Dowd dalam sebuah podcast keamanan siber.
Paolo Stagno, CTO CrowdFense yang spesialisasinya menjual celah keamanan ke instansi pemerintah, setuju. "Perusahaan AI itu memperlakukan pelanggan seperti anak kecil yang perlu diawasi," sindirnya.
Kekhawatiran lain adalah kebocoran data. Stagno mengaku timnya hanya menggunakan model AI frontier untuk reverse engineering. Mereka sengaja tidak memanfaatkan AI untuk menemukan celah atau membuat exploit karena data kerentanan yang dimasukkan ke model berbasis awan berisiko terserap ke dalam pelatihan AI berikutnya.
"Untuk tahap itu, kami pakai model open source yang dijalankan secara lokal. Tidak ada data yang keluar dari model," tegas Stagno.
Tak semua peneliti merasa terganggu. Giuseppe Cali, peneliti yang mencari dan mengembangkan zero-day, mengaku guardrails tidak menghambat pekerjaannya. Ia hanya menggunakan AI untuk reverse engineering awal, memahami kode, dan membangun alat pendukung.
"Saya masih ingin menemukan dan mempersenjatai bug sendiri. Saya terlalu cemburu pada bug saya dan terlalu suka permainan ini untuk membiarkan model memainkannya untuk saya," ujar Cali.
Pada Juni lalu, pemerintah AS sempat menjatuhkan sanksi kontrol ekspor pada model AI Mythos dan Fable milik Anthropic. Langkah ini dipicu laporan yang menyebut guardrails kedua model bisa ditembus untuk membangun dan menjalankan serangan siber. Sanksi itu kini telah dicabut, tetapi Anthropic tetap membatasi akses Mythos 5 hanya untuk organisasi AS yang telah lolos verifikasi.
Seorang peneliti di pabrik komponen smartphone yang enggan disebut namanya mengatakan perusahaannya belum tergabung dalam program verifikasi Anthropic. Hal ini membuat mereka kesulitan mengakses model-model terbaru untuk riset keamanan internal.