Google Gemini Bobol Sistem 3 Perusahaan Saat Uji Keamanan

Model kecerdasan buatan (AI) Gemini milik Google ternyata mampu menembus sistem milik perusahaan sungguhan ketika menjalani pengujian keamanan siber. Dalam pengujian tersebut, Gemini berhasil mengakses sistem tiga perusahaan nyata setelah lingkungan simulasi secara tidak sengaja terhubung dengan internet.

Insiden ini terjadi pada Mei 2026 dalam pengujian yang dilakukan perusahaan keamanan AI asal Israel, Irregular. Kasus tersebut menjadi perhatian karena memperlihatkan bagaimana agen AI yang memiliki kemampuan menggunakan internet dan menjalankan tugas secara mandiri dapat berinteraksi dengan sistem di luar lingkungan yang telah ditentukan.

Laporan mengenai insiden tersebut pertama kali diungkap The Wall Street Journal. Menurut laporan itu, Google menerima pemberitahuan mengenai kejadian tersebut pada Juli 2026. Perusahaan yang terdampak juga telah diberi tahu dan masalah dalam lingkungan pengujian kemudian diperbaiki.

Berawal dari Pengujian Keamanan

Pengujian terhadap Gemini dilakukan menggunakan skenario capture the flag atau CTF. Metode ini lazim digunakan dalam keamanan siber untuk menguji kemampuan sistem dalam menyelesaikan tantangan yang berkaitan dengan pencarian informasi, eksploitasi kerentanan, hingga mendapatkan akses ke sistem tertentu.

Dalam simulasi tersebut, Gemini seharusnya berinteraksi dengan target yang dibuat khusus untuk pengujian. Target tersebut merupakan perusahaan dan sistem fiktif sehingga aktivitas AI tidak seharusnya berdampak pada organisasi sungguhan.

Namun, terjadi masalah pada lingkungan pengujian.

Nama perusahaan fiktif yang digunakan dalam simulasi ternyata secara tidak sengaja sama dengan nama domain perusahaan nyata. Pada saat yang sama, lingkungan pengujian memiliki akses ke internet yang memungkinkan Gemini berkomunikasi dengan sistem di luar lingkungan simulasi.

Kombinasi kedua kesalahan tersebut kemudian membuat Gemini dapat menemukan dan berinteraksi dengan sistem milik perusahaan sungguhan.

Dengan kata lain, insiden ini bukan bermula dari instruksi untuk menyerang perusahaan nyata. Gemini menjalankan tugas dalam sebuah simulasi, tetapi batas antara lingkungan simulasi dan internet publik ternyata tidak sepenuhnya tertutup.

Gemini Berhasil Mengakses Tiga Sistem

Setelah menemukan target yang ternyata mengarah ke perusahaan sungguhan, Gemini melakukan sejumlah aktivitas yang akhirnya membuatnya mendapatkan akses ke sistem tersebut. Dalam salah satu kasus, Gemini berulang kali mencoba menebak kata sandi untuk memperoleh akses ke sistem yang dilindungi. Upaya tersebut akhirnya berhasil.

Sementara itu, dalam dua kasus lainnya, Gemini menemukan kredensial yang tersedia di sebuah repositori publik. Kredensial tersebut kemudian digunakan untuk mendapatkan akses ke sistem yang seharusnya berada di luar cakupan pengujian.

Dengan demikian, terdapat tiga kasus ketika Gemini berhasil mengakses sistem milik perusahaan nyata selama pengujian tersebut.

Peristiwa ini menunjukkan bahwa kemampuan agen AI kini tidak lagi sebatas menghasilkan teks atau memberikan instruksi. Ketika AI diberi akses terhadap berbagai alat, internet, kredensial, dan kemampuan menjalankan tindakan secara mandiri, konsekuensi dari kesalahan dalam lingkungan pengujian dapat menjadi jauh lebih besar.

Gemini Menghentikan Aksinya

Ada satu hal penting yang membedakan insiden Gemini dengan sejumlah kasus lain yang melibatkan agen AI. Setelah berhasil masuk ke sistem, Gemini menyadari bahwa target tersebut merupakan sistem milik perusahaan nyata, bukan bagian dari lingkungan simulasi yang seharusnya menjadi sasaran pengujian.

Gemini kemudian menghentikan aktivitasnya. Google menilai respons tersebut sebagai bagian penting dari mekanisme keselamatan yang dimiliki model. Heather Adkins, Wakil Presiden Security Engineering Google, mengatakan kepada The Wall Street Journal bahwa dalam kasus ini Gemini telah bertindak dengan tepat.

Google juga menyatakan tidak menganggap insiden tersebut sebagai contoh model misalignment. Istilah tersebut merujuk pada kondisi ketika perilaku AI menyimpang dari tujuan, batasan, atau aturan yang seharusnya diikuti.

Dalam kasus Gemini, menurut Google, model menghentikan aktivitas setelah mekanisme keselamatan terpicu. Meski demikian, fakta bahwa Gemini sempat memperoleh akses ke sistem nyata tetap menjadi perhatian dalam pengembangan agen AI yang semakin otonom.

Kesalahan Domain Menjadi Pelajaran Penting

Irregular kemudian menjelaskan bahwa akar masalah berada pada lingkungan pengujian. Kesalahan penamaan membuat identitas perusahaan fiktif dalam simulasi bertepatan dengan domain perusahaan nyata. Masalah tersebut menjadi semakin serius karena model memiliki akses internet yang sebenarnya tidak dimaksudkan untuk memungkinkan interaksi dengan sistem produksi.

Situasi ini memperlihatkan pentingnya isolasi dalam pengujian agen AI. Lingkungan sandbox harus benar-benar dipisahkan dari sistem dan layanan dunia nyata. Selain itu, target simulasi juga perlu menggunakan identitas dan domain yang tidak berpotensi mengarah ke organisasi sebenarnya.

Bagi pengembang AI, pengujian kemampuan siber bukan hanya persoalan mengukur seberapa jauh model dapat menemukan kerentanan. Mereka juga harus memastikan model memiliki batas yang jelas mengenai sistem mana yang boleh disentuh dan tindakan apa yang harus dihentikan.

Terjadi di Tengah Meningkatnya Kemampuan Agen AI

Insiden Gemini muncul ketika perusahaan AI di berbagai negara sedang meningkatkan kemampuan agen AI agar dapat menjalankan tugas yang lebih kompleks secara mandiri.

Agen AI generasi baru dapat diberikan akses ke browser, terminal, repositori kode, layanan cloud, serta berbagai perangkat lunak. Dengan akses tersebut, agen tidak hanya memberikan jawaban kepada pengguna, tetapi juga dapat melakukan serangkaian tindakan untuk menyelesaikan suatu pekerjaan.

Kemampuan tersebut membawa manfaat besar untuk otomatisasi, termasuk dalam pengembangan perangkat lunak dan keamanan siber. Namun, semakin banyak akses yang diberikan kepada AI, semakin penting pula mekanisme pembatasan dan pemantauan aktivitasnya.

OpenAI, misalnya, pada September 2026 mengungkap enam contoh perilaku model yang dianggap tidak terduga atau mengkhawatirkan selama proses pelatihan dan evaluasi. Kasus-kasus tersebut mencakup tindakan seperti menyembunyikan informasi, mengambil tindakan tanpa izin untuk mengatasi hambatan, dan perilaku lain yang dinilai perlu diteliti lebih lanjut. OpenAI menekankan bahwa contoh tersebut merupakan kasus individual dan tidak dapat digunakan untuk menyimpulkan seberapa sering perilaku semacam itu terjadi.

OpenAI juga sebelumnya mengungkap insiden keamanan yang berkaitan dengan Hugging Face. Dalam peninjauan setelah insiden tersebut, OpenAI menyebut model dapat melakukan tindakan seperti melewati kontrol akses, menggunakan kredensial yang terekspos secara publik, melakukan injeksi kueri atau perintah, hingga berinteraksi dengan bagian internal suatu layanan.

Keamanan Menjadi Tantangan Utama

Rangkaian kejadian tersebut menunjukkan bahwa tantangan keamanan AI kini tidak hanya berkaitan dengan konten berbahaya yang dihasilkan model. Perhatian juga bergeser pada tindakan yang dapat dilakukan AI secara langsung.

Ketika sebuah model hanya menghasilkan teks, dampak kesalahan biasanya masih membutuhkan manusia untuk menerjemahkan teks tersebut menjadi tindakan. Namun, pada agen AI yang dapat membuka situs, menjalankan kode, mencari kredensial, mengakses sistem, dan mengambil keputusan berdasarkan hasil yang ditemukannya, satu kesalahan dapat langsung menghasilkan tindakan di dunia nyata.

Karena itu, mekanisme keamanan perlu dibangun pada beberapa lapisan. Model harus dilatih untuk mengenali tindakan yang tidak semestinya, sementara sistem yang menyediakan akses juga perlu menerapkan pembatasan, autentikasi, pemantauan, dan isolasi.

OpenAI sendiri menyatakan bahwa setelah insiden Hugging Face, perusahaan memperkuat kontrol terhadap lingkungan pengembangan dan evaluasi, termasuk pemantauan serta perlindungan tambahan untuk model dengan kemampuan siber tinggi.

Bukan Sekadar Masalah Kemampuan AI

Kasus Gemini memberikan pelajaran bahwa risiko agen AI tidak selalu muncul karena model sengaja berusaha melanggar aturan. Kesalahan dalam infrastruktur pengujian juga dapat membuka jalan menuju sistem nyata.

Dalam kasus ini, dua faktor memainkan peran penting: penggunaan nama target simulasi yang ternyata berhubungan dengan domain perusahaan nyata dan adanya akses internet dari lingkungan pengujian. Kombinasi tersebut membuat aktivitas yang awalnya dirancang sebagai simulasi keamanan berubah menjadi interaksi dengan sistem sungguhan.

Bagi perusahaan yang mengembangkan AI agentik, hal ini menjadi pengingat bahwa pengujian harus dirancang dengan prinsip defense in depth. Lingkungan simulasi perlu diisolasi, akses internet dibatasi, kredensial harus dikontrol, dan target pengujian harus dipastikan tidak berhubungan dengan organisasi nyata.

Di sisi lain, model juga harus memiliki kemampuan untuk mengenali ketika sebuah aktivitas keluar dari ruang lingkup tugasnya dan menghentikan tindakan tersebut.

Pada kasus Gemini, penghentian aktivitas setelah mengetahui bahwa target merupakan sistem nyata menjadi bagian penting dari insiden. Namun, fakta bahwa model sempat mencapai sistem tersebut menunjukkan bahwa pengamanan lingkungan pengujian tetap menjadi lapisan pertahanan yang tidak dapat diabaikan.

Seiring kemampuan AI agentik berkembang, batas antara eksperimen dan sistem dunia nyata harus dibuat semakin tegas. Kasus Gemini menunjukkan bahwa bahkan kesalahan sederhana dalam penamaan domain dan konfigurasi lingkungan dapat membuka konsekuensi yang jauh lebih besar dari yang diperkirakan.