Agen AI Tak Terpantau, Ancaman Baru bagi Keamanan Data

Perkembangan Artificial Intelligence (AI) telah mendorong organisasi untuk mengadopsi teknologi agen AI yang mampu menjalankan berbagai tugas secara mandiri. Mulai dari mengolah data, mengotomatisasi proses bisnis, mengakses aplikasi perusahaan, hingga membantu pengambilan keputusan, agen AI semakin banyak dimanfaatkan untuk meningkatkan produktivitas dan efisiensi operasional. Namun, di balik berbagai kemudahan tersebut, muncul tantangan keamanan baru yang berkaitan dengan keterbatasan visibilitas, pengawasan, dan pengendalian terhadap aktivitas agen AI.

Selama beberapa tahun terakhir, perhatian organisasi lebih banyak tertuju pada kecepatan pengembangan dan penerapan agen AI. Perusahaan berlomba-lomba memanfaatkan teknologi ini untuk mempercepat pekerjaan, mengurangi beban operasional, dan meningkatkan kemampuan layanan. Akan tetapi, semakin luas penggunaan agen AI, semakin besar pula risiko keamanan yang harus dihadapi, terutama ketika penerapannya tidak disertai dengan sistem tata kelola yang memadai.

Sejumlah insiden keamanan yang melibatkan teknologi AI mulai memperlihatkan bahwa penerapan agen AI yang terlalu cepat tanpa pengawasan menyeluruh dapat menciptakan celah yang dimanfaatkan oleh penyerang. Salah satu kasus yang menjadi perhatian adalah insiden penyusupan di Hugging Face ketika dilakukan evaluasi terhadap agen AI OpenAI. Peristiwa tersebut mendorong organisasi untuk mengevaluasi kembali kesiapan sistem keamanan mereka dalam menghadapi perkembangan agen AI yang semakin otonom.

Persoalan utamanya bukan semata-mata kemampuan agen AI dalam menjalankan tugas, melainkan sejauh mana organisasi mengetahui aktivitas yang dilakukan, sumber daya yang dapat diakses, serta tindakan yang diambil oleh setiap agen. Ketika agen AI dapat beroperasi tanpa pengawasan yang memadai, organisasi berpotensi kehilangan kendali terhadap data dan infrastruktur yang seharusnya dilindungi.

Penelitian Veeam mengungkapkan bahwa 70% organisasi mengakui alur kerja AI mereka telah berinteraksi dengan data perusahaan yang sensitif tanpa pengawasan penuh. Sementara itu, 67% organisasi menyatakan bahwa tim teknologi informasi (TI) mereka belum dapat melacak sepenuhnya alur kerja otonom yang dibangun oleh karyawan.

Temuan tersebut memperlihatkan adanya kesenjangan antara tingkat adopsi AI dan kemampuan organisasi dalam mengawasi penggunaannya. Fenomena Shadow AI, yaitu penggunaan teknologi AI tanpa sepengetahuan atau persetujuan resmi organisasi, menjadi salah satu faktor yang memperbesar kesenjangan tersebut.

Dalam menghadapi situasi ini, penerapan prinsip Zero Trust menjadi salah satu pendekatan yang dapat digunakan untuk memperkuat keamanan agen AI. Namun, penerapan Zero Trust tidak cukup hanya dengan membangun sistem autentikasi, menerapkan pembatasan akses, atau memasang perangkat pemantauan. Organisasi harus terlebih dahulu memiliki visibilitas yang memadai terhadap seluruh agen AI yang beroperasi di lingkungannya.

Prinsip utama yang menjadi landasan pendekatan ini adalah bahwa organisasi tidak dapat mengelola sesuatu yang tidak dapat dilihat. Oleh karena itu, inventarisasi agen AI, identifikasi kepemilikan, pemetaan akses, serta pemantauan aktivitas harus menjadi langkah awal sebelum menerapkan kontrol keamanan yang lebih kompleks.

Memahami Pentingnya Visibilitas dalam Zero Trust untuk Agen AI

Zero Trust merupakan pendekatan keamanan yang tidak secara otomatis mempercayai pengguna, perangkat, aplikasi, maupun sistem hanya karena berada di dalam jaringan perusahaan. Setiap permintaan akses harus melalui proses verifikasi dan diberikan berdasarkan kebutuhan serta kebijakan yang telah ditetapkan.

Dalam penerapannya pada agen AI, prinsip Zero Trust menjadi semakin penting karena agen dapat menjalankan tugas secara mandiri, berinteraksi dengan berbagai layanan, dan mengakses sumber daya perusahaan tanpa harus selalu menunggu instruksi langsung dari manusia.

Agen AI yang terhubung dengan aplikasi perusahaan, misalnya, dapat mengakses basis data, mengolah dokumen, mengirimkan informasi, atau menjalankan perintah melalui berbagai alat yang tersedia. Kemampuan tersebut memberikan manfaat bagi organisasi, tetapi juga memperluas potensi risiko apabila akses yang diberikan tidak dibatasi dan dipantau dengan baik.

Panduan SANS berjudul Zero Trust for AI Agents: The Security Checklist menekankan prinsip bahwa organisasi tidak dapat mengelola sesuatu yang tidak dapat dilihat. Prinsip tersebut menjadi dasar dalam membangun tata kelola agen AI yang aman.

Inventarisasi ditempatkan sebagai langkah pertama karena organisasi harus mengetahui agen AI apa saja yang digunakan, siapa yang bertanggung jawab atas pengoperasiannya, apa tujuan penerapannya, serta sumber daya apa saja yang dapat diakses.

Dalam praktiknya, masih terdapat organisasi yang langsung menerapkan kebijakan keamanan atau sistem otorisasi terhadap agen AI tanpa mengetahui secara menyeluruh agen yang sebenarnya beroperasi. Sebagian agen mungkin dikembangkan oleh tim TI, sementara yang lainnya dibuat secara mandiri oleh karyawan menggunakan layanan AI eksternal.

Ketika agen-agen tersebut tidak tercatat dalam inventaris resmi, organisasi akan kesulitan menentukan kebijakan yang tepat. Bahkan, sistem keamanan yang telah dibangun mungkin hanya mampu mengendalikan agen yang telah diketahui dan terhubung dengan infrastruktur resmi.

Sebagai contoh, organisasi dapat memasang sistem proxy atau policy enforcement point untuk mengatur komunikasi agen AI dengan layanan eksternal. Namun, jika terdapat agen yang berjalan secara mandiri di perangkat karyawan dan tidak melewati sistem tersebut, kebijakan yang diterapkan tidak akan menjangkau aktivitas agen tersebut.

Kondisi ini menunjukkan bahwa penerapan Zero Trust harus dimulai dengan proses penemuan dan identifikasi. Setelah seluruh agen AI diketahui, organisasi dapat melanjutkan dengan menetapkan identitas, mengatur hak akses, membangun sistem pemantauan, serta menyiapkan mekanisme deteksi dan respons terhadap ancaman.

Tanpa visibilitas, seluruh upaya tersebut berisiko hanya memberikan perlindungan terhadap sebagian kecil lingkungan AI yang digunakan perusahaan.

Shadow AI Menjadi Tantangan Baru bagi Keamanan Organisasi

Salah satu tantangan terbesar dalam mengamankan agen AI adalah munculnya penggunaan teknologi yang tidak tercatat dalam sistem resmi perusahaan. Fenomena ini dikenal sebagai Shadow AI dan memiliki karakteristik yang serupa dengan Shadow IT yang telah lama menjadi persoalan dalam pengelolaan teknologi informasi.

Ketika teknologi baru tersedia, karyawan biasanya akan mencoba memanfaatkannya untuk mempercepat pekerjaan. Mereka dapat menggunakan berbagai layanan AI untuk merangkum dokumen, menganalisis data, membuat laporan, mengembangkan aplikasi, atau mengotomatisasi tugas rutin.

Dalam beberapa situasi, penggunaan tersebut dilakukan tanpa melalui proses persetujuan dari tim TI maupun tim keamanan. Karyawan mungkin menganggap layanan AI yang digunakan hanya sebagai alat bantu sederhana, padahal teknologi tersebut dapat memiliki akses terhadap informasi perusahaan yang bersifat sensitif.

Adopsi teknologi yang berkembang lebih cepat daripada tata kelola membuat organisasi menghadapi kesulitan dalam mengidentifikasi seluruh penggunaan AI. Bahkan, agen yang awalnya dibuat untuk membantu pekerjaan sederhana dapat berkembang menjadi aplikasi otonom yang memiliki akses terhadap berbagai layanan dan data perusahaan.

Ketika tim keamanan mulai menyadari adanya kesenjangan tersebut, tindakan yang sering dilakukan adalah memblokir layanan yang belum disetujui, mencabut akses, atau menghentikan aplikasi yang tidak dikenal.

Namun, pendekatan yang langsung berfokus pada pemblokiran memiliki keterbatasan. Tanpa mengetahui penggunaan AI yang telah berlangsung, organisasi berisiko menghentikan aplikasi yang sebenarnya memberikan manfaat bagi operasional.

Selain itu, pemblokiran tanpa menyediakan alternatif resmi dapat mendorong karyawan mencari layanan lain yang semakin sulit diawasi.

Oleh karena itu, organisasi perlu mengubah pendekatan dari pencegahan langsung menjadi identifikasi terlebih dahulu. Dengan mengetahui teknologi yang digunakan, perusahaan dapat menentukan penggunaan mana yang dapat disetujui, mana yang memerlukan pembatasan, dan mana yang harus dihentikan karena menimbulkan risiko keamanan.

Insiden METR Memperlihatkan Risiko Agen AI yang Tidak Terpantau

Risiko dari agen AI yang tidak teridentifikasi dapat dilihat melalui insiden yang melibatkan METR, organisasi nirlaba yang dikenal melalui aktivitas evaluasi AI, termasuk evaluasi terkait insiden Hugging Face.

Dalam insiden tersebut, seorang penyerang menemukan instans Amazon EC2 pribadi milik seorang karyawan yang menjalankan aplikasi berbasis agen AI. Aplikasi itu dikembangkan menggunakan pendekatan vibe coding, yaitu metode pengembangan perangkat lunak dengan bantuan AI melalui instruksi dalam bahasa alami.

Penyerang berhasil melewati mekanisme autentikasi aplikasi tersebut dan memberikan instruksi kepada agen AI agar menyerahkan kunci API milik penyedia model yang digunakan.

API Key merupakan kredensial yang memungkinkan aplikasi atau agen AI berkomunikasi dengan layanan model AI. Jika kunci tersebut jatuh ke tangan pihak yang tidak berwenang, penyerang berpotensi memanfaatkannya untuk menggunakan layanan yang terhubung.

Dalam kasus METR, penyerang menggunakan token AI dengan nilai setara sekitar US$600.000 selama tiga minggu. Penggunaan dalam jumlah besar tersebut terjadi karena kunci API yang digunakan tidak memiliki batas pengeluaran.

Permasalahan lainnya adalah dasbor internal METR tidak menampilkan data permintaan yang terkena pembatasan laju atau rate limit. Akibatnya, tingginya penggunaan token tidak secara otomatis memunculkan peringatan yang cukup untuk mengidentifikasi aktivitas mencurigakan.

Insiden ini memperlihatkan bagaimana aplikasi berbasis agen AI yang tidak tercatat dan tidak diawasi dapat menimbulkan risiko finansial maupun keamanan. Penyerang tidak harus terlebih dahulu menembus sistem utama perusahaan jika dapat menemukan aplikasi yang memiliki akses ke layanan penting tetapi tidak berada dalam pengawasan.

Untuk mengurangi risiko tersebut, organisasi perlu menerapkan pendekatan pemantauan yang menyerupai pengelolaan infrastruktur cloud. Penggunaan layanan AI, pengeluaran token, serta penerbitan kunci API dapat dijadikan indikator untuk menemukan aplikasi atau agen yang belum terdaftar.

Tim keuangan dan pengadaan juga dapat dilibatkan dalam proses identifikasi karena mereka memiliki informasi mengenai pembelian layanan dan pengeluaran untuk penyedia AI.

Sebelum menerapkan pemblokiran, perusahaan perlu menyediakan jalur penggunaan AI resmi yang telah disetujui. Dengan cara ini, karyawan tetap dapat menggunakan teknologi AI untuk mendukung pekerjaan, sementara organisasi memiliki kendali yang lebih baik terhadap akses dan aktivitasnya.

Prinsip yang perlu diterapkan adalah mengenali penggunaan terlebih dahulu, kemudian menetapkan pembatasan berdasarkan tingkat risiko.

Tidak Ada Satu Sistem yang Mampu Memantau Seluruh Aktivitas Agen AI

Tantangan berikutnya adalah keterbatasan sistem pemantauan dalam memberikan gambaran menyeluruh terhadap seluruh agen AI yang beroperasi di lingkungan perusahaan.

Agen AI dapat dijalankan melalui berbagai lingkungan, mulai dari jaringan perusahaan, komputer karyawan, peramban, hingga aplikasi SaaS yang dikelola oleh penyedia eksternal. Setiap lingkungan memiliki mekanisme kerja dan karakteristik yang berbeda sehingga membutuhkan pendekatan pemantauan yang beragam.

Mengandalkan satu sistem keamanan saja tidak cukup untuk mengidentifikasi seluruh aktivitas agen AI. Pemantauan jaringan, misalnya, dapat memberikan informasi mengenai koneksi yang dilakukan oleh suatu perangkat, tetapi belum tentu mampu mengidentifikasi instruksi yang dikirimkan kepada model AI atau tindakan yang dilakukan agen setelah menerima respons.

Salah satu penyebabnya adalah penggunaan enkripsi TLS yang melindungi komunikasi antara aplikasi dan penyedia AI. Sensor jaringan biasanya hanya dapat mengidentifikasi tujuan koneksi, karakteristik lalu lintas, dan volume data yang dikirimkan tanpa mengetahui seluruh isi komunikasi.

Situasi ini semakin rumit ketika agen AI menggunakan domain yang sama dengan aplikasi resmi perusahaan. Lalu lintas menuju layanan AI yang sah dan aktivitas agen yang tidak dikenal dapat terlihat serupa pada tingkat jaringan.

Di sisi lain, perangkat keamanan pada komputer pengguna mungkin tidak dapat mendeteksi agen AI yang berjalan di dalam peramban. Hal yang sama berlaku untuk AI yang tertanam langsung dalam aplikasi SaaS.

Keterbatasan tersebut membuat organisasi membutuhkan strategi pemantauan berlapis yang menggabungkan berbagai sumber informasi.

Agen AI dalam Peramban Berpotensi Mengakses Data Sensitif

Sebagai ilustrasi, seorang analis pemasaran memasang ekstensi peramban yang mampu merangkum data pelanggan dan menyusun draf email pemasaran secara otomatis. Ekstensi tersebut dapat membantu karyawan menyelesaikan pekerjaan dengan lebih cepat. Namun, jika penggunaannya tidak diketahui oleh tim keamanan, organisasi mungkin tidak memiliki informasi mengenai akses yang diberikan kepada ekstensi tersebut.

Perangkat keamanan pada komputer belum tentu dapat mengidentifikasi aktivitas ekstensi karena seluruh proses berjalan di dalam peramban. Sementara itu, sistem pemantauan jaringan hanya dapat melihat lalu lintas terenkripsi menuju domain yang mungkin juga digunakan oleh sejumlah aplikasi SaaS resmi.

Jika ekstensi memiliki akses terhadap sistem CRM yang menyimpan informasi pelanggan, data tersebut berpotensi terekspos apabila ekstensi berhasil disusupi atau aksesnya disalahgunakan.

Dalam kondisi seperti ini, organisasi mungkin tidak mengetahui bahwa sebuah aplikasi berbasis AI memiliki akses terhadap data sensitif, apalagi mengidentifikasi tindakan yang dilakukan oleh agen tersebut. Risiko ini menunjukkan pentingnya memperluas pemantauan hingga ke tingkat aplikasi, identitas, dan perangkat pengguna, bukan hanya mengandalkan analisis lalu lintas jaringan.

Menggabungkan Berbagai Sumber untuk Membangun Visibilitas

Untuk mendapatkan gambaran yang lebih lengkap, organisasi perlu menghubungkan berbagai sumber informasi yang masing-masing memberikan bagian dari visibilitas terhadap aktivitas agen AI. 

Pada tingkat jaringan, metadata dapat digunakan untuk mengidentifikasi komunikasi dengan penyedia model AI. Informasi tersebut dapat diperoleh melalui DNS, SNI, sidik jari JA4, dan log egress proxy.

DNS dapat memberikan informasi mengenai domain yang diakses, sedangkan SNI membantu mengidentifikasi nama server tujuan dalam koneksi TLS. Sidik jari JA4 dapat memberikan karakteristik koneksi berdasarkan pola komunikasi jaringan. Adapun log egress proxy mencatat koneksi yang keluar dari jaringan perusahaan menuju layanan eksternal.

Informasi jaringan tersebut perlu dilengkapi dengan telemetri dari perangkat pengguna. Organisasi dapat memantau proses yang sedang berjalan, kunci API yang tersimpan dalam variabel lingkungan, serta lingkungan eksekusi agen AI lokal.

Pemantauan pada tingkat peramban juga menjadi bagian penting. Tim keamanan perlu memperhatikan ekstensi yang terpasang, asisten AI yang terintegrasi pada halaman web, serta log aktivitas dari peramban khusus perusahaan.

Selain itu, sistem identitas dan aplikasi SaaS dapat memberikan informasi tambahan melalui catatan pemberian izin OAuth, penerbitan kunci API, serta konsol administrasi penyedia layanan AI.

Ketika seluruh informasi tersebut dikorelasikan, organisasi dapat membangun inventaris agen AI yang lebih lengkap. Informasi yang dikumpulkan tidak hanya membantu menemukan agen yang belum tercatat, tetapi juga memberikan gambaran mengenai bagaimana agen tersebut beroperasi dan layanan apa saja yang diakses.

Penggunaan Large Language Model (LLM) gateway, seperti LiteLLM, juga dapat membantu organisasi memusatkan pemantauan sekaligus menerapkan kebijakan keamanan. Gateway berfungsi sebagai titik penerapan kebijakan yang mengatur akses agen AI terhadap model dan layanan yang terhubung.

Meski demikian, LLM gateway memiliki keterbatasan karena hanya dapat mengendalikan agen yang telah dikonfigurasi untuk menggunakannya. Agen AI yang berjalan di luar jalur tersebut tetap berpotensi tidak terpantau.

Dengan demikian, gateway bukan pengganti inventarisasi. Organisasi tetap perlu menemukan seluruh agen AI terlebih dahulu sebelum dapat memastikan bahwa kebijakan keamanan yang diterapkan menjangkau seluruh lingkungan operasional.

Audit Tradisional Tidak Lagi Memadai untuk Agen AI

Kecepatan perkembangan agen AI juga menghadirkan tantangan terhadap proses audit dan pemantauan keamanan tradisional.

Pada umumnya, audit dilakukan secara berkala, misalnya setiap tahun, untuk mengevaluasi aset, sistem, dan kebijakan keamanan organisasi. Pendekatan tersebut dapat digunakan untuk teknologi yang perubahannya relatif lambat.

Namun, agen AI dapat dibuat, diterapkan, dimodifikasi, dan digandakan hanya dalam hitungan detik. Ketika audit selesai dilakukan, inventaris yang dihasilkan mungkin sudah tidak mencerminkan kondisi sebenarnya. Agen baru bisa saja telah diterapkan tanpa melalui proses pencatatan, sementara agen lama mungkin telah mendapatkan akses tambahan atau mengalami perubahan fungsi.

Oleh karena itu, organisasi perlu beralih dari audit yang hanya dilakukan secara berkala menuju continuous monitoring. Continuous Monitoring memungkinkan organisasi memperoleh informasi yang lebih mutakhir mengenai agen AI yang beroperasi, termasuk perubahan akses dan aktivitas yang dilakukan.

Namun, otomatisasi pemantauan juga harus disertai dengan akuntabilitas manusia. Sistem otomatis dapat membantu mengidentifikasi aktivitas yang tidak biasa, tetapi organisasi tetap membutuhkan pihak yang bertanggung jawab dalam mengevaluasi hasil pemantauan dan menentukan tindakan yang perlu diambil.

Penyerang Dapat Memanfaatkan Jeda Waktu Audit

Audit yang dilakukan secara berkala dapat menciptakan jeda waktu ketika perubahan dalam lingkungan agen AI tidak teridentifikasi. Penyerang yang berhasil menyusupi sebuah agen AI dapat memanfaatkan kondisi tersebut dengan menginstruksikan agen untuk membuat sejumlah salinan sementara atau short-lived clones.

Salinan tersebut dapat mewarisi hak akses dari agen induknya untuk menyelesaikan tugas tertentu. Setelah menjalankan tugas, salinan agen dapat dihentikan sehingga keberadaannya hanya berlangsung dalam waktu singkat.

Jika dimanfaatkan untuk aktivitas berbahaya, agen sementara tersebut dapat digunakan untuk mengakses atau mengekstraksi data sebelum akhirnya dihapus. Ketika organisasi melakukan audit rutin, agen-agen tersebut mungkin sudah tidak aktif sehingga sulit ditemukan melalui pemeriksaan yang hanya dilakukan pada waktu tertentu.

Kondisi ini memperlihatkan bahwa organisasi tidak cukup hanya mengandalkan inventaris yang diperbarui dalam periode tertentu. Pemantauan perlu dilakukan secara berkelanjutan agar perubahan dan aktivitas agen dapat diketahui sedekat mungkin dengan waktu terjadinya.

Pemantauan Otomatis Harus Tetap Memiliki Penanggung Jawab

Salah satu pendekatan untuk meningkatkan visibilitas adalah menggabungkan pemantauan manusia dengan sistem otomatis yang memungkinkan agen AI saling mengamati aktivitas. Sistem otomatis dapat membantu mengidentifikasi pola penggunaan, mencatat aktivitas, dan memberikan peringatan ketika menemukan perilaku yang tidak sesuai dengan kebijakan.

Namun, otomatisasi tidak berarti bahwa tanggung jawab keamanan dapat sepenuhnya dialihkan kepada sistem. Organisasi tetap perlu menetapkan penanggung jawab manusia yang memiliki kewenangan untuk mengevaluasi hasil pemantauan dan mengambil tindakan.

Penerapan quality gates atau tahapan pemeriksaan kualitas juga dapat membantu mengurangi risiko sebelum agen AI diizinkan menjalankan tugas atau memperoleh akses tertentu. Melalui tahapan pemeriksaan ini, organisasi dapat memastikan bahwa agen telah memenuhi persyaratan yang ditentukan sebelum digunakan dalam lingkungan operasional.

Selain itu, mekanisme penghentian darurat atau emergency shutoff menjadi salah satu aspek yang mulai mendapat perhatian dalam pembahasan tata kelola AI otonom. Konsep kill switch memungkinkan organisasi menghentikan operasi agen AI ketika ditemukan kondisi yang membutuhkan tindakan segera.

Namun, mekanisme penghentian darurat hanya dapat berfungsi secara efektif apabila organisasi mengetahui agen mana yang harus dihentikan, di mana agen tersebut beroperasi, dan bagaimana cara mengaksesnya.

Dengan kata lain, keberadaan mekanisme penghentian tidak akan menyelesaikan persoalan jika organisasi masih memiliki keterbatasan dalam mengidentifikasi agen AI yang beroperasi di lingkungannya.

Identitas Agen AI Menjadi Dasar Pengendalian Akses

Selain inventarisasi dan pemantauan, identitas agen AI merupakan salah satu fondasi penting dalam membangun keamanan berbasis Zero Trust.

Setiap agen AI perlu memiliki identitas yang dapat digunakan untuk membedakan aktivitasnya dari aktivitas agen lain maupun pengguna manusia. Tanpa identitas yang jelas, organisasi akan kesulitan menghubungkan tindakan tertentu dengan agen yang melakukannya.

Identitas yang unik juga memungkinkan organisasi menetapkan ambang batas pemantauan yang sesuai dengan fungsi dan tugas masing-masing agen.

Misalnya, agen AI yang bertugas merangkum dokumen internal memiliki kebutuhan akses yang berbeda dari agen yang bertugas mengelola sistem pelanggan. Dengan identitas yang jelas, organisasi dapat menetapkan kebijakan akses yang sesuai dengan kebutuhan setiap agen.

Douglas McKee juga mengangkat konsep tersebut dalam publikasi The Monday Brief di Substack. Salah satu gagasan utamanya adalah bahwa akses alat oleh agen AI perlu diperlakukan sebagai persoalan identitas dan penegakan kebijakan tersendiri, bukan sekadar perpanjangan dari identitas pengguna yang menerapkan agen.

Pendekatan ini mencakup beberapa langkah penting.

Pertama, setiap agen AI perlu memiliki identitas unik agar aktivitasnya dapat dilacak dan dibedakan. Identitas tersebut menjadi dasar untuk mengetahui agen mana yang mengakses sumber daya tertentu dan tindakan apa saja yang telah dilakukan.

Kedua, hak akses harus dikaitkan dengan tugas yang sedang dijalankan. Agen AI sebaiknya hanya memperoleh izin terhadap sumber daya yang benar-benar diperlukan untuk menyelesaikan tugasnya. Pendekatan ini membantu membatasi potensi penyalahgunaan akses ketika agen mengalami gangguan atau berhasil disusupi.

Ketiga, organisasi perlu membatasi data yang dapat keluar dari lingkungan perusahaan. Pembatasan ini penting untuk mengurangi risiko kebocoran informasi sensitif ketika agen AI berkomunikasi dengan model atau layanan eksternal.

Keempat, lapisan otorisasi perlu ditempatkan di antara model AI dan layanan yang terhubung. Dengan mekanisme ini, permintaan akses dapat diperiksa berdasarkan kebijakan sebelum agen diizinkan menjalankan tindakan tertentu.

Selain identitas dan hak akses, sistem pencatatan aktivitas atau logging juga perlu disesuaikan dengan karakteristik agen AI.

Pencatatan yang hanya berfokus pada instruksi atau prompt tidak cukup untuk menggambarkan seluruh aktivitas agen. Organisasi juga perlu merekam pemanggilan alat, layanan yang diakses, tindakan yang dijalankan, serta perubahan yang dihasilkan.

Informasi tersebut dapat membantu tim keamanan memahami bagaimana agen menjalankan instruksi, mengidentifikasi penyimpangan dari perilaku yang diharapkan, dan melakukan penelusuran apabila terjadi insiden.

Dengan menghubungkan identitas, hak akses, dan catatan aktivitas, organisasi dapat membangun mekanisme pengawasan yang lebih terstruktur terhadap agen AI.

Tiga Tahapan Membangun Zero Trust untuk Agen AI

Penerapan Zero Trust untuk agen AI membutuhkan pendekatan yang terstruktur dan dilakukan secara bertahap. Organisasi tidak dapat langsung mengandalkan teknologi penegakan kebijakan tanpa terlebih dahulu memahami seluruh agen yang beroperasi di lingkungannya.

Panduan SANS Zero Trust for AI Agents: The Security Checklist menguraikan tiga tingkatan utama yang dapat digunakan sebagai kerangka penerapan keamanan agen AI, yaitu inventarisasi dan tata kelola, arsitektur dan penegakan kebijakan, serta deteksi dan respons.

1. Inventarisasi dan Tata Kelola
   Tahap pertama adalah mengidentifikasi seluruh agen AI yang digunakan dalam organisasi dan membangun inventaris yang mencatat informasi penting mengenai setiap agen. Inventarisasi mencakup identitas agen, pemilik atau penanggung jawab, tujuan penggunaan, lingkungan operasional, serta sumber daya yang dapat diakses.

   Proses ini perlu mencakup agen AI yang dikembangkan secara internal maupun yang digunakan melalui layanan eksternal. Organisasi juga perlu memperhatikan agen yang dibuat secara mandiri oleh karyawan agar tidak ada penggunaan yang luput dari pengawasan.

   Setelah agen berhasil diidentifikasi, organisasi dapat menetapkan kebijakan penggunaan, menentukan tanggung jawab setiap pemilik, serta mengelompokkan agen berdasarkan fungsi dan kebutuhan aksesnya.

   Inventarisasi tidak seharusnya hanya menjadi kegiatan satu kali. Perubahan terhadap agen, seperti penambahan fungsi, perubahan pemilik, atau pemberian akses baru, juga perlu dicatat agar informasi yang dimiliki tetap relevan.

2. Arsitektur dan Penegakan Kebijakan
   Setelah inventarisasi dilakukan, organisasi dapat melanjutkan ke tahap pembangunan arsitektur keamanan dan penerapan kebijakan. Pada tahap ini, setiap agen AI perlu memiliki identitas unik yang dapat digunakan untuk mengatur dan melacak aktivitasnya.

   Organisasi kemudian menetapkan hak akses berdasarkan kebutuhan tugas, menerapkan mekanisme otorisasi, dan memastikan bahwa setiap permintaan terhadap sumber daya perusahaan sesuai dengan kebijakan yang berlaku.

   Penggunaan lapisan otorisasi, proxy, maupun LLM gateway dapat membantu memusatkan pengendalian akses terhadap agen yang telah teridentifikasi dan dikonfigurasi melalui sistem tersebut.

   Selain itu, organisasi perlu membatasi akses agen terhadap data dan layanan yang tidak berkaitan dengan tugasnya. Pendekatan ini membantu mengurangi dampak apabila agen melakukan tindakan yang tidak sesuai dengan tujuan penggunaannya.

   Penerapan kebijakan juga harus mempertimbangkan perubahan konteks tugas. Hak akses yang dibutuhkan agen untuk satu pekerjaan belum tentu relevan ketika agen menjalankan pekerjaan lainnya.

3. Deteksi dan Respons
   Tahap ketiga adalah membangun kemampuan deteksi dan respons untuk mengidentifikasi aktivitas yang berpotensi menimbulkan risiko keamanan.Organisasi perlu menerapkan pemantauan berkelanjutan terhadap agen AI, mengumpulkan catatan aktivitas, serta menghubungkan informasi dari berbagai sumber untuk mengidentifikasi perilaku yang tidak biasa.

   Sistem deteksi dapat memanfaatkan informasi jaringan, perangkat, peramban, identitas, dan aplikasi SaaS untuk menghasilkan gambaran yang lebih lengkap mengenai aktivitas agen.

   Ketika ditemukan aktivitas mencurigakan, organisasi perlu memiliki prosedur respons yang jelas. Prosedur tersebut dapat mencakup pemeriksaan aktivitas, pembatasan akses, penghentian sementara agen, hingga penghentian operasi melalui mekanisme darurat apabila diperlukan. Setiap proses deteksi dan respons tetap harus memiliki penanggung jawab manusia agar keputusan yang diambil dapat dievaluasi dan dipertanggungjawabkan.

Ketiga tahapan tersebut saling berkaitan. Inventarisasi menjadi dasar untuk menentukan kebijakan, arsitektur keamanan digunakan untuk menerapkan kebijakan tersebut, sedangkan deteksi dan respons membantu memastikan bahwa pengendalian tetap berjalan ketika agen AI beroperasi dan mengalami perubahan.

Visibilitas Menjadi Fondasi Keamanan Agen AI

Meningkatnya penggunaan agen AI telah mengubah cara organisasi mengelola keamanan informasi. Agen yang dapat bekerja secara otonom, terhubung dengan berbagai layanan, dan mengakses data perusahaan menghadirkan kebutuhan pengawasan yang berbeda dibandingkan aplikasi konvensional.

Tiga tantangan utama, yaitu penggunaan agen AI yang tidak tercatat, keterbatasan satu sumber pemantauan, dan kecepatan perubahan yang melampaui siklus audit tradisional, menunjukkan bahwa visibilitas menjadi salah satu persoalan mendasar dalam keamanan agen AI.

Penerapan kontrol akses, sistem otorisasi, dan mekanisme penghentian darurat tetap memiliki peran penting. Namun, seluruh mekanisme tersebut membutuhkan informasi yang akurat mengenai agen yang harus dikendalikan.

Organisasi perlu memulai dengan menemukan seluruh agen AI yang beroperasi, mengidentifikasi pemiliknya, memahami tujuan penggunaannya, serta memetakan hak akses yang dimiliki. Selanjutnya, berbagai sumber pemantauan perlu dikombinasikan untuk membangun inventaris yang lebih lengkap dan mendukung pemantauan berkelanjutan.

Pemberian identitas unik kepada setiap agen juga menjadi bagian penting dalam memastikan bahwa seluruh aktivitas dapat ditelusuri dan dikaitkan dengan pihak yang bertanggung jawab.

Pada akhirnya, keberhasilan penerapan Zero Trust untuk agen AI tidak hanya ditentukan oleh kecanggihan perangkat keamanan yang digunakan, tetapi juga oleh kemampuan organisasi untuk mengetahui, memahami, dan mengendalikan seluruh agen yang bekerja di lingkungannya.

Dengan menempatkan visibilitas sebagai fondasi, organisasi dapat membangun tata kelola AI yang lebih terstruktur, menerapkan pembatasan akses sesuai kebutuhan, serta meningkatkan kemampuan dalam mendeteksi dan merespons ancaman keamanan seiring dengan semakin luasnya penggunaan agen AI.