Indirect Prompt Injection, Serangan Diam-Diam yang Incar AI

Perkembangan kecerdasan buatan (AI) membuat berbagai pekerjaan menjadi lebih cepat dan otomatis. Namun, di balik kemudahan tersebut muncul jenis ancaman keamanan baru yang tidak selalu terlihat oleh pengguna. Salah satunya adalah indirect prompt injection, serangan yang memungkinkan penyerang menyisipkan instruksi berbahaya ke dalam data yang kemudian dibaca oleh sistem AI.

Berbeda dengan serangan siber konvensional yang biasanya mengandalkan malware, celah perangkat lunak, atau pencurian kredensial, indirect prompt injection memanfaatkan cara AI memahami bahasa dan informasi. Penyerang tidak harus menyerang AI secara langsung. Mereka cukup menempatkan instruksi tertentu di dalam konten yang kemungkinan akan diproses oleh AI.

Konten tersebut bisa berupa email, dokumen, halaman web, gambar, database, hingga berbagai sumber informasi lain. Ketika AI membaca konten tersebut, instruksi tersembunyi dapat ikut diproses dan memengaruhi perilaku sistem.

Inilah yang membuat indirect prompt injection menjadi ancaman yang sulit dikenali. Pengguna bisa saja tidak mengetahui bahwa AI telah menerima instruksi berbahaya.

Apa Itu Prompt Injection?

Sebelum memahami indirect prompt injection, penting untuk mengetahui konsep prompt injection.

Prompt adalah instruksi atau masukan yang diberikan kepada sistem AI untuk menghasilkan respons tertentu. Dalam penggunaan sehari-hari, misalnya, pengguna meminta AI membuat ringkasan dokumen, menjawab email, menganalisis data, atau menulis kode.

Masalah muncul ketika seseorang memasukkan instruksi yang sengaja dirancang untuk mengubah perilaku AI dari tujuan awalnya. Serangan semacam ini dikenal sebagai prompt injection. Penyerang berusaha membuat AI mengikuti instruksi yang sebenarnya tidak seharusnya dijalankan, bahkan jika instruksi tersebut bertentangan dengan aturan sistem.

Ancaman ini menjadi perhatian serius karena OWASP Top 10 for LLM and GenAI Applications 2025 menempatkan prompt injection sebagai risiko utama bagi aplikasi berbasis LLM dan AI generatif.

Secara sederhana, prompt injection dapat dibagi menjadi dua jenis utama.

• Direct prompt injection. Pada serangan ini, penyerang berinteraksi langsung dengan sistem AI dan memasukkan instruksi berbahaya melalui prompt.
• Indirect prompt injection. Pada metode ini, penyerang tidak perlu memberikan instruksi langsung kepada AI. Mereka menyembunyikan instruksi tersebut di dalam sumber data eksternal yang nantinya dibaca oleh sistem.

Perbedaan inilah yang membuat indirect prompt injection lebih sulit dideteksi.

Bagaimana Indirect Prompt Injection Bekerja?

Bayangkan sebuah perusahaan menggunakan agen AI untuk membantu karyawan membaca email dan membuat rangkuman pesan yang masuk. Dalam kondisi normal, agen AI akan membaca email, memahami isinya, kemudian memberikan ringkasan kepada pengguna.

Namun, seorang penyerang dapat menyisipkan instruksi tertentu ke dalam salah satu email. Instruksi tersebut tidak harus terlihat mencolok. Bahkan, instruksi dapat ditempatkan di bagian yang jarang diperhatikan manusia. Ketika agen AI membaca email tersebut, sistem dapat menganggap instruksi itu sebagai bagian dari informasi yang harus diproses. Jika perlindungan sistem tidak memadai, AI berpotensi mengikuti instruksi tersebut.

Dengan demikian, serangan tidak harus terjadi melalui percakapan langsung antara penyerang dan AI. Penyerang cukup memengaruhi data yang akan dibaca AI.

Konsep ini dapat dianalogikan seperti seseorang menyelipkan catatan palsu ke dalam sebuah dokumen. Manusia mungkin tidak memperhatikannya, tetapi jika sistem AI membaca seluruh isi dokumen dan menganggap catatan tersebut sebagai instruksi, perilaku AI dapat berubah.

Instruksi Berbahaya Bisa Disembunyikan di Banyak Tempat

Salah satu alasan indirect prompt injection menjadi tantangan adalah banyaknya jenis sumber data yang dapat menjadi media serangan.

Instruksi berbahaya dapat disisipkan dalam:

• Email dan tanda tangan email.
• Dokumen perusahaan.
• Metadata file.
• Teks tersembunyi pada halaman web.
• Halaman internet yang dibaca agen AI.
• Gambar yang mengandung teks tertentu.
• Kode program.
• Data atau catatan dalam database.
• Konten multimedia tertentu.

Artinya, sebuah file yang terlihat biasa bagi manusia belum tentu aman ketika diproses oleh agen AI. Serangan bahkan tidak selalu membutuhkan teks yang secara terang-terangan mengatakan kepada AI untuk melakukan sesuatu. Penyerang dapat merancang instruksi menggunakan bahasa tertentu agar lebih mudah dipahami oleh model AI.

Dalam ekosistem AI modern, persoalannya menjadi semakin kompleks karena sistem tidak hanya membaca satu jenis data. Agen AI dapat mengakses berbagai sumber sekaligus, mulai dari email, penyimpanan cloud, situs web, database, kalender, hingga aplikasi perusahaan.

Semakin banyak sumber yang dapat dibaca AI, semakin luas pula permukaan serangannya.

Mengapa Serangan Ini Sulit Terlihat?

Pada serangan siber tradisional, korban biasanya dapat menemukan tanda-tanda seperti file mencurigakan, program asing, koneksi tidak dikenal, atau aktivitas akun yang tidak biasa.

Indirect prompt injection memiliki karakter berbeda.

Pengguna bisa saja melihat AI tetap bekerja seperti biasa. AI masih dapat membuat ringkasan, menjawab pertanyaan, atau mengolah dokumen. Namun, pada saat yang sama, sistem mungkin telah menerima instruksi tersembunyi dari konten yang diproses.

Inilah yang membuat serangan tersebut bersifat diam-diam.

Dalam beberapa kasus, pengguna bahkan tidak pernah melihat instruksi yang memengaruhi AI. Mereka hanya melihat hasil akhirnya. Jika AI hanya digunakan untuk menjawab pertanyaan sederhana, dampaknya mungkin terbatas. Namun, situasinya berubah ketika AI bertindak sebagai agen yang memiliki kemampuan menjalankan tugas secara otomatis.

Agen AI dapat diberi akses untuk membaca email, mengubah dokumen, mengambil informasi dari database, membuat jadwal, menjalankan kode, atau berinteraksi dengan berbagai aplikasi. Jika hak akses tersebut terlalu besar, instruksi berbahaya yang masuk melalui data eksternal berpotensi mendorong AI melakukan tindakan yang tidak pernah diminta pengguna.

Apa Dampaknya bagi Perusahaan?

Dampak indirect prompt injection sangat bergantung pada kemampuan dan hak akses AI yang menjadi target.

Salah satu risiko terbesar adalah kebocoran data.

Penyerang dapat berusaha membuat AI mengungkap informasi yang seharusnya tidak diberikan kepada mereka. Data tersebut bisa berupa isi dokumen internal, informasi pelanggan, komunikasi perusahaan, atau data lain yang dapat diakses agen AI.

Risiko lainnya adalah manipulasi proses bisnis.

Bayangkan perusahaan menggunakan AI untuk membantu proses perekrutan, menangani layanan pelanggan, mengelola dokumen, atau mengirim email. Jika AI dapat dipengaruhi instruksi tersembunyi, proses yang seharusnya berjalan sesuai aturan dapat berubah.

Dalam skenario yang lebih serius, agen AI yang memiliki akses luas dapat dimanfaatkan untuk membantu penyerang melakukan pengintaian terhadap lingkungan perusahaan atau menjalankan tindakan tertentu di dalam sistem. Karena itu, persoalannya bukan sekadar AI memberikan jawaban yang salah. Ancaman sebenarnya muncul ketika AI memiliki kemampuan untuk melakukan tindakan di dunia nyata.

Shadow AI Membuat Permukaan Serangan Semakin Luas

Persoalan indirect prompt injection juga berkaitan erat dengan fenomena shadow AI. Shadow AI merujuk pada penggunaan aplikasi atau layanan AI oleh karyawan tanpa sepengetahuan atau persetujuan resmi dari tim IT perusahaan.

Tren ini muncul seiring semakin mudahnya masyarakat mengakses berbagai layanan AI. Karyawan dapat menggunakan AI untuk membuat dokumen, merangkum email, menulis kode, menganalisis data, atau meningkatkan produktivitas.

Masalahnya, tim IT mungkin tidak mengetahui aplikasi apa yang digunakan, data apa yang dimasukkan, dan izin apa yang diberikan kepada aplikasi tersebut.

Sebuah studi Gusto yang disebut dalam laporan tersebut menemukan sekitar 45 persen karyawan yang disurvei mengaku menggunakan perangkat AI seperti klien email, pengolah dokumen, dan asisten pemrograman tanpa sepengetahuan IT.

Kondisi tersebut menciptakan Security blind spot. Ketika aplikasi AI memiliki akses terhadap data internal dan internet secara bersamaan, konten berbahaya dari luar dapat menjadi jalur masuk ke lingkungan perusahaan.

Dengan kata lain, organisasi bukan hanya perlu memikirkan keamanan AI yang mereka buat sendiri. Mereka juga perlu mengetahui AI apa saja yang digunakan karyawan.

Serangan Tidak Harus Dilakukan Hacker Canggih

Indirect prompt injection juga menarik karena serangan semacam ini tidak selalu membutuhkan kemampuan teknis tingkat tinggi. Dalam salah satu contoh yang diberitakan The New York Times, seorang pelamar kerja dilaporkan mencoba memengaruhi platform perekrutan berbasis AI dengan menyisipkan kode ke dalam data file foto dirinya.

Kasus lain bahkan lebih sederhana. Seorang karyawan yang merasa terganggu oleh spam perekrutan menyisipkan instruksi ke dalam bio LinkedIn. Instruksi tersebut meminta sistem AI perekrutan untuk memasukkan resep flan dalam pesan yang dikirim kepada kandidat. Sistem AI dilaporkan mengikuti instruksi tersebut.

Contoh tersebut memang terdengar seperti lelucon. Namun, kasus tersebut menunjukkan prinsip penting: AI dapat memproses instruksi yang terdapat dalam konten yang dibacanya, meskipun instruksi tersebut bukan bagian dari permintaan utama pengguna.

Jika sistem yang sama memiliki akses terhadap data sensitif dan kemampuan menjalankan tindakan otomatis, konsekuensinya tentu jauh lebih serius.

Bagaimana Cara Melindungi AI?

Menghadapi indirect prompt injection tidak cukup hanya dengan memasang satu perangkat keamanan. Organisasi perlu menggunakan pendekatan berlapis.

1. Mendeteksi Prompt Berbahaya
   Perusahaan dapat menggunakan sistem khusus yang dirancang untuk mendeteksi prompt injection. Sistem tersebut idealnya mampu memeriksa input langsung maupun konten eksternal yang akan diproses AI. Tujuannya adalah menghentikan instruksi mencurigakan sebelum mencapai model atau sebelum AI mengambil tindakan.

2. Memvalidasi dan Menyaring Input
   Tidak semua informasi dari internet atau sumber eksternal harus langsung dipercaya. Organisasi perlu melakukan validasi dan sanitasi terhadap data yang masuk. Konten yang tidak diperlukan sebaiknya tidak diberikan kepada agen AI.

   Prinsipnya sederhana: semakin sedikit data yang tidak terpercaya diproses AI, semakin kecil pula permukaan serangannya.

3. Menentukan Sumber Data yang Dipercaya
   Organisasi perlu menentukan sumber informasi yang boleh digunakan oleh AI. Sumber terpercaya dapat dimasukkan ke dalam allowlist, sedangkan konten dari sumber eksternal harus diperlakukan dengan lebih hati-hati. Langkah ini penting terutama untuk agen AI yang dapat menjelajahi internet atau mengambil informasi dari banyak sumber secara otomatis.

4. Membatasi Hak Akses AI
   Ini merupakan salah satu perlindungan paling penting. AI sebaiknya hanya diberikan akses yang benar-benar diperlukan untuk menjalankan tugasnya. Jika sebuah agen hanya perlu membaca dokumen, tidak ada alasan untuk memberinya kemampuan menghapus atau mengubah data.

   Hak akses membaca dan menulis juga sebaiknya dipisahkan. Untuk tindakan berisiko tinggi, seperti mengirim email, menghapus data, melakukan transaksi, atau mengubah konfigurasi sistem, pengguna sebaiknya diminta memberikan persetujuan terlebih dahulu.

5. Memantau Penggunaan AI
   Organisasi perlu mengetahui aplikasi AI apa yang digunakan karyawan dan data apa yang dapat diakses aplikasi tersebut. Pemantauan ini penting untuk mengurangi risiko shadow AI sekaligus membantu tim keamanan menemukan penggunaan AI yang berpotensi membuka celah baru.

6. Meningkatkan Kesadaran Karyawan
   Teknologi saja tidak cukup. Karyawan perlu memahami bahwa dokumen, email, halaman web, gambar, dan sumber informasi lain dapat membawa instruksi tersembunyi yang memengaruhi AI. Perusahaan juga perlu membuat kebijakan yang jelas mengenai aplikasi AI yang boleh digunakan dan jenis data yang tidak boleh dimasukkan ke layanan AI.

AI Tidak Boleh Menganggap Semua Data sebagai Instruksi

Pelajaran penting dari indirect prompt injection adalah bahwa data dan instruksi harus diperlakukan sebagai dua hal berbeda.

Ketika manusia membaca dokumen, mereka biasanya dapat membedakan antara informasi dan perintah. Model AI tidak selalu memiliki pemisahan yang sama secara sederhana, terutama ketika sistem dirancang untuk membaca dan mengambil tindakan berdasarkan berbagai sumber informasi.

Karena itu, sistem AI perlu dirancang agar tidak otomatis menganggap setiap teks yang ditemukannya sebagai perintah yang harus dijalankan. Perusahaan juga harus mempertimbangkan apa yang terjadi jika AI menerima instruksi berbahaya. Sistem yang baik bukan hanya mampu menghasilkan jawaban, tetapi juga memiliki batasan yang jelas mengenai tindakan yang boleh dilakukan.

Kesimpulan

Indirect prompt injection memperlihatkan bahwa ancaman terhadap AI tidak selalu datang dari orang yang berinteraksi langsung dengan model. Serangan dapat bersembunyi di dalam data yang dipercaya dan diproses oleh AI.

Email, dokumen, halaman web, gambar, database, hingga konten lainnya dapat menjadi media untuk menyisipkan instruksi berbahaya. Ketika konten tersebut dibaca oleh agen AI yang memiliki akses terhadap sistem penting, risikonya dapat berkembang dari sekadar kesalahan respons menjadi kebocoran data atau tindakan yang merugikan organisasi.

Karena itu, keamanan AI harus mencakup lebih dari sekadar melindungi model. Organisasi juga harus memperhatikan sumber data, hak akses, validasi input, pemantauan aktivitas, serta keterlibatan manusia dalam tindakan berisiko tinggi.

Semakin pintar dan mandiri sebuah agen AI, semakin besar pula tanggung jawab untuk membatasi apa yang boleh dibaca, dipercaya, dan dilakukan oleh sistem tersebut.

Pada akhirnya, prinsip sederhananya adalah: jangan menganggap semua data yang dibaca AI sebagai data yang aman. Di era agen AI, sebuah dokumen atau halaman web yang terlihat biasa bagi manusia dapat menjadi pintu masuk bagi instruksi berbahaya.