Apa Itu LLMjacking? Kenali Risiko dan Cara Mencegahnya

Kehadiran kecerdasan buatan atau Artificial Intelligence (AI) semakin tidak terpisahkan dari aktivitas bisnis. Perusahaan menggunakan Large Language Model (LLM) untuk membuat konten, menganalisis data, membantu layanan pelanggan, menulis kode, hingga mendukung pengambilan keputusan. Namun, semakin luas teknologi AI digunakan, semakin besar pula permukaan serangan yang harus diamankan.

Salah satu ancaman yang mulai mendapat perhatian adalah LLMjacking, yakni aksi membajak layanan LLM menggunakan kredensial yang dicuri atau disalahgunakan. Penyerang tidak harus meretas model AI secara langsung. Cukup dengan memperoleh API key atau identitas cloud yang memiliki hak akses, mereka dapat memanfaatkan infrastruktur AI milik korban untuk menjalankan aktivitas tanpa izin.

Risikonya pun tidak sederhana. Organisasi dapat menerima tagihan penggunaan AI yang sangat besar, kehilangan data sensitif, mengalami penyalahgunaan model, hingga menghadapi proses investigasi dan kepatuhan yang panjang.

Karena itu, memahami cara kerja LLMjacking menjadi bagian penting dari keamanan AI, terutama bagi perusahaan yang mulai mengintegrasikan layanan GenAI ke dalam sistem bisnis.

Mengenal LLMjacking

Secara sederhana, LLMjacking adalah pembajakan layanan Large Language Model menggunakan kredensial yang sah tetapi telah dicuri atau disalahgunakan. Kredensial tersebut dapat berupa API key, token akses, atau identitas cloud yang memiliki izin untuk menggunakan layanan AI.

Perbedaan pentingnya adalah penyerang tidak selalu membutuhkan teknik eksploitasi yang rumit. Mereka dapat memanfaatkan kredensial yang sudah memiliki akses resmi ke layanan LLM.

Sebagai contoh, sebuah perusahaan menggunakan API key untuk menghubungkan aplikasi internal dengan layanan LLM berbasis cloud. Jika API key tersebut secara tidak sengaja dipublikasikan di repositori kode, forum, log, atau konfigurasi aplikasi, penyerang dapat menemukannya dan mencoba menggunakannya.

Ketika API key masih aktif dan memiliki izin yang cukup luas, penyerang dapat mengirimkan permintaan ke layanan LLM menggunakan kredensial tersebut. Dari sudut pandang penyedia layanan, permintaan itu bisa saja terlihat seperti aktivitas normal karena menggunakan kredensial yang valid. Inilah yang membuat LLMjacking berbahaya. Sistem tidak selalu melihat adanya "peretasan" secara langsung. Sebaliknya, aktivitas berbahaya dapat terlihat seperti penggunaan AI yang sah.

Ancaman ini pertama kali banyak dikaitkan dengan aktivitas penyerang yang mencari kredensial AI yang terekspos untuk mendapatkan akses ke berbagai platform LLM. Risiko serupa dapat muncul pada layanan seperti OpenAI, Claude, AWS Bedrock, Vertex AI, maupun platform AI lainnya.

Mengapa LLMjacking Semakin Berbahaya?

Pertumbuhan penggunaan AI membuat organisasi semakin bergantung pada layanan LLM. Banyak aplikasi modern kini mengirimkan prompt ke model AI melalui API.

Dalam kondisi tersebut, API key menjadi semacam "kunci" yang menghubungkan aplikasi dengan model. Jika kunci tersebut jatuh ke tangan yang salah, penyerang dapat menggunakannya untuk mengakses layanan tanpa perlu mengetahui sistem AI secara keseluruhan.

Selain API key, penyerang juga dapat mengeksploitasi identitas non-manusia, seperti akun layanan, workload identity, token otomatis, atau kredensial yang digunakan aplikasi.

Kesalahan konfigurasi juga menjadi masalah. Kredensial yang seharusnya hanya digunakan untuk satu aplikasi terkadang memiliki izin terlalu luas. Akibatnya, ketika kredensial tersebut bocor, dampak serangan dapat menjadi lebih besar.

Risikonya juga tidak hanya berlaku bagi perusahaan yang menggunakan layanan AI publik. Organisasi yang menjalankan model secara privat atau on-premises tetap dapat menjadi sasaran apabila kontrol akses, autentikasi, dan pemantauan tidak diterapkan dengan baik.

Dengan kata lain, LLMjacking bukan sekadar masalah penyedia cloud. Ini merupakan bagian dari tantangan keamanan AI yang harus diperhatikan oleh organisasi secara menyeluruh.

Bagaimana Serangan LLMjacking Terjadi?

Serangan LLMjacking biasanya dimulai dari satu hal yang terlihat sederhana: kredensial yang bocor. API key dapat terekspos karena kesalahan pengembang, konfigurasi server yang tidak aman, repositori kode publik, log aplikasi, atau perangkat lunak lama yang memiliki kerentanan.

Setelah memperoleh kredensial, penyerang biasanya tidak langsung menjalankan aktivitas dalam skala besar. Mereka terlebih dahulu melakukan pengujian untuk memastikan apakah API key masih aktif dan hak akses apa saja yang dimilikinya.

Penyerang dapat mengirimkan sejumlah kecil permintaan API. Jika berhasil, mereka mengetahui bahwa kredensial tersebut masih dapat digunakan.

Tahap berikutnya dapat berlangsung dengan cepat. Penyerang mulai mengirimkan permintaan dalam jumlah besar ke penyedia LLM. Tujuannya bisa bermacam-macam, mulai dari menggunakan sumber daya komputasi korban hingga menjalankan layanan AI ilegal.

Dalam sejumlah kasus, penyerang menggunakan reverse proxy untuk menyamarkan sumber aktivitas. Teknik ini dapat membuat aktivitas menjadi lebih sulit dilacak karena lalu lintas tidak selalu langsung berasal dari infrastruktur penyerang.

Ada pula kemungkinan akses yang berhasil dibajak kemudian dijual kembali. Penyerang dapat menggunakan client open source atau gateway tertentu sehingga pihak lain bisa mengirimkan prompt melalui akun korban. Pada titik ini, akun atau infrastruktur korban pada dasarnya telah berubah menjadi layanan AI ilegal yang dibiayai oleh korban.

Mengapa LLMjacking Sulit Dideteksi?

Salah satu persoalan utama dalam LLMjacking adalah visibilitas. Pada serangan tradisional, tim keamanan mungkin dapat melihat indikator seperti malware, koneksi mencurigakan, atau proses yang tidak dikenal. Namun, LLMjacking dapat memanfaatkan API key yang valid.

Aktivitas yang dilakukan penyerang juga bisa menyerupai penggunaan normal. Sistem mungkin hanya melihat adanya permintaan API kepada model yang memang digunakan oleh organisasi. Tanpa mengetahui pola penggunaan normal atau baseline, tim keamanan akan kesulitan menentukan apakah peningkatan penggunaan merupakan aktivitas bisnis atau serangan.

Sebagai contoh, peningkatan jumlah permintaan LLM bisa terjadi karena perusahaan sedang menjalankan kampanye baru. Namun, peningkatan yang sama juga dapat disebabkan penyerang yang menggunakan API key secara diam-diam.

Karena itu, organisasi perlu mengetahui siapa yang menggunakan model, kapan model digunakan, dari mana permintaan berasal, model apa yang dipanggil, dan berapa banyak sumber daya yang digunakan.

Dampak LLMjacking bagi Organisasi

Dampak LLMjacking dapat melampaui persoalan tagihan cloud. Ada beberapa risiko utama yang perlu diperhatikan.

1. Biaya AI Membengkak
   Dampak paling mudah terlihat adalah meningkatnya biaya penggunaan LLM. Penyerang dapat mengirimkan permintaan dalam jumlah sangat besar menggunakan API key korban. Setiap permintaan dapat menghasilkan biaya. Jika aktivitas berlangsung dalam waktu lama, tagihan dapat meningkat secara signifikan.

   Situasi menjadi lebih serius apabila kredensial yang dicuri memiliki akses ke sumber daya cloud lainnya. Penyerang mungkin dapat menggunakan infrastruktur cloud untuk menjalankan workload tambahan. Artinya, perusahaan bukan hanya membayar penggunaan AI yang tidak sah, tetapi juga berpotensi membayar sumber daya komputasi lain yang digunakan penyerang.

2. Data dan Informasi Sensitif Dapat Bocor
   LLM sering terhubung dengan data internal perusahaan. Aplikasi AI dapat menggunakan dokumen perusahaan, database, informasi pelanggan, kode sumber, atau data operasional sebagai bagian dari konteks yang diberikan kepada model.

   Jika penyerang memperoleh akses yang cukup, mereka dapat mencoba memanfaatkan prompt, log, atau output model untuk mendapatkan informasi sensitif. Kebocoran tersebut dapat menimbulkan dampak serius, terutama jika data yang terekspos berkaitan dengan pelanggan, keuangan, rahasia bisnis, atau informasi internal.

3. Model AI Dapat Disalahgunakan
   Model yang dibajak tidak hanya dapat digunakan untuk menghasilkan teks biasa. Penyerang dapat mencoba memanfaatkan model untuk aktivitas berbahaya. Mereka juga dapat memanipulasi data yang digunakan dalam proses fine-tuning atau retrieval sehingga output model berubah. Jika model tersebut digunakan oleh aplikasi bisnis lain, manipulasi tersebut berpotensi memengaruhi pengguna dan sistem yang bergantung pada hasil AI.

4. Investigasi Menjadi Lebih Rumit
   Ketika terjadi penyalahgunaan API key, tim keamanan harus menentukan kapan kredensial mulai disalahgunakan, siapa yang menggunakannya, model apa yang diakses, dan data apa yang mungkin terpapar. Tim kemudian perlu mencabut atau mengganti kredensial, memeriksa log, mengidentifikasi aktivitas mencurigakan, serta memastikan sistem kembali normal. Jika organisasi memiliki kewajiban kepatuhan tertentu, investigasi juga dapat menjadi lebih panjang.

5. Kredensial yang Dicuri Bisa Digunakan Kembali
   Kebocoran kredensial tidak selalu berakhir setelah satu insiden. API key yang dicuri dapat diperjualbelikan atau dibagikan melalui jaringan kriminal. Akibatnya, satu kredensial yang bocor dapat memicu serangkaian penyalahgunaan lainnya.

   Hal ini menunjukkan bahwa keamanan API key harus diperlakukan sama seriusnya dengan perlindungan terhadap kredensial penting lainnya.

Enam Cara Mendeteksi dan Mencegah LLMjacking

Organisasi dapat mengambil sejumlah langkah untuk mengurangi risiko LLMjacking. Tidak ada satu solusi yang mampu menghentikan seluruh serangan, sehingga pendekatan terbaik adalah menggabungkan pengamanan kredensial, kontrol akses, pemantauan, dan pembatasan biaya.

1. Kelola API Key dengan Ketat
   Langkah pertama adalah memastikan API key tidak memiliki akses lebih besar dari yang dibutuhkan. API key sebaiknya memiliki ruang lingkup yang terbatas. Jika sebuah aplikasi hanya membutuhkan akses ke satu layanan atau model, jangan berikan akses ke seluruh lingkungan AI.

   Organisasi juga perlu mengganti API key secara berkala dan segera menonaktifkan token yang sudah tidak digunakan. Jika memungkinkan, gunakan token dengan masa berlaku pendek. Batasi pula penggunaan berdasarkan aplikasi, alamat IP, jaringan, atau layanan tertentu.

   Prinsipnya sederhana: semakin terbatas hak akses sebuah kredensial, semakin kecil dampaknya jika kredensial tersebut bocor.

2. Cari Kredensial yang Terekspos
   Organisasi perlu melakukan pemindaian secara rutin untuk menemukan API key atau token yang tidak sengaja masuk ke lingkungan yang tidak semestinya. Pemindaian dapat dilakukan pada repositori kode, image aplikasi, template Infrastructure as Code, log, wiki internal, hingga lampiran tiket.

   Tim keamanan juga dapat memasukkan pemeriksaan secret ke dalam proses pengembangan perangkat lunak. Dengan begitu, jika API key muncul dalam pull request, sistem dapat memberikan peringatan sebelum kode digabungkan. Setiap kredensial juga sebaiknya memiliki pemilik yang jelas. Ketika ditemukan key yang mencurigakan, tim dapat segera mengetahui layanan mana yang harus diperiksa.

3. Pantau Pola Penggunaan LLM
   Pemantauan aktivitas merupakan salah satu pertahanan terpenting terhadap LLMjacking. Organisasi perlu mengetahui pola penggunaan normal, termasuk jumlah permintaan, model yang digunakan, sumber IP, akun, waktu penggunaan, serta aplikasi yang mengakses endpoint AI.

   Peringatan dapat dibuat untuk mendeteksi kondisi seperti lonjakan permintaan yang tiba-tiba, akses pada waktu yang tidak biasa, aktivitas dari akun yang sudah lama tidak digunakan, atau layanan yang tiba-tiba mulai mengakses endpoint AI.

   Log dari penyedia LLM juga dapat diintegrasikan dengan sistem Security Information and Event Management (SIEM). Dengan demikian, aktivitas LLM dapat dikaitkan dengan indikator keamanan lain untuk menemukan pola serangan.

4. Batasi Akses Keluar ke Endpoint AI
   Organisasi juga perlu mengontrol ke mana aplikasi internal dapat mengirimkan data. Salah satu caranya adalah menerapkan DNS allowlist dan kebijakan egress. Hanya domain atau endpoint AI yang telah disetujui yang boleh diakses oleh layanan tertentu.Pendekatan ini dapat membantu mencegah aplikasi internal berkomunikasi dengan proxy, broker relay, atau endpoint AI yang tidak dikenal. Jika API key bocor, pembatasan jaringan juga dapat mengurangi kemungkinan key tersebut digunakan dari lingkungan yang tidak diizinkan.

5. Terapkan Prinsip Zero Trust
   Zero Trust berarti organisasi tidak otomatis mempercayai setiap permintaan hanya karena permintaan tersebut berasal dari lingkungan internal. Dalam konteks LLM, setiap akses perlu diverifikasi berdasarkan identitas dan hak akses.

   Organisasi dapat menerapkan autentikasi yang kuat, memverifikasi identitas perangkat dan workload, serta memberikan hak akses seminimal mungkin. Lingkungan development dan production juga sebaiknya dipisahkan. API key untuk pengembangan tidak seharusnya dapat digunakan untuk mengakses sistem production. Dengan menerapkan prinsip least privilege, ruang gerak penyerang dapat dibatasi apabila terjadi kebocoran kredensial.

6. Terapkan Rate Limit dan Pengendalian Biaya
   Keamanan LLM juga harus mempertimbangkan aspek biaya. Organisasi dapat menetapkan rate limit untuk membatasi jumlah permintaan yang dapat dilakukan menggunakan sebuah API key dalam periode tertentu.

   Selain itu, aktifkan peringatan anggaran pada tingkat penyedia layanan. Jika penggunaan tiba-tiba melonjak, tim dapat segera menerima notifikasi dan melakukan pemeriksaan. Memisahkan penggunaan LLM ke beberapa project atau akun juga dapat membantu organisasi mengetahui sumber biaya dengan lebih jelas.

   Jika terjadi anomali, API key yang dicurigai harus segera dicabut atau diganti. Setelah itu, tim perlu memeriksa aktivitas API terbaru dan memastikan penggunaan kembali ke pola normal.

LLMjacking Menjadi Tantangan Baru di Era AI

LLMjacking menunjukkan bahwa ancaman keamanan di era AI tidak selalu berbentuk malware atau eksploitasi kerentanan perangkat lunak. Kredensial yang sah tetapi jatuh ke tangan yang salah juga dapat menjadi pintu masuk serangan. Ketika perusahaan semakin bergantung pada LLM, API key, token, dan identitas cloud menjadi aset penting yang harus dilindungi.

Karena itu, keamanan AI tidak cukup hanya dengan mengamankan model. Organisasi juga perlu mengamankan seluruh ekosistem yang menghubungkan aplikasi, pengguna, data, API, identitas, jaringan, dan penyedia LLM. Pendekatan tersebut perlu dimulai dari pengelolaan kredensial yang disiplin, pembatasan hak akses, pemantauan penggunaan, pengamanan jaringan, penerapan Zero Trust, hingga pengendalian biaya.

Pada akhirnya, tujuan utama bukan sekadar mencegah penyerang mendapatkan akses. Organisasi juga harus mampu mengetahui ketika akses disalahgunakan, membatasi dampaknya, dan merespons insiden secepat mungkin.

Semakin banyak proses bisnis bergantung pada AI, semakin penting pula bagi organisasi untuk memahami bahwa setiap API key dapat menjadi bagian dari permukaan serangan. LLMjacking menjadi pengingat bahwa inovasi AI harus berjalan beriringan dengan keamanan dan tata kelola yang matang.