LLM Jacking: Cara Hacker Membajak Layanan AI Perusahaan

Perkembangan Artificial Intelligence (AI) membawa banyak manfaat bagi dunia bisnis. Perusahaan kini memanfaatkan teknologi AI generatif (GenAI) dan large language model (LLM) untuk mengotomatisasi pekerjaan, menganalisis data, meningkatkan layanan pelanggan, hingga membantu pengambilan keputusan. Namun, di balik berbagai kemudahan tersebut, muncul ancaman keamanan siber yang perlu diwaspadai, salah satunya adalah LLM jacking.

LLM jacking merupakan teknik serangan siber yang memungkinkan penjahat siber membajak akses ke layanan AI berbasis cloud milik perusahaan. Dengan mencuri kredensial akun cloud, pelaku dapat menggunakan layanan AI tanpa izin, sedangkan biaya pemakaiannya tetap dibebankan kepada perusahaan yang menjadi korban.

Ancaman ini tidak hanya berpotensi menimbulkan tagihan cloud yang membengkak, tetapi juga membuka peluang penyalahgunaan model AI, kebocoran informasi, hingga kerusakan reputasi perusahaan. Untuk memahami risiko tersebut, penting mengetahui pengertian LLM jacking, cara kerjanya, dampaknya, serta langkah-langkah untuk mencegah dan mendeteksinya.

Apa Itu LLM Jacking?

LLM jacking adalah serangan siber yang menargetkan layanan large language model (LLM) yang diakses melalui infrastruktur cloud. Dalam serangan ini, penjahat siber mencuri kredensial akun cloud, kemudian menggunakan atau menjual akses tersebut kepada pihak lain tanpa sepengetahuan pemilik akun.

Kredensial merupakan informasi autentikasi yang digunakan untuk mengakses suatu sistem atau layanan. Dalam lingkungan cloud, kredensial dapat memberikan izin kepada pengguna untuk mengakses sumber daya tertentu, termasuk layanan AI. Apabila kredensial tersebut jatuh ke tangan yang salah, penyerang berpotensi menyalahgunakan hak akses yang dimilikinya.

Istilah LLM sendiri merujuk pada model AI yang dilatih menggunakan data dalam jumlah besar untuk memahami dan menghasilkan bahasa manusia. Teknologi ini menjadi dasar berbagai layanan AI yang mampu menjawab pertanyaan, merangkum dokumen, menulis teks, dan membantu menyelesaikan beragam pekerjaan.

Sejumlah penyedia cloud menawarkan layanan untuk mengakses model AI, seperti Amazon Bedrock dan SageMaker, Google Vertex AI, serta Azure OpenAI Service. Melalui layanan tersebut, pengembang dapat memanfaatkan berbagai model, termasuk Claude, seri GPT, Amazon Titan, dan model lainnya sesuai ketersediaan layanan.

Tujuh dari sepuluh perusahaan telah memanfaatkan layanan AI. Tingginya penggunaan teknologi tersebut membuat keamanan akses ke layanan AI menjadi semakin penting.

LLM jacking menjadi berbahaya karena akses yang dicuri tidak selalu digunakan oleh satu pelaku. Penjahat siber dapat menjual kredensial kepada kelompok lain sehingga lebih banyak pihak berpotensi memanfaatkan layanan AI milik korban.

Dengan demikian, LLM jacking bukan sekadar persoalan pembobolan akun. Serangan ini juga berkaitan dengan penyalahgunaan sumber daya cloud, potensi kebocoran informasi, dan risiko terhadap operasional bisnis.

Apa Perbedaan LLM Jacking dan Cryptojacking?

Untuk memahami LLM jacking, kita dapat membandingkannya dengan cryptojacking, yaitu serangan yang memanfaatkan sumber daya komputasi milik korban secara diam-diam untuk menambang mata uang kripto. Keduanya memiliki pola yang serupa karena penyerang menggunakan sumber daya milik organisasi untuk kepentingan sendiri. Perbedaannya terletak pada sasaran dan tujuan penyalahgunaan.

Dalam cryptojacking, pelaku berusaha memanfaatkan daya pemrosesan perangkat atau server untuk aktivitas penambangan kripto. Sementara itu, LLM jacking berfokus pada pembajakan akses ke layanan AI berbasis cloud.

Dalam LLM jacking, penyerang dapat menggunakan layanan AI untuk berbagai keperluan atau menjual aksesnya kepada penjahat siber lain. Pada saat yang sama, penggunaan layanan tersebut dapat menimbulkan biaya yang harus dibayar oleh pemilik akun cloud.

Perbedaan ini menunjukkan bahwa ancaman terhadap infrastruktur AI tidak hanya berkaitan dengan manipulasi model atau pencurian data. Penyalahgunaan akses dan sumber daya cloud juga dapat menjadi bagian penting dari serangan.

Dampak Serangan LLM Jacking bagi Perusahaan

LLM jacking dapat menimbulkan berbagai kerugian, mulai dari masalah finansial hingga risiko keamanan dan reputasi. Berikut beberapa dampak yang perlu dipahami.

1. Tagihan layanan cloud membengkak
   Salah satu dampak paling langsung dari LLM jacking adalah meningkatnya biaya penggunaan layanan AI. Layanan LLM berbasis cloud umumnya mengenakan biaya berdasarkan skema penggunaan tertentu. Bergantung pada penyedia dan model yang digunakan, biaya dapat dipengaruhi oleh jumlah pemrosesan, volume permintaan, atau ketentuan harga lainnya.

   Ketika penjahat siber menggunakan layanan AI milik perusahaan secara terus-menerus, konsumsi sumber daya dapat meningkat tanpa sepengetahuan pemilik akun. Akibatnya, tagihan cloud berpotensi melonjak.

   Biaya akibat LLM jacking dapat mencapai 46.000 dolar AS per hari. Angka tersebut merupakan gambaran potensi kerugian yang dilaporkan dan bukan biaya tetap untuk setiap serangan. Bagi perusahaan, kondisi ini dapat mengganggu anggaran teknologi informasi, meningkatkan biaya operasional, dan mengurangi keuntungan.

2. Model AI disalahgunakan
   Dampak berikutnya adalah penyalahgunaan model AI yang digunakan perusahaan. Jika sistem AI tidak memiliki perlindungan yang memadai, penyerang berpotensi memanfaatkan akses tersebut untuk menghasilkan keluaran yang merugikan. Misalnya, model dapat digunakan untuk membuat informasi palsu atau konten berbahaya yang kemudian dimanfaatkan dalam aktivitas tertentu.

   Risiko ini semakin penting ketika perusahaan menggunakan AI untuk mendukung proses internal atau melayani pelanggan. Keluaran AI yang tidak semestinya dapat memengaruhi kualitas layanan, menimbulkan kesalahpahaman, dan merugikan pihak yang berinteraksi dengan sistem tersebut.

   Perusahaan juga mungkin tidak segera menyadari bahwa layanan AI-nya telah disalahgunakan. Tanpa pemantauan yang memadai, aktivitas mencurigakan dapat berlangsung sebelum akhirnya diketahui.

3. Kerentanan keamanan AI semakin berisiko
   LLM memiliki berbagai tantangan keamanan yang dapat dimanfaatkan oleh penyerang. OWASP mengidentifikasi sejumlah risiko penting dalam penggunaan LLM, termasuk prompt injection, data poisoning, pengungkapan informasi sensitif, dan pencurian model.

   Prompt injection merupakan teknik manipulasi instruksi yang dapat membuat model AI mengabaikan aturan atau menghasilkan respons yang tidak semestinya. Sementara itu, data poisoning pelatihan dilakukan dengan memengaruhi data yang digunakan untuk melatih model agar perilakunya berubah.

   Risiko lainnya adalah pengungkapan informasi sensitif melalui keluaran model, pemberian kewenangan berlebihan kepada sistem AI, serta ketergantungan pengguna terhadap hasil AI tanpa melakukan verifikasi.

   LLM jacking dapat memperburuk situasi ketika penyerang memperoleh akses ke layanan yang memiliki kelemahan keamanan. Namun, pembajakan akses tidak otomatis membuat semua kerentanan tersebut berhasil dieksploitasi. Dampaknya tetap bergantung pada hak akses penyerang, konfigurasi sistem, dan perlindungan yang diterapkan perusahaan.

4. Kebocoran data dan gangguan operasional
   Serangan LLM jacking juga dapat meningkatkan risiko kebocoran data dan eksploitasi lanjutan. Ketika akses cloud jatuh ke tangan pihak yang tidak berwenang, dampaknya bergantung pada izin yang melekat pada akun tersebut. Jika akun memiliki akses ke sumber daya sensitif, risiko yang muncul dapat menjadi lebih besar.

   Selain itu, penggunaan layanan AI secara berlebihan dapat mengganggu ketersediaan sumber daya atau memengaruhi operasional layanan. Perusahaan mungkin perlu mengalokasikan waktu dan biaya tambahan untuk melakukan investigasi, memulihkan akses, dan memperbaiki sistem keamanan.

5. Kepercayaan pelanggan menurun
   Keamanan AI juga berkaitan erat dengan reputasi perusahaan. Pelanggan dan mitra bisnis mengharapkan organisasi dapat menjaga informasi serta menggunakan teknologi secara bertanggung jawab.Ketika terjadi penyalahgunaan layanan AI, perusahaan dapat menghadapi penurunan kepercayaan, terutama apabila insiden tersebut berdampak pada data atau kualitas layanan.

   Kerugian tidak berhenti pada biaya penggunaan cloud. Perusahaan juga mungkin menghadapi biaya pemulihan, kehilangan pendapatan, gangguan operasional, dan biaya hukum sesuai dengan kondisi insiden yang terjadi.

Bagaimana Cara Kerja Serangan LLM Jacking?

Secara umum, LLM jacking melibatkan pencurian kredensial, pemeriksaan hak akses, dan penyalahgunaan layanan AI berbasis cloud. Dalam sejumlah kasus, akses yang diperoleh juga dapat diperjualbelikan kepada penjahat siber lainnya. Berikut gambaran tahapan serangan tersebut.

1. Mencuri kredensial akun cloud
   Tahap pertama adalah mendapatkan kredensial yang dapat digunakan untuk mengakses akun atau sumber daya cloud milik perusahaan. Kredensial tersebut dapat diperoleh melalui eksploitasi kelemahan sistem atau metode lain yang memungkinkan akses tidak sah. Adanya kredensial curian yang berasal dari sistem dengan versi Laravel yang rentan terhadap CVE-2021-3129.

   Contoh tersebut menunjukkan bahwa keamanan sistem yang terhubung dengan infrastruktur cloud turut memengaruhi keamanan layanan AI. Kelemahan pada satu komponen dapat membuka peluang bagi penyerang untuk memperoleh akses lebih luas, bergantung pada kondisi sistem dan izin yang tersedia.

2. Menjual kredensial kepada pihak lain
   Setelah mendapatkan kredensial, pelaku dapat menjualnya melalui pasar ilegal. Pembeli kemudian berpotensi memanfaatkan akses tersebut untuk menggunakan layanan cloud atau melakukan aktivitas berbahaya lainnya.

   Praktik ini membuat LLM jacking semakin sulit diprediksi. Perusahaan bukan hanya menghadapi pelaku yang mencuri kredensial, tetapi juga kemungkinan penyalahgunaan oleh pihak lain yang membeli akses tersebut.

3. Memeriksa hak akses yang dimiliki
   Setelah memperoleh kredensial, penyerang dapat berusaha mengetahui layanan dan sumber daya apa saja yang dapat diakses. Pemanggilan API seperti InvokeModel disebut sebagai salah satu cara untuk memeriksa akses ke layanan LLM. API merupakan antarmuka yang memungkinkan aplikasi atau sistem berkomunikasi dengan layanan lain.

   Penyerang dapat memanfaatkan respons sistem untuk memperoleh petunjuk mengenai apakah kredensial tersebut memiliki akses ke layanan yang dituju.

   Bagi perusahaan, hal ini menegaskan pentingnya membatasi hak akses sesuai kebutuhan. Kredensial yang dicuri seharusnya tidak memberikan kewenangan lebih luas daripada yang benar-benar diperlukan pengguna atau aplikasi.

4. Memeriksa konfigurasi pencatatan aktivitas
   Penyerang juga dapat mencoba mengetahui konfigurasi pencatatan aktivitas pada layanan AI berbasis cloud.  API GetModelInvocationLoggingConfiguration  sebagai salah satu mekanisme yang berkaitan dengan informasi konfigurasi tersebut. Informasi pencatatan aktivitas penting karena membantu perusahaan mengetahui bagaimana layanan digunakan dan bagaimana aktivitasnya dipantau.

   Namun, informasi yang dapat diperoleh penyerang bergantung pada izin akses serta perlindungan yang disediakan oleh penyedia cloud. Karena itu, tidak semua serangan memungkinkan pelaku melihat seluruh masukan dan keluaran model AI.

5. Mengelola dan menjual akses layanan AI
   Dalam beberapa kasus, pelaku dapat menggunakan perangkat lunak tertentu untuk mengelola akses yang telah dicuri. OAI Reverse Proxy sebagai salah satu perangkat open source yang berpotensi digunakan untuk mengelola akses ke layanan LLM. Jika akses tersebut berhasil dimonetisasi, pihak lain dapat memanfaatkannya tanpa sepengetahuan perusahaan pemilik akun.

   Pada tahap ini, potensi dampak semakin sulit diperkirakan karena penggunaan layanan AI dapat dilakukan oleh berbagai pelaku dengan tujuan berbeda. Oleh sebab itu, pencegahan pencurian kredensial dan deteksi aktivitas tidak wajar menjadi bagian penting dalam pertahanan terhadap LLM jacking.

Cara Mencegah Serangan LLM Jacking

Perusahaan perlu menggabungkan perlindungan akun cloud, pengamanan model AI, dan pemantauan aktivitas untuk mengurangi risiko LLM jacking. Langkah-langkah berikut dapat menjadi bagian dari strategi keamanan.

• Melindungi kredensial dan membatasi hak akses
  Kredensial cloud harus disimpan dengan aman dan tidak boleh dibagikan kepada pihak yang tidak berwenang. Perusahaan juga perlu membatasi hak akses berdasarkan tugas dan kebutuhan setiap pengguna atau aplikasi.

  Prinsip hak akses minimum membantu mengurangi dampak apabila suatu kredensial berhasil dicuri. Dengan pembatasan ini, penyerang tidak otomatis memperoleh akses ke seluruh sumber daya perusahaan.

  Selain itu, perusahaan perlu meninjau izin akun secara berkala dan mencabut akses yang sudah tidak diperlukan.

• Memvalidasi masukan dan membatasi permintaan
  Perusahaan dapat menerapkan validasi masukan untuk mengidentifikasi perintah yang berpotensi berbahaya. Penyaringan dan sanitasi masukan membantu mengurangi risiko manipulasi terhadap sistem AI.

  Pembatasan jumlah permintaan atau rate limiting juga dapat digunakan untuk mengurangi penyalahgunaan layanan. Misalnya, sistem dapat menetapkan batas penggunaan berdasarkan akun, aplikasi, atau periode tertentu.

  Namun, pembatasan masukan saja tidak cukup untuk mencegah LLM jacking. Perlindungan akun cloud dan pemantauan penggunaan tetap diperlukan karena serangan ini berawal dari penyalahgunaan akses.

• Melakukan audit dan pembaruan berkala
  Audit keamanan membantu perusahaan menemukan kelemahan pada model AI, aplikasi, dan infrastruktur yang mendukungnya. Pemeriksaan dapat mencakup penilaian kerentanan, pemantauan kinerja, serta pengujian terhadap masukan berbahaya. Perusahaan juga perlu memperbarui perangkat lunak dan komponen yang digunakan untuk menutup kelemahan keamanan yang telah diketahui.

  Pelatihan adversarial, yaitu pengujian model menggunakan masukan yang dirancang untuk mengekspos kelemahan, juga dapat membantu meningkatkan ketahanan model terhadap manipulasi.

  Sementara itu, pendekatan Reinforcement Learning from Human Feedback (RLHF) menggunakan umpan balik manusia untuk membantu menyelaraskan respons model dengan tujuan dan ekspektasi yang diinginkan. Pendekatan ini mendukung perilaku model yang lebih sesuai, tetapi bukan pengganti kontrol keamanan cloud.

• Memastikan dokumentasi dan batasan model jelas
  Dokumentasi model perlu menjelaskan tujuan penggunaan, batasan, dan potensi risiko AI. Informasi yang jelas membantu pengembang dan pengguna memahami cara menggunakan sistem secara bertanggung jawab. Perusahaan juga perlu menetapkan prosedur untuk menangani keluaran yang tidak sesuai, laporan penyalahgunaan, dan indikasi aktivitas mencurigakan.

• Memantau biaya dan pola penggunaan
  Pemantauan penggunaan merupakan langkah penting untuk mendeteksi kemungkinan LLM jacking sejak dini. Perusahaan perlu memperhatikan lonjakan jumlah permintaan, peningkatan biaya yang tidak biasa, serta aktivitas akun pada waktu atau pola yang berbeda dari kebiasaan normal. Peringatan otomatis dapat membantu tim keamanan dan pengelola cloud menyelidiki aktivitas mencurigakan sebelum kerugian bertambah besar.

Cara Mendeteksi Serangan LLM Jacking

Selain mencegah serangan, perusahaan perlu memiliki mekanisme deteksi yang dapat mengenali tanda-tanda penyalahgunaan.

• Pertama, deteksi anomali. Sistem pemantauan dapat digunakan untuk menemukan pola penggunaan yang menyimpang dari kondisi normal. Lonjakan permintaan atau konsumsi sumber daya yang tidak biasa dapat menjadi alasan untuk melakukan pemeriksaan lebih lanjut.
• Kedua, pemantauan akun pengguna. Perusahaan perlu memeriksa aktivitas akun dan mengidentifikasi akses yang tidak sesuai dengan kebutuhan operasional. Aktivitas berulang dalam waktu singkat atau penggunaan layanan yang tidak biasa dapat menjadi indikator awal penyalahgunaan.
• Ketiga, pemantauan keluaran model. Penyaringan kata kunci, analisis sentimen, dan pemeriksaan perubahan gaya penulisan dapat membantu mengidentifikasi konten yang berpotensi bermasalah. Meski demikian, metode ini tidak dapat memastikan bahwa suatu akun telah dibajak sehingga harus digunakan bersama indikator keamanan lainnya.
• Keempat, melibatkan manusia dalam verifikasi. Tim keamanan dan peninjau yang berwenang dapat mengevaluasi temuan sistem, memeriksa laporan pengguna, serta memastikan apakah aktivitas tertentu merupakan ancaman nyata.

Jika ditemukan indikasi pencurian kredensial, perusahaan perlu segera menyelidiki sumber akses, membatasi atau mencabut kredensial yang terdampak, dan memeriksa aktivitas layanan cloud. Langkah penanganan harus disesuaikan dengan prosedur respons insiden yang berlaku.

Kesimpulan

LLM jacking merupakan ancaman keamanan siber yang muncul seiring meningkatnya penggunaan AI berbasis cloud. Serangan ini memanfaatkan kredensial yang dicuri untuk mengakses dan menyalahgunakan layanan LLM milik perusahaan, baik untuk kepentingan pelaku sendiri maupun untuk dijual kepada penjahat siber lainnya.

Dampaknya dapat berupa lonjakan tagihan cloud, penyalahgunaan model AI, peningkatan risiko kebocoran data, gangguan operasional, hingga kerusakan reputasi. Besarnya kerugian bergantung pada hak akses yang diperoleh penyerang, jenis layanan yang digunakan, dan kesiapan sistem keamanan perusahaan.

Untuk mengurangi risiko tersebut, perusahaan perlu melindungi kredensial cloud, menerapkan hak akses minimum, membatasi penggunaan layanan, memperbarui sistem, serta memantau aktivitas dan biaya secara berkala.

Pada akhirnya, keamanan AI tidak cukup hanya berfokus pada model yang digunakan. Perlindungan juga harus mencakup akun, infrastruktur cloud, pengelolaan akses, dan proses pemantauan. Dengan pendekatan yang menyeluruh, perusahaan dapat mengurangi peluang penyalahgunaan layanan AI dan mendeteksi serangan lebih cepat sebelum menimbulkan kerugian yang lebih besar.