MCP Prompt Hijacking dan Bahayanya bagi Keamanan AI Global

Dalam beberapa tahun terakhir, Artificial Intelligence (AI) telah menjadi bagian tak terpisahkan dari kehidupan dan bisnis modern. Dari asisten virtual hingga sistem analitik yang membantu perusahaan mengambil keputusan strategis, AI kini berperan penting dalam efisiensi dan inovasi. Namun, seiring dengan semakin luasnya penerapan teknologi ini, ancaman terhadap keamanan AI juga semakin berkembang dan salah satu yang paling mengkhawatirkan baru-baru ini adalah MCP Prompt Hijacking.

Pakar keamanan dari JFrog menemukan bahwa ada celah serius dalam Model Context Protocol (MCP) sistem yang dirancang untuk memungkinkan AI terhubung secara aman dengan data dan layanan eksternal. Celah ini dapat dimanfaatkan untuk melakukan serangan siber berbahaya yang dikenal sebagai prompt hijacking.

 
Mengapa Ancaman Ini Perlu Diperhatikan

Perusahaan di seluruh dunia kini berlomba untuk membuat AI mereka lebih bermanfaat dengan menghubungkannya langsung ke data internal, alat kerja, dan sistem produksi. Misalnya, sebuah perusahaan dapat menghubungkan AI asisten dengan database pelanggan agar bisa memberikan rekomendasi yang lebih tepat.

Namun, langkah tersebut tidak selalu tanpa risiko. Ketika AI mulai “terhubung” dengan dunia nyata, bukan hanya modelnya yang perlu dilindungi, tetapi juga saluran data yang menghubungkannya. Jika jalur komunikasi ini diretas, AI bisa diarahkan untuk bertindak berdasarkan informasi palsu atau bahkan dimanfaatkan untuk mencuri data sensitif.

Inilah yang kini menjadi perhatian utama bagi para CIO (Chief Information Officer) dan CISO (Chief Information Security Officer). Mereka tidak hanya harus menjaga agar AI tetap aman dari serangan eksternal, tetapi juga melindungi arsitektur komunikasi dan integrasi data yang menopang AI tersebut.

 
Mengapa Serangan pada MCP Sangat Berbahaya

Model AI, seperti yang dikembangkan oleh Google, Amazon, atau sistem lokal lainnya, pada dasarnya memiliki keterbatasan besar:

AI tidak memiliki kesadaran terhadap apa yang sedang terjadi saat ini. Ia hanya memahami informasi yang sudah diajarkan kepadanya melalui data pelatihan.

Sebagai contoh, AI tidak tahu file apa yang sedang dikerjakan oleh pengguna atau kode apa yang sedang ditulis oleh seorang programmer. Untuk menjembatani kesenjangan ini, tim di Anthropic memperkenalkan MCP (Model Context Protocol) — sebuah sistem yang memungkinkan AI mengakses data lokal dan layanan daring dengan aman.

Melalui MCP, asisten AI seperti Claude dapat memahami konteks pekerjaan pengguna. Misalnya, ketika seorang programmer menunjuk baris kode tertentu dan meminta revisi, AI dapat menafsirkan maksudnya dengan tepat.

Namun, penelitian JFrog mengungkapkan sisi gelapnya. Cara tertentu dalam penerapan MCP ternyata memiliki celah keamanan serius yang memungkinkan prompt hijacking, yakni serangan yang dapat membuat AI memberikan respons berbahaya tanpa disadari pengguna.

 
Ilustrasi Serangan: Ketika AI Memberi Saran Berbahaya

Bayangkan seorang pengembang perangkat lunak sedang bekerja dan meminta asisten AI-nya untuk merekomendasikan library Python yang bagus untuk mengolah gambar. Dalam kondisi normal, AI akan menyarankan library populer seperti Pillow.

Namun, karena adanya celah keamanan (tercatat sebagai CVE-2025-6515) dalam sistem oatpp-mcp, penyerang bisa menyusup ke dalam sesi pengguna dan mengirimkan permintaan palsu. Sistem akan mengira permintaan tersebut berasal dari pengguna yang sah.

Akibatnya, AI justru memberikan saran berbahaya seperti merekomendasikan pustaka palsu bernama theBestImageProcessingPackage. Jika pengguna menginstalnya, peretas bisa menyisipkan kode jahat, mencuri data, atau bahkan mengambil alih sistem.

Serangan ini termasuk kategori software supply chain attack — serangan yang menargetkan rantai pasokan perangkat lunak dengan cara menyusupkan komponen berbahaya ke dalam proses pengembangan.

 
Bagaimana Serangan Prompt Hijacking Bekerja

Berbeda dengan serangan langsung pada AI model, MCP prompt hijacking memanipulasi cara komunikasi antara sistem AI dan server melalui protokol MCP.

Peneliti JFrog menemukan bahwa celah ini terjadi di sistem Oat++ (C++), yang digunakan untuk menghubungkan berbagai program ke standar MCP. Masalahnya muncul dalam pengelolaan koneksi melalui Server-Sent Events (SSE).

Secara normal, ketika pengguna asli terhubung ke server, sistem memberikan session ID yang unik dan aman. Tetapi pada implementasi yang cacat, sistem justru menggunakan alamat memori komputer sebagai session ID.

Ini adalah kesalahan fatal karena alamat memori bisa didaur ulang oleh sistem komputer. Akibatnya, penyerang bisa:

• Membuat dan menutup banyak sesi dengan cepat.
• Mencatat pola session ID yang dapat ditebak.
• Mengambil alih sesi pengguna asli ketika sistem menggunakan kembali alamat memori yang sama.

Begitu penyerang memiliki session ID yang valid, mereka bisa mengirim permintaan ke server dan disamakan dengan pengguna sah. Server pun mengirimkan respons termasuk instruksi atau data berbahaya ke koneksi pengguna tanpa menyadari bahwa sesi tersebut telah dibajak.

Bahkan jika aplikasi hanya menerima jenis pesan tertentu, penyerang dapat mengirim banyak pesan acak hingga salah satunya diterima, yang akhirnya memengaruhi perilaku model AI tanpa menyentuh model aslinya.

Singkatnya, penyerang tidak perlu meretas AI itu sendiri, cukup memanipulasi jalur komunikasinya. Semua perusahaan yang menggunakan oatpp-mcp dengan HTTP SSE aktif di jaringan yang dapat diakses penyerang berada dalam risiko tinggi.

 
Apa yang Harus Dilakukan Pemimpin Keamanan AI

Kasus ini menjadi peringatan penting bagi para pemimpin teknologi, terutama CISO dan CTO yang bertanggung jawab atas pengembangan atau penggunaan asisten AI di perusahaan.

Integrasi AI ke dalam proses kerja melalui protokol seperti MCP memang memberikan banyak manfaat, tetapi juga menciptakan bidang serangan baru (attack surface). Karena itu, menjaga keamanan “sekitar” AI kini sama pentingnya dengan melindungi model AI itu sendiri.

JFrog menekankan bahwa meskipun CVE ini hanya memengaruhi satu sistem, konsep prompt hijacking bersifat universal. Dengan kata lain, pola serangan serupa bisa terjadi pada platform AI lain di masa depan jika keamanan protokolnya lemah.

Berikut langkah-langkah yang direkomendasikan untuk mencegah serangan ini:

1. Terapkan Manajemen Sesi yang Aman
   Semua layanan AI wajib memiliki sistem manajemen sesi yang kuat. Server harus menghasilkan session ID yang benar-benar acak menggunakan algoritma kriptografi yang aman. Menggunakan alamat memori atau pola berulang sebagai session ID tidak boleh dilakukan.

   Ini harus menjadi standar wajib dalam daftar keamanan setiap sistem AI.

2. Perkuat Pertahanan di Sisi Pengguna
   Aplikasi klien (client-side) perlu didesain agar menolak setiap peristiwa yang tidak sesuai dengan ID dan tipe yang diharapkan. Jika sistem masih menggunakan event ID berurutan (seperti 1, 2, 3, dan seterusnya), maka serangan spray attack bisa terjadi di mana peretas mencoba ribuan kombinasi hingga satu berhasil.

   Untuk mengatasinya, gunakan identitas acak yang sulit diprediksi agar benturan atau peniruan tidak mungkin terjadi.

3. Terapkan Prinsip Zero Trust pada Infrastruktur AI
   Prinsip Zero Trust berarti tidak mempercayai siapa pun atau sistem apa pun tanpa verifikasi. Dalam konteks AI, pendekatan ini harus mencakup seluruh ekosistem: mulai dari model AI, protokol komunikasi, hingga middleware yang menghubungkannya dengan data internal. Setiap koneksi perlu memiliki pemisahan sesi (session isolation) dan masa berlaku (session expiration), seperti yang sudah diterapkan pada aplikasi web modern.

Dengan cara ini, ketika satu sesi disusupi, kerusakannya tidak akan menyebar ke seluruh sistem.

Pelajaran Penting dari Kasus MCP Prompt Hijacking

Kasus ini mengingatkan kita bahwa ancaman keamanan siber selalu berevolusi mengikuti kemajuan teknologi. Jika dulu kita mengenal istilah session hijacking di aplikasi web, kini serangan serupa muncul kembali dalam bentuk prompt hijacking di AI.

Ancaman ini memperlihatkan bahwa AI bukan hanya pintar, tapi juga rentan. Sistem yang mengandalkan komunikasi antarprotokol menjadi target empuk karena peretas tidak perlu menembus model AI, cukup memanfaatkan celah di “jalur penghubungnya.”

Maka dari itu, keamanan AI tidak boleh berhenti pada algoritma atau data pelatihan saja. Setiap komponen mulai dari API, server, hingga protokol seperti MCP harus diaudit secara berkala dan dilindungi menggunakan standar keamanan modern.

Dengan pengawasan keamanan yang ketat, pembaruan rutin, serta penerapan prinsip keamanan siber yang disiplin, AI dapat berkembang sebagai teknologi yang cerdas, aman, dan dapat dipercaya bukan sebagai pintu masuk bagi ancaman digital baru.