SIMA 2, Agen AI Supercerdas yang Bisa Main & Belajar di Dunia 3D

Dunia kecerdasan buatan kembali bergerak dengan sangat cepat. Jika tahun lalu kita melihat lahirnya SIMA, sebuah agen AI generalis yang mampu mengikuti instruksi di berbagai lingkungan video game, kini tonggak berikutnya telah tiba: SIMA 2. Evolusi ini bukan sekadar peningkatan performa—melainkan lompatan besar menuju era agen AI yang mampu berpikir, memahami konteks, serta belajar secara terus-menerus layaknya makhluk hidup di dunia virtual tiga dimensi.

SIMA 2 memadukan kemampuan besar model Gemini, membuatnya bukan hanya mampu mengikuti instruksi, tetapi juga bernalar, berdialog, belajar, dan bekerja sama dengan pengguna sebagai partner yang benar-benar interaktif. Banyak peneliti memandangnya sebagai salah satu langkah penting menuju tercapainya AGI (Artificial General Intelligence) yang benar-benar dapat berinteraksi dan bertindak secara real-time di dunia yang kompleks—baik virtual maupun dunia nyata melalui robotika.

Artikel ini membahas bagaimana SIMA 2 bekerja, mengapa ia dianggap sebagai gebrakan baru dalam embodied AI, dan ke mana arah teknologi ini akan berkembang.

 
Dari Pengikut Instruksi Menjadi Partner Interaktif

Pada versi pertama, SIMA berhasil mempelajari lebih dari 600 keterampilan dasar dalam game seperti bergerak, menoleh, membuka peta, hingga mengeksekusi instruksi sederhana dari manusia. Semua itu dilakukan hanya dengan “melihat” layar dan menggunakan keyboard serta mouse virtual, tanpa akses internal ke mekanik game.

Pendekatan ini sangat mirip dengan manusia: Anda melihat layar, tangan Anda menggerakkan kontroler, dan Anda mencoba memahami apa yang harus dilakukan.

Namun, SIMA 2 membawa kemampuan itu ke level yang sama sekali berbeda.

Integrasi Dengan Gemini Mengubah Segalanya

Dengan memasukkan model Gemini sebagai inti agen, SIMA 2 kini memiliki kemampuan untuk:

• memahami tujuan pengguna,
• melakukan penalaran multi-langkah,
• menyusun strategi,
• menjelaskan rencana tindakannya, dan
• berdialog secara natural seputar apa yang sedang terjadi di dalam game.

SIMA 2 bukan lagi sekadar mesin eksekusi perintah. Ia bisa berkata, misalnya, “Saya akan pergi ke arah utara untuk menemukan material yang kita butuhkan,” lalu menjelaskan alasan di balik keputusan itu.

Kemampuan ini lahir dari gabungan antara data demonstrasi manusia dan label penjelasan yang dihasilkan oleh Gemini. Hasilnya, agen AI yang tidak hanya bisa melakukan sesuatu, tetapi juga memahami apa dan mengapa ia melakukan hal itu.

Interaksi dengan SIMA 2 terasa seperti bekerja sama dengan partner permainan, bukan seperti memberikan perintah ke mesin.

 
Penalaran: Inti Evolusi SIMA 2

Penalaran yang kuat adalah pondasi utama SIMA 2. Di berbagai game, ia mampu memetakan tujuan pengguna ke dalam tindakan konkret. Di lingkungan yang kompleks, agen perlu:

• memahami ruang 3D,
• mengenali objek,
• mengontekstualisasikan instruksi,
• dan mempertimbangkan langkah-langkah yang harus dilakukan.

Penelitian menunjukkan bahwa SIMA 2 mampu memenuhi tantangan ini dengan jauh lebih baik dibanding pendahulunya. Ditambah lagi, berkat kolaborasi dengan berbagai studio game, SIMA 2 dilatih di lebih banyak jenis game dengan mekanik, grafik, dan gaya bermain yang sangat berbeda.

Mesin penalaran Gemini membuat SIMA 2 mampu melihat layar game, memahami tujuan, lalu membuat urutan aksi yang logis dan adaptif—bahkan ketika ia belum pernah melihat game tersebut sebelumnya.

 
Kemampuan Generalisasi: Dari Dunia Viking hingga Minecraft

Satu tantangan terbesar AI embodied adalah generalisasi—mampu menerapkan pengetahuan di lingkungan baru yang belum dikenalnya.

SIMA 2 berhasil melakukan hal ini.

Contoh kasus:

• ASKA, game survival dunia Viking dengan mekanik kompleks
• MineDojo, proyek riset yang berbasis Minecraft

SIMA 2 bisa memahami instruksi seperti:

• “Cari bahan bangunan,”
• “Bangun tempat berlindung,”
• atau “Temukan sumber makanan,” meskipun perintah dan konteks masing-masing game berbeda jauh.

Lebih mengesankan lagi, SIMA 2 mampu mentransfer konsep antar game. Jika ia belajar konsep menambang di satu game, ia bisa mengaplikasikannya sebagai memanen di game lain—meski tampilannya, tujuannya, dan dunianya berbeda.

Ini adalah kualitas yang sangat penting untuk mendekati kognisi manusia.

 
Ujian Sesungguhnya: Dunia Baru yang Belum Pernah Ada

Salah satu eksperimen paling menarik adalah ketika peneliti menggabungkan SIMA 2 dengan Genie 3, sebuah sistem yang bisa menciptakan dunia 3D baru secara real-time hanya dari satu gambar atau prompt teks.

Hasilnya menakjubkan. Ketika SIMA 2 dimasukkan ke dalam dunia-dunia yangbelum pernah ada, tidak memiliki aturan standar, dan bersifat unik setiap kali dibuat. SIMA 2 tetap bisa:

• memahami arah,
• mengerti instruksi manusia,
• dan mengambil tindakan yang tepat untuk mencapai tujuan.

Ini menunjukkan tingkat adaptasi yang sebelumnya belum pernah dicapai agen AI embodied mana pun.

 
Belajar Mandiri: Fondasi Menuju AI yang Tumbuh Sendiri

Salah satu aspek paling revolusioner dari SIMA 2 adalah kemampuannya untuk belajar mandiri melalui trial-and-error, mirip dengan cara manusia belajar bermain game.

Kemampuan belajar mandiri SIMA 2 meliputi:

1. Setelah melihat demo manusia, ia dapat beralih ke game baru tanpa data manusia tambahan.
2. Ia bisa bermain sendiri dan mengumpulkan pengalaman.
3. Pengalaman ini kemudian digunakan untuk melatih versi agen berikutnya.
4. Proses ini dapat terjadi di dunia buatan Genie yang terus berubah.

Siklus ini sangat penting untuk mewujudkan agen AI yang bisa berkembang tanpa perlu campur tangan manusia setiap saat. Dengan kata lain SIMA 2 adalah agen yang bertumbuh.

Menuju AGI Berwujud (Embodied AGI)

Untuk memahami mengapa SIMA 2 dianggap sebagai langkah penting menuju AGI berwujud, kita perlu melihat alasan mengapa game menjadi tempat pelatihan yang ideal bagi agen AI. Dunia game bukan hanya hiburan; ia adalah simulasi kecil dari dunia nyata yang penuh tantangan, aturan, dan situasi tak terduga.

Di dalam game, terdapat:

1. Dinamika lingkungan yang kompleks, seperti perubahan cuaca, berbagai jenis medan, hingga musuh atau objek yang bergerak.
2. Tujuan dan misi yang beragam, mulai dari menjelajah, bertahan hidup, membangun, hingga memecahkan teka-teki.
3. Objek yang dapat digunakan, seperti alat, sumber daya, senjata, atau bahan bangunan.
4. Tantangan navigasi, misalnya mencari jalan dalam labirin, memanjat, atau menghindari bahaya.
5. Interaksi multi-langkah, yang mengharuskan pemain mengikuti urutan tindakan untuk mencapai hasil tertentu.

Semua ini menjadikan game sebagai miniatur dunia nyata—lebih aman, lebih murah, dan lebih fleksibel untuk dijadikan arena belajar. Di sinilah SIMA 2 menunjukkan potensinya.

Dengan kemampuannya melakukan tugas seperti bernavigasi, menggunakan alat, menjelajah lingkungan, hingga memecahkan masalah kompleks, SIMA 2 mulai menunjukkan gambaran tentang bagaimana AI dapat berperilaku seperti makhluk yang benar-benar “hadir” dalam suatu ruang.

Tak heran jika banyak peneliti robotika melihat SIMA 2 sebagai fondasi penting bagi robot cerdas generasi berikutnya, yang suatu hari nanti mungkin dapat membantu manusia dalam berbagai tugas fisik di dunia nyata.

 
Keterbatasan yang Masih Menjadi Tantangan

Walau menjanjikan, SIMA 2 masih merupakan proyek riset. Ada beberapa hal yang masih perlu diperbaiki:

• Tugas panjang dan kompleks masih menantang. Ketika sebuah misi membutuhkan banyak langkah penalaran yang saling terhubung, performa SIMA 2 bisa menurun.
• Memori jangka pendek terbatas, sehingga ia masih sulit mempertahankan informasi yang diperlukan untuk interaksi panjang sambil tetap menjaga responsivitas.
• Akurasi tindakan masih rendah karena kontrol dilakukan melalui “keyboard dan mouse virtual”, bukan sistem gerak yang lebih presisi.
• Pemahaman visual 3D belum sempurna, sehingga objek yang rumit atau lingkungan yang padat tetap bisa membingungkannya.

Meski begitu, untuk ukuran agen riset, SIMA 2 telah menembus batas kemampuan embodied AI sebelumnya. Banyak hal yang dulu dianggap mustahil kini mulai menjadi kenyataan.

 
Pengembangan yang Bertanggung Jawab

Karena SIMA 2 memiliki kemampuan belajar mandiri dan dapat berinteraksi dengan cara yang terasa sangat manusiawi, aspek etika menjadi faktor yang tidak bisa diabaikan. Potensi besar selalu datang bersama risiko besar, dan itulah sebabnya para peneliti menerapkan pendekatan yang ketat dalam proses pengembangan.

Tim pengembang bekerja erat dengan divisi Responsible Development & Innovation untuk memastikan beberapa hal penting:

• Transparansi perilaku: pengguna harus dapat memahami apa yang dilakukan agen dan mengapa ia melakukannya.
• Keamanan interaksi: mencegah tindakan yang tidak diinginkan atau berpotensi berbahaya.
• Mitigasi risiko belajar mandiri: memastikan proses trial-and-error tidak menghasilkan perilaku yang menyimpang.
• Kelayakan penggunaan: memastikan bahwa teknologi ini hanya diakses oleh komunitas yang tepat pada tahap riset awal.

Karena itu, SIMA 2 tidak langsung dirilis secara luas. Pada tahap awal, akses diberikan secara terbatas kepada akademisi dan pengembang game tertentu. Tujuannya adalah mendapatkan masukan lintas disiplin teknologi ini diperluas ke khalayak yang lebih besar.

Pendekatan bertahap ini memastikan bahwa inovasi besar seperti SIMA 2 dapat berkembang secara aman, terukur, dan bertanggung jawab, tanpa mengorbankan keselamatan ataupun kepercayaan pengguna.

 
SIMA 2 dan Masa Depan AI Interaktif

SIMA 2 bukan sekadar upgrade, SIMA 2  merupakan model baru tentang bagaimana AI masa depan dapat memahami manusia, bekerja sama secara real-time di dunia virtual 3D, dan belajar layaknya pemain manusia.

Dengan memadukan:

• kemampuan multimodal Gemini,
• pembelajaran multi-dunia,
• penalaran kompleks,
• serta kemampuan belajar mandiri,

SIMA 2 membuka pintu menuju agen-agen AI yang benar-benar generalis dan berwujud.

Kalau tren penelitian ini terus berkembang, bukan tidak mungkin suatu hari nanti agen seperti SIMA akan menjadi dasar robot rumah tangga yang mampu memahami konteks, beradaptasi, dan belajar bersama setiap hari—bukan hanya di layar, tetapi juga di kehidupan nyata.