21 Maret 2026
Agen AI otonom menentukan langkah yang akan diambil sebelum menjalankan alur kerja, sehingga mengubah cara organisasi beroperasi serta membuka peluang efisiensi dan kemampuan yang sebelumnya tidak mungkin tercapai. Namun, mewujudkan potensi ini juga berisiko menimbulkan konsekuensi hukum, komersial, atau etis akibat tindakan otonom tersebut, tanpa ada manusia yang dapat dimintai pertanggungjawaban. Untuk memaksimalkan nilai AI otonom, kita harus memastikan bahwa manusia yang telah terverifikasi dan mendelegasikan wewenang kepada agen-agen tersebut tetap terhubung secara berarti dengan tindakan yang diambil atas nama mereka.
Setiap organisasi yang saat ini menerapkan kecerdasan buatan berbasis agen, baik disadari maupun tidak, sedang menciptakan kekosongan akuntabilitas—suatu ruang di mana keputusan diambil, komitmen dibuat, dan kewajiban timbul tanpa adanya otorisasi manusia yang spesifik. Ini bukanlah risiko hipotetis, melainkan risiko arsitektural, yang diperparah oleh kredensial otomatis dan yang didelegasikan yang tidak pernah dirancang untuk diperiksa oleh sistem identitas, sehingga mengubah pertanyaan filosofis—apakah tujuan membenarkan cara—menjadi kenyataan operasional.
Agen AI otonom kini menangani negosiasi dengan pemasok, menyetujui faktur, mengubah ketentuan pembayaran, dan memulai alur kerja di seluruh sistem perusahaan; semua itu dilakukan dengan menggunakan kredensial yang sah melalui API resmi, serta mengikuti protokol yang dirancang berdasarkan satu asumsi mendasar: bahwa pihak di seberang transaksi tersebut adalah manusia.
Urgensi ini tidak hanya terbatas pada sektor swasta. Baru-baru ini Strategi Siber Nasional AS secara eksplisit berkomitmen untuk segera mengadopsi AI otonom guna memperluas pertahanan jaringan dan memodernisasi sistem-sistem kritis. Ketika pemerintah mempercepat penerapan AI otonom di tingkat nasional, infrastruktur tata kelola yang diperlukan untuk melakukannya dengan aman tidak boleh diabaikan.
Infrastruktur identitas lama kita mengasumsikan bahwa entitas yang bertindak adalah manusia. FIDO2, yang oleh industri dianggap sebagai standar otentikasi terkuat yang ada, dirancang berdasarkan model di mana manusia yang memulai, menyetujui, dan menyelesaikan proses otentikasi. Seluruh rantai kepercayaan dimulai dan diakhiri oleh seorang manusia. Kode sandi satu kali (OTP) mengasumsikan bahwa seseorang membaca SMS tersebut. Pemberitahuan push mengasumsikan bahwa seseorang mengetuk layar. Ini bukanlah kelemahan. Ini adalah fitur yang dibuat untuk dunia di mana mesin menjalankan proses deterministik yang dipicu oleh manusia. Fitur-fitur ini memverifikasi identitas dan izin. Yang tidak dapat mereka verifikasi adalah niat: apakah manusia yang memiliki wewenang untuk membuat keputusan spesifik ini benar-benar memilih untuk membuatnya.
Industri ini telah berupaya mengatasi masalah identitas non-manusia selama bertahun-tahun. Akun layanan dan alur kerja otomatis telah lama beroperasi menggunakan kredensial, tanpa campur tangan manusia, secara real-time. Namun, agen AI memiliki perbedaan yang mendasar.
Proses otomatis tradisional menjalankan skrip yang sudah ditetapkan. Perilakunya bersifat deterministik dan terbatas. Agen AI mengejar suatu tujuan. Ia memilih di antara berbagai pendekatan yang mungkin dan mengambil tindakan yang mungkin sama sekali tidak pernah diantisipasi secara eksplisit oleh manusia yang mengimplementasikannya. Hal ini meningkatkan tingkat delegasi ke tingkat yang jauh lebih tinggi. Kita tidak lagi mendelegasikan tugas kepada mesin. Kita mendelegasikan penilaian. Dan mendelegasikan penilaian, tanpa mekanisme untuk memverifikasi bahwa seorang manusia dengan wewenang yang sesuai telah menyetujui penerapan spesifik dari penilaian tersebut, bukanlah tata kelola. Itu adalah perjudian.
Dalam transaksi konvensional, jika tanda tangan seorang CEO tercantum dalam kontrak, organisasi yang bersangkutanlah yang harus membuktikan bahwa tanda tangan tersebut dipalsukan. Transaksi berbasis agen membalikkan hal ini. Ketika seorang agen bertindak berdasarkan kredensial yang sah namun tanpa bukti niat manusia, organisasi yang mendelegasikan dapat secara masuk akal menyatakan bahwa agen tersebut telah memenuhi tugasnya. Pihak yang mendelegasikan memerlukan keyakinan bahwa agennya tidak akan membebani mereka dengan tanggung jawab hukum, sementara pihak lawan memerlukan jaminan bahwa komitmen yang diterima tidak dapat disangkal.
Undang-Undang AI Uni Eropa dan yurisprudensi yang sedang berkembang mengarah pada prinsip bersama: bahwa pengawasan manusia terhadap tindakan AI yang berdampak besar harus bersifat substansial, bukan sekadar formalitas. Makalah konsep NIST bulan Februari 2026 tentang identitas agen mengidentifikasi enam bidang fokus: identifikasi, otentikasi, pendelegasian akses, otorisasi, pencatatan, dan keterikatan manusia dalam proses. Kami percaya bahwa fokusnya harus pada yang terakhir. Keterlibatan manusia berarti tidak hanya bahwa manusia menetapkan tujuannya, tetapi juga menyetujui cara apa pun yang berisiko atau tidak terduga untuk mencapainya.
Pemberian wewenang manusia yang efektif atas tindakan yang bersifat inisiatif memerlukan tiga hal yang hampir tidak pernah disediakan secara bersamaan dalam penerapan sistem di perusahaan saat ini: orang yang tepat, yang peran organisasinya menjadikannya pihak yang berwenang untuk mengambil keputusan dalam kategori ini; informasi lengkap, beserta konteks yang memadai untuk mengambil keputusan yang sesungguhnya, bukan sekadar persetujuan satu klik yang hanya memberikan ilusi pengawasan; serta catatan yang dapat dilacak, dilengkapi cap waktu, dan terikat pada identitas manusia yang terverifikasi. Persyaratan ini merupakan unsur dasar dari cara pengambilan keputusan yang berdampak besar selalu dilakukan di organisasi yang dikelola dengan baik.
Ini adalah keseimbangan antara dua tantangan yang saling bertentangan. Di satu sisi, kita perlu menjembatani kesenjangan antara niat dan keputusan yang diambil untuk mewujudkannya. Namun, kita harus menghindari kelelahan dalam proses pengambilan keputusan dan memberikan ruang agar keputusan ini benar-benar didasari oleh pemikiran, kepedulian, dan tanggung jawab—hal-hal yang hanya dapat diemban oleh manusia.
Organisasi yang akan mampu memanfaatkan sepenuhnya nilai dari AI berbasis agen bukanlah mereka yang memiliki agen paling canggih, melainkan mereka yang membangun infrastruktur tata kelola untuk menerapkan agen secara massal, dengan mengetahui siapa yang mengizinkan apa, kapan, dan mengapa.
Insting banyak organisasi adalah mengatasi tantangan tata kelola dengan mengintegrasikan etika ke dalam kerangka kerja AI otonom. Namun, etika yang tertanam dalam model hanyalah sebuah kebijakan. Etika yang diterapkan oleh seseorang adalah bentuk pertanggungjawaban. Prestasi manusia seharusnya dinilai berdasarkan perilaku nyata dalam kondisi dunia nyata, bukan berdasarkan kepatuhan terhadap sistem yang telah dikonfigurasi oleh seseorang sebelumnya. Tujuan tata kelola bukanlah untuk menghilangkan keputusan penilaian manusia. Tujuannya adalah untuk memastikan bahwa manusia benar-benar membuat keputusan tersebut, bahwa kita tahu siapa yang melakukannya, dan bahwa mereka dapat bertanggung jawab atasnya.
Pada Konferensi RSA di San Francisco minggu depan (Selasa, 24 Maret 2026), rekan saya di iProov, Johan Sellström, akan mendemonstrasikan bagaimana tujuan-tujuan tersebut dapat dicapai. Demonstrasi dan presentasinya menyoroti beberapa upaya inovatif yang telah dilakukan tim untuk mengaitkan tindakan agen AI dengan otoritas manusia.
Selain itu, baru-baru ini kami menerbitkan survei riset konsumen berjudul “Resesi Kepercayaan Besar, Dipicu oleh Deepfakes.” Jika kita tidak menangani tugas ini, saya memprediksi, di sisi korporat, “Resesi Kepercayaan Besar, Dipicu oleh Agen AI Kita Sendiri.”
Andrew Bud, CBE FREng FIET, adalah Pendiri dan CEO iProov. Selama tiga dekade, ia telah berkecimpung di bidang yang memadukan identitas, keamanan, dan teknologi terkini.
