Lensakabar.com, Jakarta – Perkembangan kecerdasan buatan di Indonesia mulai memasuki tahap baru. Teknologi yang sebelumnya banyak digunakan untuk membuat konten, menjawab pertanyaan, dan membantu pekerjaan administratif kini berkembang menjadi agentic AI, yakni sistem yang dapat menjalankan rangkaian tugas secara mandiri berdasarkan tujuan dan kewenangan yang diberikan.

Perubahan tersebut membuka peluang bagi perusahaan untuk mengotomatisasi layanan pelanggan, memproses data, menyusun analisis, hingga menjalankan alur kerja bisnis yang lebih kompleks. Namun, kemampuan agen AI untuk mengakses data dan melakukan tindakan juga memunculkan pertanyaan penting: siapa yang bertanggung jawab ketika sistem mengambil keputusan keliru atau bertindak melampaui kewenangannya?

Di Indonesia, penggunaan AI dalam bisnis menunjukkan perkembangan yang signifikan. Survei YouGov bersama Meta pada 2026 menemukan bahwa 86 persen pemilik usaha kecil yang disurvei di Indonesia telah menggunakan AI untuk kegiatan bisnis. Secara terpisah, Kementerian Komunikasi dan Digital (Kemkomdigi) menyampaikan angka adopsi AI sebesar 92 persen pada Februari 2026.

Kedua angka tersebut menunjukkan meluasnya pemanfaatan AI, tetapi tidak bisa langsung diartikan sebagai persentase perusahaan yang telah menggunakan agentic AI. AI generatif untuk membuat konten, misalnya, memiliki tingkat otonomi yang berbeda dari agen yang dapat mengakses sistem, memproses transaksi, dan menjalankan tugas tanpa persetujuan manusia pada setiap langkah.

Wakil Menteri Komunikasi dan Digital Nezar Patria telah mengingatkan bahwa perkembangan agen AI memerlukan pendekatan pengawasan baru. Pemerintah mendorong prinsip Know Your Agent (KYA), yaitu mengenali identitas, kepemilikan, serta batas kewenangan agen AI yang berinteraksi dengan pelanggan maupun sistem perusahaan.

Dengan kemampuan yang semakin luas, tantangan berikutnya bukan hanya mempercepat adopsi, melainkan memastikan teknologi tersebut aman, dapat diaudit, dan memiliki mekanisme pertanggungjawaban yang jelas.

Dari AI Generatif ke Agentic AI: Ketika Sistem Tidak Lagi Sekadar Menjawab

AI generatif dan agentic AI memiliki fungsi yang berbeda, meskipun keduanya dapat menggunakan model AI yang serupa.

AI generatif umumnya menghasilkan keluaran berdasarkan instruksi, seperti tulisan, gambar, ringkasan, atau jawaban. Sementara itu, agentic AI dirancang untuk mencapai tujuan melalui serangkaian tindakan. Bergantung pada sistem dan izin yang diberikan, agen dapat mencari informasi, menggunakan perangkat lunak, memperbarui data, memanggil layanan lain, atau menjalankan alur kerja tertentu.

Sebagai contoh, chatbot konvensional dapat membantu menjawab pertanyaan pelanggan tentang status pesanan. Agen AI yang terhubung ke sistem operasional berpotensi memeriksa pesanan, mengecek stok, menawarkan alternatif produk, memperbarui catatan layanan, dan meneruskan kasus kepada petugas manusia jika diperlukan.

Dalam pengelolaan keuangan, agen dapat membantu mengumpulkan data transaksi, mengidentifikasi anomali, menyusun laporan, dan menyiapkan rekomendasi. Namun, tindakan berisiko tinggi seperti mengirim pembayaran, mengubah rekening tujuan, atau menyetujui transaksi seharusnya tetap dibatasi dengan otorisasi yang sesuai.

Perbedaan ini penting karena semakin besar kemampuan agen untuk bertindak, semakin besar pula dampak yang dapat ditimbulkan oleh kesalahan. Jawaban yang keliru dari chatbot mungkin membingungkan pengguna, sedangkan agen yang diberi akses terlalu luas berpotensi mengubah data, membocorkan informasi, atau menjalankan tindakan yang merugikan perusahaan.

Karena itu, penerapan agentic AI tidak cukup hanya mengukur kecepatan dan penghematan biaya. Perusahaan juga perlu menilai batas akses, ketepatan hasil, kemampuan menghentikan tindakan, serta mekanisme pemulihan apabila terjadi kesalahan.

Baca Juga: Boom AI Dorong Ekonomi Asia 4,8%: Di Mana Posisi & Peluang Indonesia?

Peringatan Microsoft: Bahaya 'Insider Threat' & 5 Risiko Agentic AI

Risiko keamanan agen AI mendapat perhatian setelah Microsoft memperingatkan perusahaan agar tidak sepenuhnya mempercayai model AI yang bekerja secara mandiri.

Dalam laporan TechCrunch pada 19 Oktober 2026, Executive Vice President Microsoft Security Hayete Gallot menyampaikan bahwa model AI terdepan, dari mana pun asalnya, tidak dapat begitu saja dipercaya. Pernyataan tersebut bukan berarti seluruh model AI bersifat jahat atau mudah diretas. Persoalannya adalah perilaku model yang dapat sulit diprediksi dan tidak selalu mengikuti norma maupun pertimbangan yang berlaku di setiap organisasi.

Microsoft menilai agen AI dapat menimbulkan risiko yang menyerupai insider threat, yaitu ancaman yang berasal dari pihak yang memiliki akses ke lingkungan internal organisasi. Perbedaannya, agen AI bukan karyawan manusia, tetapi perangkat lunak yang dapat memperoleh akses terhadap data dan sistem melalui izin yang diberikan perusahaan.

Secara umum, terdapat lima risiko utama agentic AI yang wajib dimitigasi oleh perusahaan:

  • Kebocoran Data & Akses Berlebihan: Agen membaca dokumen internal atau basis data pelanggan melebihi batas kewenangannya.

  • Kesalahan Tindakan Otomatis: Agen salah memahami instruksi dan melakukan tindakan fatal, seperti menghapus catatan penting atau memproses transaksi yang keliru.

  • Injeksi Instruksi Berbahaya (Prompt Injection): Agen memproses dokumen atau email luar yang disusupi instruksi jahat untuk memanipulasi perilakunya.

  • Interaksi Berantai Antargen: Kesulitan menelusuri sumber kesalahan ketika beberapa agen AI saling bertukar data dan mengambil keputusan secara independen.

  • Ketidakjelasan Pertanggungjawaban Hukum: Ketidakjelasan pembagian tanggung jawab antara penyedia model, pengembang aplikasi, dan perusahaan pengguna saat timbul kerugian.

Bagi perusahaan Indonesia, peringatan ini relevan ketika AI mulai terhubung dengan sistem keuangan, layanan pelanggan, basis data pengguna, serta perangkat operasional. Kepercayaan terhadap penyedia teknologi tidak dapat menggantikan kewajiban perusahaan untuk mengawasi sistem yang mereka gunakan.

Know Your Agent: Mengatur Identitas dan Kewenangan AI

Kemkomdigi mendorong prinsip Know Your Agent (KYA) sebagai pendekatan untuk menghadapi perubahan interaksi digital. Jika selama ini perusahaan mengenali pelanggan melalui prinsip Know Your Customer (KYC), kehadiran agentic AI menuntut perusahaan mengetahui sistem otomatis yang mengakses layanan dan bertindak atas nama pengguna atau organisasi.

Dalam pernyataannya pada 15 Oktober 2026, Nezar Patria menegaskan bahwa agen AI perlu dikenali berdasarkan identitas, kepemilikan, dan batas kewenangannya. Prinsip KYA ini dapat diterjemahkan ke dalam lima kebutuhan praktis:

  1. Identitas Jelas: Mengetahui siapa pemilik agen, sistem yang terhubung, dan tujuan tugasnya.

  2. Pembatasan Hak Akses: Agen layanan pelanggan tidak boleh otomatis memiliki akses ke basis data keuangan.

  3. Lapisan Persetujuan Manusia: Transaksi bernilai besar atau perubahan data sensitif tetap membutuhkan konfirmasi manusia (human-in-the-loop).

  4. Auditabilitas: Setiap instruksi, perubahan data, dan keputusan agen harus tercatat dan dapat ditelusuri.

  5. Mekanisme Penghentian Darurat (Kill Switch): Menyediakan kontrol cepat untuk menonaktifkan agen jika menunjukkan perilaku menyimpang.

Nezar juga menekankan pentingnya prinsip security by design dan privacy by design yang selaras dengan Undang-Undang Nomor 27 Tahun 2022 tentang Pelindungan Data Pribadi (UU PDP).

Peta Startup Lokal: Dari Cekat.ai Hingga Nodeflux

Indonesia tidak hanya menjadi pasar bagi produk AI global. Sejumlah perusahaan teknologi lokal mengembangkan solusi yang berfokus pada pemrosesan bahasa Indonesia, interaksi pelanggan, otomatisasi bisnis, serta analitik visual.

Namun, perlu dibedakan antara perusahaan yang mengembangkan teknologi AI, platform chatbot, dan produk agentic AI yang benar-benar dapat menjalankan tindakan secara mandiri. Tidak semua chatbot atau sistem analitik otomatis dapat dikategorikan sebagai agen otonom. Tingkat otonominya bergantung pada desain, integrasi sistem, serta kewenangan yang diberikan.

Berikut beberapa perusahaan lokal yang relevan dalam ekosistem AI Indonesia.

Cekat.ai – Agen AI untuk layanan pelanggan dan penjualan

Mengembangkan platform AI agent dan CRM omnichannel yang ditujukan untuk membantu bisnis mengelola percakapan pelanggan, tindak lanjut penjualan, dan layanan melalui berbagai kanal digital.

Platform tersebut menawarkan integrasi dengan kanal seperti WhatsApp, Instagram, Facebook, dan TikTok. Dalam alur bisnis yang sesuai, sistem dapat membantu membalas pesan, menindaklanjuti calon pelanggan, dan mendukung proses penjualan secara otomatis.

Keunggulan pendekatan seperti ini adalah kedekatannya dengan kebutuhan usaha lokal, terutama bisnis yang menerima banyak pertanyaan pelanggan melalui pesan instan. Namun, kewenangan untuk mengubah pesanan, memberikan potongan harga, atau memproses transaksi tetap perlu diatur secara jelas.

Kata.ai – Teknologi percakapan untuk kebutuhan perusahaan

Kata.ai merupakan perusahaan AI asal Indonesia yang berfokus pada teknologi percakapan dan interaksi pelanggan. Platformnya memungkinkan perusahaan membangun asisten digital dan AI agent untuk kebutuhan layanan pelanggan, pemasaran, serta interaksi melalui kanal digital.

Teknologi pemrosesan bahasa alami membantu sistem mengenali maksud pengguna dan merespons percakapan dengan lebih sesuai konteks. Dalam penerapan bisnis, kemampuan ini dapat digunakan untuk mengotomatisasi pertanyaan rutin, membantu pelanggan menemukan informasi, dan mendukung alur layanan.

Nilai tambahnya terletak pada pengembangan pengalaman percakapan yang disesuaikan dengan kebutuhan perusahaan dan bahasa pengguna di Indonesia. Untuk tugas yang berdampak langsung terhadap akun atau transaksi pelanggan, pengaturan akses dan mekanisme eskalasi kepada petugas manusia tetap diperlukan.

Prosa.ai – Pemrosesan bahasa dan suara berbahasa Indonesia

Prosa.ai, perusahaan teknologi yang berbasis di Bandung, mengembangkan solusi kecerdasan buatan untuk pemrosesan bahasa alami, teks, dan suara berbahasa Indonesia.

Teknologinya mencakup pemrosesan percakapan, pengenalan suara, analisis sentimen, serta ekstraksi informasi dari data teks. Kemampuan ini dapat menjadi komponen penting bagi agen AI yang perlu memahami percakapan pelanggan, mengolah dokumen, atau mengubah suara menjadi data terstruktur.

Sebagai contoh, sistem pengenalan suara dapat membantu mengubah rekaman layanan pelanggan menjadi transkrip, sementara analisis teks dapat membantu perusahaan mengidentifikasi tema keluhan dan kebutuhan pengguna. Akan tetapi, teknologi pemrosesan bahasa tersebut tidak dengan sendirinya berarti sistem memiliki kewenangan untuk bertindak secara mandiri; hal itu bergantung pada integrasi dan desain aplikasinya.

Nodeflux – AI berbasis penglihatan komputer

Nodeflux dikenal melalui pengembangan teknologi computer vision, yaitu sistem yang menganalisis informasi visual dari gambar atau video. Berbeda dengan agen percakapan, teknologi ini berfokus pada pengenalan pola visual dan pemrosesan data kamera.

Penerapan computer vision dapat mendukung analisis lalu lintas, pemantauan fasilitas, serta kebutuhan keamanan dan operasional. Sistem semacam ini berpotensi menjadi bagian dari alur kerja otomatis, misalnya ketika hasil analisis visual digunakan untuk memicu pemberitahuan atau pemeriksaan lanjutan.

Namun, penerapan pengenalan wajah dan pemantauan visual juga membutuhkan perhatian khusus terhadap privasi, dasar pemrosesan data, pembatasan akses, dan pengawasan terhadap keputusan yang dihasilkan.

Qlue – AI dan IoT untuk pengelolaan kota

Qlue mengembangkan solusi teknologi untuk kebutuhan kota pintar, termasuk integrasi data, kecerdasan buatan, dan perangkat Internet of Things (IoT). Teknologi semacam ini dapat membantu instansi mengumpulkan laporan, memantau kondisi fasilitas, dan mendukung respons terhadap masalah operasional.

Dalam ekosistem kota pintar, agen AI berpotensi membantu mengurutkan laporan berdasarkan tingkat urgensi atau mengarahkan informasi kepada unit yang bertanggung jawab. Namun, keputusan yang menyangkut layanan publik, keselamatan, atau hak warga tetap perlu memiliki prosedur verifikasi dan akuntabilitas.

Kelima contoh tersebut menunjukkan bahwa pengembangan AI di Indonesia mencakup beragam kebutuhan, mulai dari layanan pelanggan hingga analisis visual. Tantangan berikutnya adalah memastikan bahwa solusi lokal tidak hanya mampu bekerja secara otomatis, tetapi juga memiliki kualitas, keamanan, dan tata kelola yang dapat dipercaya.

AI untuk UMKM: Menembus Pasar Ekspor Global

Pemanfaatan AI juga menyasar sektor usaha mikro, kecil, dan menengah (UMKM). Kementerian Perdagangan bersama Meta Indonesia dan UKMIndonesia.id menjalankan program “Gapai Pasar Global dengan AI” yang melibatkan 200 UMKM di Bandung, Batam, dan Jakarta.

Melalui AI, pelaku usaha dapat melakukan riset pasar luar negeri, menerjemahkan materi promosi, dan mengotomatisasi balasan pesan pelanggan tanpa harus membangun tim besar sejak awal.

Meski demikian, penggunaan AI pada skala UMKM tetap memerlukan kehati-hatian. Pelaku usaha perlu memastikan informasi produk yang dihasilkan AI tidak menyesat serta data pelanggan tidak dimasukkan secara sembarangan ke dalam platform AI publik tanpa jaminan privasi.

Masa Depan AI Indonesia: Kematangan Sistem, Bukan Cuma Adopsi

Angka adopsi AI di Indonesia yang mencapai lebih dari 80 persen menunjukkan bahwa teknologi ini makin dikenal luas. Namun, tingkat adopsi belum otomatis mencerminkan kematangan sistem atau kesiapan mengoperasikan agen otonom pada proses bisnis yang krusial.

Kemkomdigi menegaskan bahwa tolok ukur keberhasilan adopsi AI harus digeser ke arah kematangan sistem dan efisiensi riil. Pengukuran tidak lagi hanya soal berapa banyak pekerja yang menggunakan AI, tetapi sejauh mana teknologi ini menghemat biaya, meningkatkan produktivitas, serta menjaga keamanan data nasional.

Agentic AI menawarkan lompatan efisiensi yang luar biasa bagi perekonomian Indonesia. Namun, keberhasilan masa depan teknologi ini tidak ditentukan oleh seberapa cepat kita memberikan wewenang kepada mesin, melainkan seberapa bijak kita menetapkan batas pertanggungjawabannya.

Baca Juga: Insiden KMP Batumandi Merak: Alarm Merah Audit Keselamatan Pelayaran