Ketika Algoritma Pemerintah Menjadi Black Box: Ancaman di Balik Efisiensi Digital

Di Indonesia, kecerdasan artifisial atau AI kini mulai merambah wilayah-wilayah sensitif. Ia hadir dalam sistem seleksi bansos, analisis kemacetan, hingga pemeringkatan risiko pajak. Intinya, algoritma kini ikut campur menentukan siapa dapat apa. Pemerintah menyebutnya lompatan menuju birokrasi cerdas. Tapi, benarkah kita paham cara kerjanya? Atau lebih penting lagi, bisakah kita mengawasinya?

Soalnya bukan pada penggunaan AI itu sendiri. Di negara seluas dan serumit Indonesia, teknologi semacam ini hampir tak terhindarkan. Namun begitu, persoalan serius muncul ketika teknologi yang memengaruhi hak warga dijalankan secara tertutup. Alih-alih menyelesaikan masalah birokrasi lama, negara justru berisiko menciptakan problem baru yang lebih sulit dilacak: diskriminasi algoritmik, bias data, dan keputusan tanpa akuntabilitas.

Sebagai analis, saya berpendapat tegas: AI pemerintah tanpa transparansi bukanlah inovasi. Itu ancaman laten bagi demokrasi administratif kita.

Dashboard Ada, Logika Menghilang

Belakangan ini, pemerintah pusat dan daerah seolah berlomba membangun dashboard digital. Mulai dari command center hingga sistem pengambilan keputusan yang mengandalkan machine learning. Secara visual, semuanya tampak mentereng. Grafik interaktif, peta panas, indikator real-time. Transparansi seolah-olah terwakili oleh angka dan tampilan yang elok.

Tapi transparansi sejati tidak berhenti pada visualisasi output. Yang justru kerap absen adalah transparansi proses. Publik bisa lihat hasil rekomendasi sistem, tapi tidak tahu bagaimana data dipilah, variabel apa yang diutamakan, atau bobot serta asumsi apa yang ditanamkan dalam kode. Dashboard itu menjelaskan apa yang terjadi, sambil dengan rapi menyembunyikan mengapa hal itu bisa terjadi.

Ambil contoh sistem penargetan bantuan sosial. Berkali-kali kita dengar keluhan, warga yang benar-benar miskin malah terlewat, sementara yang mampu justru menerima. Pemerintah seringkali menyebut ini sekadar "kesalahan data".

Padahal, dalam sistem berbasis AI, kesalahan bisa bersumber dari logika algoritmik itu sendiri. Bagaimana sistem belajar dari data historis yang sudah bias, atau bagaimana indikator kemiskinan didefinisikan secara sempit dan tidak kontekstual. AI menciptakan ilusi objektivitas. Keputusan mesin dianggap netral dan ilmiah, padahal setiap algoritma adalah produk kebijakan yang sarat nilai dan pilihan politik seringkali tanpa disadari publik.

Lebih mengkhawatirkan, banyak sistem AI pemerintah dikembangkan oleh vendor eksternal. Kontrak pengadaan kerap menjadikan algoritma sebagai black box dengan alasan rahasia dagang. Akibatnya, negara membeli dan memakai sistem, tapi tidak sepenuhnya menguasai logika di baliknya. Di titik ini, akuntabilitas kebijakan publik bergeser dari pejabat yang bisa kita tuntut, ke kode yang tak pernah diuji secara demokratis.

AI, Kekuasaan, dan Hak Warga

Jadi, transparansi AI bukan cuma isu teknis belaka. Ini soal kekuasaan. Ketika algoritma menentukan prioritas bantuan, pengawasan, atau penilaian kinerja, ia berfungsi sebagai gatekeeper atas hak dan sumber daya publik. Tanpa keterbukaan, warga nyaris tak punya cara untuk menggugat keputusan yang merugikan mereka.

Di banyak negara, perdebatan tentang algorithmic accountability sudah mengemuka. Uni Eropa, misalnya, mendorong prinsip AI yang dapat dijelaskan dan hak warga untuk mendapatkan klarifikasi atas keputusan otomatis. Indonesia meski punya UU PDP dan Strategi Nasional AI masih lemah di aspek ini. Regulasi kita lebih banyak bicara etika dan inovasi, tapi minim pada kewajiban membuka algoritma di sektor publik.

Kondisi ini berbahaya. Kita punya mekanisme pengawasan anggaran dan audit kinerja. Namun, AI berpotensi menciptakan ruang gelap kebijakan, wilayah pengambilan keputusan yang luput dari audit konvensional karena bersembunyi di balik kompleksitas teknis.

Jika dibiarkan, AI malah bisa memperkuat bias struktural yang sudah ada. Wilayah tertinggal bisa terus dinilai berisiko tinggi oleh algoritma yang belajar dari data masa lalu. Kelompok rentan makin terpinggirkan karena tak terbaca secara statistik. Dan yang paling problematik, semua ini terjadi tanpa ada aktor manusia yang bisa dimintai pertanggungjawaban secara jelas.

Maka, narasi bahwa AI meningkatkan efisiensi harus diimbangi dengan pertanyaan normatif: efisiensi untuk siapa, dan dengan risiko apa? Tanpa transparansi, efisiensi bisa berubah menjadi alat eksklusi yang halus namun sistemik.

Rekomendasi Kebijakan Publik

Menagih transparansi bukan berarti menolak teknologi. Justru sebaliknya, ini upaya memastikan teknologi benar-benar bekerja untuk kepentingan publik. Beberapa langkah mendesak perlu dipertimbangkan.

Pertama, wajibkan transparansi algoritmik untuk sistem AI sektor publik. Setiap penggunaan AI yang berdampak pada hak warga harus punya dokumentasi terbuka tentang tujuannya, jenis data yang dipakai, variabel kunci, serta batasan dan potensi biasnya. Tidak semua kode sumber harus dibuka, tapi logika kebijakan di baliknya harus bisa diaudit.

Kedua, bangun mekanisme audit algoritma independen. Ini berbeda dari audit keuangan. Prosesnya harus melibatkan pakar data, analis kebijakan, dan perwakilan publik untuk menilai keadilan, akurasi, serta dampak sosial dari sistem AI pemerintah.

Ketiga, tegaskan hak warga untuk mendapatkan penjelasan dan mengajukan keberatan. Jika sebuah keputusan administratif diambil atau direkomendasikan oleh AI, warga berhak tahu dasarnya dan punya jalur untuk mengoreksi melalui mekanisme yang jelas dan mudah diakses.

Kemudian, kapasitas internal pemerintah harus diperkuat. Negara tidak boleh bergantung sepenuhnya pada vendor. Pengembangan AI harus disertai transfer pengetahuan dan penguatan talenta di tubuh birokrasi, agar negara paham betul sistem yang digunakannya sendiri.

Terakhir, integrasikan prinsip transparansi AI ke dalam kebijakan keterbukaan informasi publik. AI bukan wilayah teknis eksklusif. Ia bagian dari proses pemerintahan yang harus tunduk pada prinsip akuntabilitas demokratis.

Indonesia sedang di persimpangan. AI bisa menjadi alat perbaikan kebijakan publik yang signifikan. Namun tanpa transparansi, ia berisiko menciptakan birokrasi yang lebih cepat, tapi sekaligus lebih gelap.

Menagih transparansi dari dashboard hingga logika algoritma bukan sikap anti-teknologi. Ini adalah tuntutan agar negara tetap bisa dipertanggungjawabkan di era di mana kode mulai memegang kendali.