Ketika Algoritma Pemerintah Menjadi Black Box: Ancaman di Balik Efisiensi Digital

Di Indonesia, kecerdasan artifisial atau AI kini mulai merambah wilayah-wilayah sensitif. Ia hadir dalam sistem seleksi bansos, analisis kemacetan, hingga pemeringkatan risiko pajak. Intinya, algoritma kini ikut campur menentukan siapa dapat apa. Pemerintah menyebutnya lompatan menuju birokrasi cerdas. Tapi, benarkah kita paham cara kerjanya? Atau lebih penting lagi, bisakah kita mengawasinya?

Soalnya bukan pada penggunaan AI itu sendiri. Di negara seluas dan serumit Indonesia, teknologi semacam ini hampir tak terhindarkan. Namun begitu, persoalan serius muncul ketika teknologi yang memengaruhi hak warga dijalankan secara tertutup. Alih-alih menyelesaikan masalah birokrasi lama, negara justru berisiko menciptakan problem baru yang lebih sulit dilacak: diskriminasi algoritmik, bias data, dan keputusan tanpa akuntabilitas.

Sebagai analis, saya berpendapat tegas: AI pemerintah tanpa transparansi bukanlah inovasi. Itu ancaman laten bagi demokrasi administratif kita.

Dashboard Ada, Logika Menghilang

Belakangan ini, pemerintah pusat dan daerah seolah berlomba membangun dashboard digital. Mulai dari command center hingga sistem pengambilan keputusan yang mengandalkan machine learning. Secara visual, semuanya tampak mentereng. Grafik interaktif, peta panas, indikator real-time. Transparansi seolah-olah terwakili oleh angka dan tampilan yang elok.

Tapi transparansi sejati tidak berhenti pada visualisasi output. Yang justru kerap absen adalah transparansi proses. Publik bisa lihat hasil rekomendasi sistem, tapi tidak tahu bagaimana data dipilah, variabel apa yang diutamakan, atau bobot serta asumsi apa yang ditanamkan dalam kode. Dashboard itu menjelaskan apa yang terjadi, sambil dengan rapi menyembunyikan mengapa hal itu bisa terjadi.

Ambil contoh sistem penargetan bantuan sosial. Berkali-kali kita dengar keluhan, warga yang benar-benar miskin malah terlewat, sementara yang mampu justru menerima. Pemerintah seringkali menyebut ini sekadar "kesalahan data".

Padahal, dalam sistem berbasis AI, kesalahan bisa bersumber dari logika algoritmik itu sendiri. Bagaimana sistem belajar dari data historis yang sudah bias, atau bagaimana indikator kemiskinan didefinisikan secara sempit dan tidak kontekstual. AI menciptakan ilusi objektivitas. Keputusan mesin dianggap netral dan ilmiah, padahal setiap algoritma adalah produk kebijakan yang sarat nilai dan pilihan politik seringkali tanpa disadari publik.

Lebih mengkhawatirkan, banyak sistem AI pemerintah dikembangkan oleh vendor eksternal. Kontrak pengadaan kerap menjadikan algoritma sebagai black box dengan alasan rahasia dagang. Akibatnya, negara membeli dan memakai sistem, tapi tidak sepenuhnya menguasai logika di baliknya. Di titik ini, akuntabilitas kebijakan publik bergeser dari pejabat yang bisa kita tuntut, ke kode yang tak pernah diuji secara demokratis.

AI, Kekuasaan, dan Hak Warga

Jadi, transparansi AI bukan cuma isu teknis belaka. Ini soal kekuasaan. Ketika algoritma menentukan prioritas bantuan, pengawasan, atau penilaian kinerja, ia berfungsi sebagai gatekeeper atas hak dan sumber daya publik. Tanpa keterbukaan, warga nyaris tak punya cara untuk menggugat keputusan yang merugikan mereka.

Di banyak negara, perdebatan tentang algorithmic accountability sudah mengemuka. Uni Eropa, misalnya, mendorong prinsip AI yang dapat dijelaskan dan hak warga untuk mendapatkan klarifikasi atas keputusan otomatis. Indonesia meski punya UU PDP dan Strategi Nasional AI masih lemah di aspek ini. Regulasi kita lebih banyak bicara etika dan inovasi, tapi minim pada kewajiban membuka algoritma di sektor publik.