Tidak satu departemen Whitehall pun yang telah mendaftarkan penggunaan sistem kecerdasan buatan sejak pemerintah mengatakan hal itu akan menjadi wajib, memicu peringatan bahwa sektor publik “bermain buta” tentang penyebaran teknologi algoritmik yang memengaruhi jutaan nyawa.
AI sudah digunakan oleh pemerintah untuk memberikan informasi keputusan tentang segala hal mulai dari pembayaran tunjangan hingga penegakan imigrasi, dan catatan menunjukkan badan-badan publik telah memberikan puluhan kontrak untuk layanan AI dan algoritmik. Sebuah kontrak untuk perangkat lunak pengenalan wajah, senilai hingga £20juta, dilelang minggu lalu oleh badan pengadaan polisi yang didirikan oleh Kantor Dalam Negeri, memunculkan kekhawatiran tentang “surveilans biometrik massal”.
Tapi rincian hanya sembilan sistem algoritmik yang sejauh ini telah diserahkan ke register publik, dengan tidak satupun dari sejumlah program AI yang digunakan dalam sistem kesejahteraan, oleh Kantor Dalam Negeri atau oleh polisi di antara mereka. Kelangkaan informasi ini muncul meskipun pemerintah mengumumkan pada bulan Februari tahun ini bahwa penggunaan register AI sekarang akan “menjadi persyaratan untuk semua departemen pemerintah”.
Para ahli telah memperingatkan bahwa jika diadopsi tanpa kritis, AI membawa potensi bahaya, dengan contoh terbaru sistem IT yang tidak berfungsi seperti yang dimaksud termasuk perangkat lunak Horizon Kantor Pos. AI yang digunakan dalam Whitehall bervariasi dari sistem Copilot Microsoft, yang sedang diuji coba secara luas, hingga pemeriksaan otomatis penipuan dan kesalahan dalam sistem tunjangan. Salah satu pemberitahuan kontrak AI terbaru yang dikeluarkan oleh Departemen untuk Pekerjaan dan Pensiun (DWP) menggambarkan “peningkatan minat di dalam DWP, yang mencerminkan minat di dalam pemerintah dan masyarakat yang lebih luas”.
Peter Kyle, menteri ilmu pengetahuan dan teknologi, telah mengakui bahwa sektor publik “belum cukup serius dalam kebutuhan untuk transparan dalam cara pemerintah menggunakan algoritma”.
Ketika ditanya tentang kurangnya transparansi, Kyle mengatakan kepada The Guardian: “Saya menerima bahwa jika pemerintah menggunakan algoritma atas nama publik, publik berhak untuk mengetahui. Publik perlu merasa bahwa algoritma ada untuk melayani mereka dan bukan sebaliknya. Satu-satunya cara untuk melakukannya adalah dengan transparan tentang penggunaannya.”