Algoritma memberi tahu polisi bahwa dia aman. Kemudian suaminya membunuhnya. Sebuah algoritma memberitahu polisi bahwa dia aman. Lalu suaminya membunuhnya.

Di sebuah apartemen kecil di pinggiran Madrid, pada 11 Januari 2022, sebuah diskusi tentang pekerjaan rumah tangga menjadi kasar ketika suami Lobna Hemid merusak sebuah rak sepatu kayu dan menggunakan sebongkah potongan itu untuk memukulnya. Tetangga mendengar teriakan dari dirinya. Keempat anak mereka, yang berusia antara 6 dan 12 tahun, juga ada di rumah.

Suami Hemid selama 14 tahun, Bouthaer el Banaisati, sering memukul dan menendangnya, seperti yang dia ceritakan kepada polisi nanti. Dia juga memanggilnya “anak jalang”, “sampah”, dan “bejat”, sesuai dengan laporan polisi.

Sebelum Hemid meninggalkan stasiun malam itu, polisi harus menentukan apakah dia dalam bahaya untuk diserang lagi dan membutuhkan dukungan. Seorang petugas polisi menjawab 35 pertanyaan dengan jawaban ya atau tidak, seperti: Apakah senjata digunakan? Apakah ada masalah ekonomi? Apakah pelaku menunjukkan perilaku yang mengendalikan? Jawaban-jawaban tersebut memberi makan sebuah algoritma yang disebut VioGén yang akan membantu menghasilkan respons.

VioGén menghasilkan skor:

Resiko rendah Lobna Hemid

2022 Madrid

Polisi menerima rekomendasi dari program komputer dan Hemid kembali ke rumah tanpa perlindungan lebih lanjut. El Banaisati, yang ditahan semalam, dibebaskan keesokan harinya. Tujuh minggu kemudian, dia menusuk Hemid beberapa kali di dada dan perut sebelum bunuh diri. Dia berusia 32 tahun.

Saat ini di Spanyol ada 92.000 kasus korban kekerasan gender yang telah dievaluasi oleh VioGén, yang mayoritasnya – 83 persen – diklasifikasikan sebagai risiko rendah untuk mengalami pelecehan lagi. Namun, sekitar 8 persen wanita yang algoritma menilai tidak dalam risiko nyata, dan 14 persen dari mereka yang dianggap berisiko rendah telah melaporkan bahwa mereka kembali mengalami pelecehan, menurut Kementerian Dalam Negeri Spanyol, yang mengawasi sistem tersebut.

Setidaknya 247 wanita telah dibunuh oleh pasangan atau mantan pasangan sejak tahun 2007 setelah dievaluasi oleh VioGén, menurut data pemerintah. Meskipun jumlah tersebut merupakan pecahan kecil dari kasus kekerasan gender, itu mengindikasikan kegagalan algoritma tersebut. The New York Times menemukan bahwa dalam tinjauan resmi terhadap 98 kasus pembunuhan tersebut, 55 wanita yang dibunuh telah menerima penilaian risiko repetitif tidak dihargai atau rendah oleh VioGén.

Sebagai contoh, risiko berulang

Ekstrim

Tinggi

Sedang

Rendah

Tidak dihargai

Sumber: Dewan Kekuasaan Yudikatif Spanyol Catatan: Data dari tahun 2010 hingga 2022. Statistik dari 2016 hingga 2018 tidak tersedia. Oleh Alice Fang

Petugas polisi diberi wewenang untuk menerima atau meningkatkan penilaian risiko VioGén berdasarkan bukti, tetapi mereka menerima skor risiko sekitar 95 persen dari waktu, menurut otoritas. Para hakim juga dapat menggunakan hasil algoritma ketika meninjau permintaan perintah pembatasan dan langkah perlindungan lainnya.

“Wanita terabaikan,” kata Susana Pavlou, direktur Institut Studi Gender Mediterrania, coauthor dari laporan Uni Eropa tentang VioGén dan inisiatif kepolisian lainnya untuk melawan kekerasan terhadap wanita. Algoritma tersebut “secara harfiah membebaskan polisi dari segala tanggung jawab untuk mengevaluasi situasi dan kebutuhan korban”.

Spanyol adalah contoh bagaimana pemerintah menggunakan algoritma untuk mengambil keputusan sosial, sebuah tren global yang diharapkan akan berkembang seiring dengan meningkatnya kecerdasan buatan. Di Amerika Serikat, algoritma membantu menentukan hukuman penjara, menjadwalkan patroli polisi, dan mengidentifikasi anak-anak yang berisiko mengalami pelecehan. Di Belanda dan Inggris, otoritas telah menguji algoritma untuk memprediksi siapa yang mungkin menjadi penjahat dan mengidentifikasi orang-orang yang mungkin melakukan penipuan keamanan sosial.

Beberapa program memiliki konsekuensi hidup atau mati seperti dengan VioGén. Namun, korban yang diwawancarai oleh Times jarang mengetahui peran yang dimainkan oleh algoritma dalam kasus mereka. Pemerintah juga tidak pernah merilis data yang komprehensif tentang keefektifan sistem dan menolak untuk menyediakan algoritma untuk pengauditan eksternal.

VioGén diciptakan sebagai alat yang tidak memihak yang membantu polisi dengan sumber daya terbatas untuk mengidentifikasi dan melindungi wanita yang berisiko tinggi untuk diserang lagi. Tujuan teknologi tersebut adalah meningkatkan efektivitas dengan membantu kepolisian memprioritaskan kasus-kasus paling mendesak, dengan fokus lebih sedikit pada yang dianggap berisiko rendah oleh algoritma. Korban yang diklasifikasikan sebagai berisiko tinggi menerima perlindungan lebih, termasuk patroli berkala di rumah mereka, akses ke pusat perlindungan, dan pemantauan polisi terhadap gerakan pelaku mereka. Mereka yang mendapat skor risiko lebih rendah menerima lebih sedikit dukungan.

Dalam sebuah pernyataan, Kementerian Dalam Negeri membela VioGén dan mengatakan bahwa mereka adalah “orang pertama yang melakukan otonomi” ketika terjadi kesalahan. Mereka menyatakan bahwa feminisida sangat jarang sehingga sulit untuk diprediksi dengan tepat, namun menambahkan bahwa “fakta yang tidak bisa disangkal” bahwa VioGén telah membantu mengurangi kekerasan wanita oleh pria.

Sejak tahun 2007, sekitar 0,03 persen dari 814.000 korban yang melaporkan kasus kekerasan gender di Spanyol telah dibunuh setelah dievaluasi oleh VioGén, menurut otoritas. Selama periode itu, serangan yang berulang dalam semua kasus kekerasan gender telah berkurang dari sekitar 40 menjadi 15 persen, menurut data pemerintah.

“Jika bukan karena ini, kami akan memiliki lebih banyak feminisida kekerasan gender dari yang kami miliki,” kata Juan José López Ossorio, seorang psikolog yang membantu menciptakan VioGén dan bekerja untuk Kementerian Dalam Negeri.

Juan José López Ossorio, seorang psikolog dan pejabat yang membantu membuat sistem VióGen.

Ana María Arévalo Gosen untuk The New York Times

Namun, korban dan keluarganya menghadapi konsekuensi dari kasus di mana VioGén keliru.

“Teknologi bagus, tapi ada saat-saat tidak, dan di situlah semuanya buruk,” kata Jesús Melguizo, ipar Hemid, yang merawat dua anaknya. “Komputer itu tidak punya hati”.

‘Efektif tapi tidak sempurna’

VioGén dimulai dengan pertanyaan: apakah mungkin bagi polisi untuk mengantisipasi serangan sebelum terjadi?

Setelah Spanyol mengesahkan undang-undang tentang kekerasan gender pada tahun 2004, pemerintah mengumpulkan para ahli statistik, psikologi, dan bidang lain untuk menemukan jawabannya. Tujuannya adalah membuat model statistik untuk mengidentifikasi wanita yang memiliki risiko tinggi untuk diabusi dan merancang solusi standar untuk melindungi mereka.

Beberapa gambaran awal dan strategi riset untuk apa yang akan menjadi VioGén, termasuk pohon keputusan dan teknik kalibrasi untuk memprediksi pembunuhan oleh pasangan intim.

Ana María Arévalo Gosen untuk The New York Times

“Itu akan menjadi panduan baru untuk penilaian risiko dalam kekerasan gender,” kata Antonio Pueyo, profesor psikologi di Universitas Barcelona yang kemudian bergabung dengan inisiatif tersebut.

Tim tersebut mengadopsi pendekatan yang mirip dengan perusahaan asuransi dan bank untuk memprediksi kemungkinan peristiwa di masa depan, seperti kebakaran rumah atau fluktuasi mata uang. Mereka mempelajari statistik nasional tentang kejahatan, catatan polisi, dan penelitian peneliti Inggris dan Kanada untuk menemukan indikator yang tampaknya berkorelasi dengan kekerasan gender. Penyalahgunaan zat, kehilangan pekerjaan, dan ketidakpastian ekonomi menduduki posisi teratas daftar.

Selanjutnya, mereka merancang kuesioner untuk korban, sehingga jawaban mereka dapat dibandingkan dengan data historis. Polisi mengisikan jawaban setelah mewawancarai korban, meninjau bukti dokumen, berbicara dengan saksi, dan meneliti informasi lain dari lembaga pemerintah. Jawaban dari pertanyaan tertentu memiliki bobot lebih dari yang lain, seperti apakah pelaku kekerasan menunjukkan kecenderungan bunuh diri atau menunjukkan rasa cemburu.

Tiga pertanyaan kuesioner

Indikator 6. Apakah selama enam bulan terakhir terjadi peningkatan eskalasi serangan atau ancaman?

YaTidakTidak Ada

Indikator 26. Apakah korban memperlihatkan adiksi atau perilaku penyalahgunaan zat (alkohol, narkotika, dan toksik)?

YaTidakTidak Ada

Indikator 34. Apakah korban telah menyatakan kepada penyerangnya niat untuk memutuskan hubungan kurang dari enam bulan lalu?

YaTidakTidak Ada

Sistem memberikan skor kepada setiap korban: risiko tidak dihargai, risiko rendah, risiko sedang, risiko tinggi, atau risiko ekstrim. Skor yang lebih tinggi akan mengakibatkan polisi patroli dan pemantauan gerakan pelaku kekerasan. Dalam kasus ekstrem, polisi akan menetapkan pemantauan 24 jam sehari. Orang dengan skor risiko rendah akan menerima lebih sedikit sumber daya, terutama panggilan tindak lanjut.

Algoritma prediktif untuk menangani kekerasan rumah tangga telah digunakan di beberapa bagian Inggris, Kanada, Jerman, dan Amerika Serikat, tetapi tidak dalam skala nasional yang diterapkan oleh otoritas Spanyol. Kementerian Dalam Negeri memperkenalkan VioGén di seluruh tempat kecuali di wilayah Catalunya dan Basque.

Pada awalnya, penegak hukum menerima algoritma dengan keraguan, menurut pejabat polisi dan pemerintah yang diwawancarai oleh Times, tetapi segera menjadi bagian dari kegiatan polisi sehari-hari.

Sebelum VioGén, penyelidikan “berdasarkan pengalaman petugas polisi,” kata Pueyo, yang masih terlibat dalam program tersebut. “Sekarang semua diorganisir dan dipandu oleh VioGén”.

VioGén adalah sumber informasi yang objektif, kata mereka. Jika seorang wanita yang diserang larut malam diatasi oleh seorang polisi muda yang kurang berpengalaman, VioGén bisa membantu mendeteksi risiko kekerasan di masa depan.

“Lebih efisien,” kata Pueyo.

Dalam beberapa tahun terakhir, VioGén telah diperbarui dan ditingkatkan, termasuk dengan metrik yang dipercayai dapat memprediksi pembunuhan dengan lebih baik. Polisi juga diminta untuk melakukan penilaian risiko dalam 90 hari setelah sebuah serangan.

Namun, kepercayaan Spanyol terhadap sistem tersebut mengejutkan beberapa ahli. Juanjo Medina, peneliti utama di Universitas Sevilla yang telah mempelajari VioGén, mengatakan bahwa efektivitas sistem tidak sepenuhnya jelas.

“Kita tidak hebat dalam memprediksi cuaca, apalagi perilaku manusia,” katanya.

Francisco Javier Curto, perwira di Markas Kepolisian di Sevilla, mengatakan bahwa VioGén membantu timnya memprioritaskan, tetapi membutuhkan pengawasan ketat. Setiap hari ada sekitar 20 kasus kekerasan gender baru, masing-masing memerlukan penyelidikan. Memberikan perlindungan polisi kepada semua korban akan menjadi hal yang tidak mungkin mengingat jumlah staf dan anggaran yang tersedia.

“Sistem tersebut efektif tapi tidak sempurna,” kata Curto, dan menambahkan bahwa VioGén adalah “sistem terbaik yang ada di dunia saat ini”.

Francisco Javier Curto, komandan Polisi Guardia di Sevilla, yang mengawasi insiden kekerasan gender di provinsi tersebut. VioGén adalah “sistem terbaik yang ada saat ini di dunia,” kata dia.

Ana Maria Arevalo Gosen untuk The New York Times

José Iniesta, anggota polisi di Alicante, sebuah kota pelabuhan di tenggara negara itu, mengatakan bahwa tidak ada cukup petugas yang dilatih untuk menghadapi meningkatnya jumlah kasus. Iniesta, ketua Asosiasi Gabungan Polisi Guardia, yang mewakili polisi di daerah pedesaan, mengatakan bahwa di luar kota-kota besar, polisi sering harus