Krisis deepfake menyerang ratusan sekolah

Pada hari Sabtu lalu, pesan Telegram muncul di ponsel Heejin dari pengirim anonim. “Foto dan informasi pribadi Anda telah bocor. Mari kita diskusikan.”
Ketika mahasiswi tersebut masuk ke ruang obrolan untuk membaca pesan, dia menerima foto dirinya yang diambil beberapa tahun yang lalu ketika dia masih sekolah. Itu diikuti oleh gambar kedua menggunakan foto yang sama, hanya kali ini gambar itu seksual eksplisit, dan palsu.
Teror, Heejin, yang bukan nama aslinya, tidak merespon, tetapi gambar tetap datang. Dalam semua gambar tersebut, wajahnya telah dilekatkan pada tubuh yang sedang melakukan aksi seksual, menggunakan teknologi deepfake yang canggih.
Deepfake, mayoritas di antaranya menggabungkan wajah orang nyata dengan tubuh palsu, semakin banyak dihasilkan menggunakan kecerdasan buatan.
“Saya ketakutan, saya merasa sangat sendirian,” kata Heejin kepada BBC.
Tetapi dia tidak sendirian.
Dua hari sebelumnya, jurnalis Korea Selatan Ko Narin telah menerbitkan apa yang akan menjadi berita terbesar dalam karirnya. Belakangan diketahui bahwa polisi sedang menyelidiki lingkaran pornografi deepfake di dua universitas besar negara tersebut, dan Ms Ko yakin harus ada lebih banyak.
Dia mulai mencari media sosial dan menemukan puluhan grup obrolan di aplikasi pesan Telegram di mana pengguna berbagi foto wanita yang mereka kenal dan menggunakan perangkat lunak kecerdasan buatan untuk mengubahnya menjadi gambar pornografi palsu dalam hitungan detik.
“Setiap menit orang mengunggah foto gadis-gadis yang mereka kenal dan meminta mereka diubah menjadi deepfakes,” kata Ms Ko kepada kami.
Ms Ko menemukan bahwa grup-grup ini tidak hanya menyasar mahasiswa universitas. Ada ruang yang didedikasikan untuk sekolah menengah dan bahkan sekolah menengah. Jika banyak konten dibuat menggunakan gambar seorang siswa tertentu, dia bahkan mungkin diberikan ruangnya sendiri. Secara umum disebut “ruang penghinaan” atau “ruang teman teman”, mereka sering dilengkapi dengan syarat masuk yang ketat.
Laporan Ms Ko di surat kabar Hankyoreh telah menggemparkan Korea Selatan. Pada hari Senin, polisi mengumumkan bahwa mereka sedang mempertimbangkan untuk membuka penyelidikan terhadap Telegram, mengikuti jejak otoritas di Prancis, yang baru-baru ini menuntut pendiri Rusia Telegram atas tindak kriminal yang terkait dengan aplikasi tersebut. Pemerintah telah berjanji untuk memberlakukan hukuman yang lebih ketat bagi mereka yang terlibat, dan presiden telah meminta pria muda untuk dididik lebih baik.
BBC telah menghubungi Telegram untuk memberikan komentar dan meskipun belum membalas pada kasus tertentu ini, sebelumnya telah mengatakan kepada BBC bahwa mereka secara proaktif mencari kegiatan ilegal, termasuk pelecehan seksual anak, di situsnya. Mereka mengatakan tindakan tidak diungkapkan diambil terhadap 45.000 grup di seluruh dunia, hanya dalam bulan Agustus saja.
‘Suatu proses sistematis dan terorganisir’
BBC telah melihat deskripsi sejumlah ruang obrolan ini. Salah satunya meminta anggota untuk mengirimkan lebih dari empat foto seseorang beserta nama, usia, dan area tempat tinggal mereka.
“Saya terkejut dengan seberapa sistematis dan terorganisirnya proses ini,” kata Ms Ko. “Hal paling mengerikan yang saya temukan adalah sebuah grup untuk murid di bawah umur di satu sekolah yang memiliki lebih dari 2.000 anggota.”
Dalam beberapa hari setelah artikel Ms Ko diterbitkan, para aktivis hak perempuan mulai menjelajahi Telegram juga, dan mengikuti jejak.
Pada akhir minggu itu, lebih dari 500 sekolah dan universitas telah diidentifikasi sebagai target. Jumlah sebenarnya yang terkena dampak, dan jumlah korban, masih harus ditetapkan, tetapi banyak yang diyakini berusia di bawah 16 tahun, yang merupakan usia persetujuan di Korea Selatan. Sebagian besar dari para pelaku yang diduga adalah remaja sendiri.
Heejin mengatakan mengetahui skala krisis telah membuat kecemasannya semakin parah, karena sekarang dia khawatir berapa banyak orang yang mungkin telah melihat deepfake-nya. Awalnya dia menyalahkan dirinya sendiri. “Saya tidak bisa berhenti berpikir apakah ini terjadi karena saya mengunggah foto-foto saya ke media sosial, apakah seharusnya saya lebih berhati-hati?”
Puluhan perempuan dan remaja di seluruh negara sejak itu menghapus foto mereka dari media sosial atau menonaktifkan akun mereka sama sekali, takut mereka bisa dieksploitasi selanjutnya.
“Kami frustasi dan marah bahwa kami harus menyensor perilaku dan penggunaan media sosial kami padahal kami tidak melakukan kesalahan apapun,” kata seorang mahasiswa universitas, Ah-eun, yang temannya telah menjadi sasaran.
Ah-eun mengatakan seorang korban di universitasnya diberitahu oleh polisi untuk tidak repot-repot mengejar kasusnya karena akan terlalu sulit menangkap pelaku, dan itu “tidak benar-benar kejahatan” karena “foto-fotonya palsu”.
Orang Korea Selatan telah terkejut dan marah sejak skandal deepfake ini terungkap
Di tengah skandal ini adalah aplikasi pesan Telegram. Berbeda dengan situs web publik, yang dapat diakses dengan mudah oleh otoritas, dan kemudian meminta penghapusan gambar, Telegram adalah aplikasi pesan pribadi dan terenkripsi.
Pengguna sering anonim, ruang bisa diatur ke mode “rahasia”, dan isinya dengan cepat dihapus tanpa jejak. Hal ini telah membuatnya menjadi ruang utama bagi perilaku kriminal untuk berkembang.
Minggu lalu, politisi dan polisi merespons dengan tegas, berjanji untuk menyelidiki kejahatan ini dan membawa pelakunya ke pengadilan.
Pada hari Senin, Badan Kepolisian Nasional Seoul mengumumkan akan menyelidiki Telegram atas perannya dalam memungkinkan gambar pornografi palsu anak-anak didistribusikan.
Pendiri aplikasi, Pavel Durov, dituduh di Prancis pekan lalu dengan ikut serta dalam sejumlah kejahatan terkait aplikasi, termasuk memungkinkan berbagi pornografi anak.
Namun, para aktivis hak perempuan menuduh otoritas di Korea Selatan membiarkan pelecehan seksual di Telegram terus berlanjut tanpa hambatan terlalu lama, karena Korea telah menghadapi krisis ini sebelumnya. Pada tahun 2019, terungkap bahwa sebuah cincin seks menggunakan Telegram untuk memaksa perempuan dan anak-anak membuat dan berbagi gambar yang seksual eksplisit tentang diri mereka sendiri.
Polisi saat itu meminta bantuan Telegram dalam penyelidikan mereka, tetapi aplikasi itu mengabaikan ketujuh permintaan mereka. Meskipun otaknya akhirnya divonis hukuman lebih dari 40 tahun penjara, tidak ada tindakan yang diambil terhadap platform tersebut, karena takut akan sensor.
“Mereka menghukum para pelaku utama tetapi sebaliknya mengabaikan situasi, dan saya pikir ini telah memperburuk situasi,” kata Ms Ko.
Grup obrolan seperti ini menawarkan untuk membuat gambar deepfake. Yang terbawah mencatat bahwa “jika Anda meminta seseorang untuk dihina (deepfaked), kami akan melakukannya”
Park Jihyun, yang, sebagai jurnalis siswa muda, mengungkap kasus cincin Nth pada tahun 2019, sejak itu menjadi advokat politik untuk korban kejahatan seksual digital. Dia mengatakan bahwa sejak skandal deepfake pecah, murid dan orangtua telah meneleponnya beberapa kali sehari menangis.
“Mereka telah melihat sekolah mereka dalam daftar yang dibagikan di media sosial dan ketakutan.”
Ms Park telah memimpin seruan untuk pemerintah untuk mengatur atau bahkan melarang aplikasi di Korea Selatan. “Jika perusahaan teknologi ini tidak akan bekerja sama dengan lembaga penegak hukum, maka negara harus mengaturnya untuk melindungi warganya,” katanya.
Sebelum krisis terbaru ini pecah, Pusat Advokasi Korea Selatan untuk Korban Pelecehan Seksual Online (ACOSAV) sudah memperhatikan peningkatan tajam jumlah korban di bawah umur dari pornografi deepfake.
Pada 2023 mereka memberikan konseling kepada 86 korban. Angka itu melonjak menjadi 238 hanya dalam delapan bulan pertama tahun ini, tanpa menghitung tujuh hari terakhir.
Salah satu pemimpin pusat tersebut, Park Seonghye, mengatakan selama seminggu terakhir stafnya telah dibanjiri telepon dan bekerja siang dan malam. “Ini telah menjadi keadaan darurat penuh bagi kami, seperti situasi perang,” katanya.
“Dengan teknologi deepfake terbaru ada begitu banyak footage lebih dari yang biasanya ada, dan kami khawatir itu hanya akan meningkat.”
Selain memberi konseling kepada korban, pusat tersebut melacak konten yang merugikan dan bekerja dengan platform online untuk menghapusnya. Ms Park mengatakan ada beberapa kasus di mana Telegram telah menghapus konten atas permintaan mereka. “Jadi bukan tidak mungkin,” katanya.
Sementara organisasi hak perempuan menerima bahwa teknologi AI baru memudahkan eksploitasi korban, mereka berpendapat bahwa ini hanyalah bentuk misogini terbaru yang terjadi secara online di Korea Selatan.
Pertama wanita diserang dengan gelombang penyalahgunaan verbal online. Lalu datanglah epidemi kamera sembunyi, di mana mereka diam-diam difilmkan menggunakan toilet umum dan ruang ganti.
“Akarnya adalah seksisme struktural dan solusinya adalah kesetaraan gender,” demikian pernyataan yang ditandatangani oleh 84 kelompok perempuan.
Ini adalah kritik langsung terhadap Presiden Yoon Suk Yeol negara itu, yang telah menyangkal adanya seksisme struktural, memotong pendanaan untuk kelompok dukungan korban, dan menghapus kementerian kesetaraan gender pemerintah.
Getty Images
Lee Myung-hwa, yang merawat pelaku seks muda, setuju bahwa meskipun pecahnya penyalah-gunaan deepfake mungkin terlihat tiba-tiba, itu telah lama mengintai di bawah permukaan. “Bagi remaja, deepfake telah menjadi bagian dari budaya mereka, mereka dianggap sebagai permainan atau lelucon,” kata konselor tersebut, yang menjalankan Pusat Kebudayaan Pemuda Seoul Aha.
Ms Lee mengatakan bahwa penting untuk mendidik pria muda, mengutip penelitian yang menunjukkan bahwa ketika Anda memberitahukan pelaku persis apa kesalahannya, mereka menjadi lebih sadar tentang apa yang dianggap sebagai pelecehan seksual, yang mencegah mereka dari kembali melakukan pelanggaran tersebut.
Sementara itu, pemerintah telah mengatakan bahwa mereka akan meningkatkan hukuman pidana bagi mereka yang membuat dan menyebarkan gambar deepfake, dan juga akan menghukum mereka yang melihat pornografi tersebut.
Langkah ini menyusul kritik bahwa tidak cukup pelaku yang dihukum. Salah satu masalahnya adalah bahwa sebagian besar pelaku adalah remaja, yang biasanya diadili di pengadilan pemuda, di mana mereka menerima hukuman yang lebih lunak.
Sejak ruang obrolan terungkap, banyak telah ditutup, tetapi kemungkinan baru akan segera menggantikannya. Sebuah ruang penghinaan telah diciptakan untuk menargetkan jurnalis yang meliput cerita ini. Ms Ko, yang mengungkap berita itu, mengatakan ini membuatnya sulit tidur malam. “Saya terus memeriksa ruangan itu untuk melihat apakah foto saya telah diunggah,” katanya.
Kecemasan semacam itu telah menyebar ke hampir setiap gadis remaja dan wanita muda di Korea Selatan. Ah-eun, mahasiswi tersebut, mengatakan bahwa itu membuatnya curiga terhadap kenalannya laki-laki.
“Sekarang saya tidak yakin orang tidak akan melakukan kejahatan ini di belakang saya, tanpa sepengetahuan saya,” katanya. “Saya menjadi sangat waspada dalam semua interaksi saya dengan orang, yang tidak bisa baik.”Laporan tambahan oleh Hosu Lee dan Sunwook Lee