Ofcom telah memperingatkan perusahaan teknologi bahwa konten dari chatbots yang menyamar sebagai orang nyata dan fiktif dapat melanggar hukum digital baru Inggris. Regulator komunikasi tersebut mengeluarkan pedoman setelah diketahui pengguna di platform Character.AI telah membuat avatar meniru remaja Inggris yang telah meninggal, yaitu Brianna Ghey dan Molly Russell. Di bawah tekanan dari para penggiat keamanan digital untuk menjelaskan situasi tersebut, Ofcom menekankan bahwa konten yang dibuat oleh chatbots buatan pengguna akan masuk dalam cakupan Undang-Undang Keamanan Online. Tanpa menyebutkan firma kecerdasan buatan berbasis AS Character.AI, Ofcom mengatakan bahwa situs atau aplikasi yang memungkinkan pengguna membuat chatbots mereka sendiri agar orang lain dapat berinteraksi dengan mereka akan tercakup dalam undang-undang tersebut. “Ini termasuk layanan yang menyediakan alat untuk pengguna membuat chatbots yang meniru persona orang nyata dan fiktif, yang dapat diserahkan ke perpustakaan chatbot untuk diinteraksikan oleh orang lain,” kata Ofcom. Dalam surat terbuka, Ofcom juga mengatakan bahwa setiap situs atau aplikasi pengguna-ke-pengguna – seperti platform media sosial atau aplikasi pesan – yang memungkinkan orang untuk berbagi konten yang dihasilkan oleh chatbot di situs tersebut dengan orang lain juga akan masuk dalam cakupan. Perusahaan yang melanggar undang-undang tersebut dapat dikenai denda sebesar £18 juta atau 10% dari omzet global perusahaan. Dalam kasus ekstrem, situs web atau aplikasi juga dapat diblokir. Ofcom mengatakan bahwa mereka telah mengeluarkan pedoman tersebut setelah “kejadian menyedihkan”. Mereka menyoroti kasus yang pertama kali dilaporkan oleh Daily Telegraph di mana pengguna Character.AI membuat bot untuk bertindak sebagai klon virtual Brianna, 16 tahun, seorang gadis transgender yang dibunuh oleh dua remaja tahun lalu, dan Molly, yang mengakhiri hidupnya pada tahun 2017 setelah melihat konten berbahaya secara online. Mereka juga menunjuk kasus di Amerika Serikat di mana seorang remaja meninggal setelah menjalin hubungan dengan avatar Character.AI berdasarkan karakter Game of Thrones. Aturan keamanan online baru, yang akan mulai diterapkan secara penuh tahun depan, akan memerlukan platform media sosial dan lainnya yang menyelenggarakan konten yang dibuat pengguna untuk melindungi pengguna, khususnya anak-anak, dari materi ilegal dan berbahaya lainnya. Aturan tersebut akan meminta platform terbesar untuk membuat sistem untuk secara proaktif menghapus materi ilegal dan berbahaya lainnya, sambil juga menyediakan alat pelaporan yang jelas kepada pengguna dan melakukan penilaian risiko, di antara kewajiban-kewajiban baru lainnya. Yayasan Molly Rose (MRF), sebuah lembaga amal yang didirikan oleh keluarga Molly, mengatakan bahwa pedoman tersebut mengirimkan “sinyal yang jelas” bahwa chatbot dapat menimbulkan kerusakan signifikan. Namun, MRF mengatakan bahwa lebih banyak kejelasan diperlukan mengenai apakah konten yang dihasilkan bot dapat dianggap ilegal di bawah undang-undang, setelah penasihat pemerintah tentang legislasi terorisme, Jonathan Hall KC, mengatakan tahun ini bahwa respon chatbot AI tidak diatur dengan baik oleh legislasi yang ada. Ofcom akan segera mengeluarkan pedoman tentang penanganan konten ilegal di platform, termasuk materi chatbot. Ben Packer, seorang mitra di firma hukum Linklaters, mengatakan: “Fakta bahwa Ofcom harus menjelaskan bahwa layanan-layanan ini mungkin tercakup dalam cakupan mencerminkan luasnya dan kompleksitas Undang-Undang Keamanan Online. Ini juga merupakan gejala dari fakta bahwa undang-undang tersebut dimulai beberapa tahun sebelum penyebaran alat GenAI dan chatbots.” Character.AI mengatakan bahwa mereka “serius dalam mengantisipasi keamanan di platformnya dan memoderasi Characters secara proaktif dan sebagai tanggapan atas laporan pengguna” dan bahwa chatbots Ghey, Russell, dan Game of Thrones telah dihapus.
