Para pendiri Calmara mengklaim platform mereka akan memungkinkan wanita untuk secara proaktif memeriksa kesehatan seksual pasangan mereka. “Pemindaian genital yang didukung oleh kecerdasan buatan” bisa menjadi tren berikutnya dalam kecerdasan buatan. Itulah menurut Mei Ling Lu dan Yudara Kularathne, pendiri HeHealth, yang mengklaim “keajaiban” kecerdasan buatan “terpaten” mereka dapat menganalisis gambar alat kelamin pria untuk mengetahui keberadaan infeksi menular seksual umum. Bulan ini, mereka meluncurkan platform bernama Calmara yang dipasarkan sebagai alat kesehatan seksual untuk wanita, mendorong mereka untuk mengirim “pemeriksaan alat kelamin,” atau foto bagian pribadi pasangan mereka.
Dalam 60 detik, Calmara mengklaim algoritmanya dapat mengidentifikasi keberadaan lebih dari 10 penyakit dan infeksi, seperti herpes, sifilis, dan HPV, dengan akurasi hingga 96%. “Niat kami sebenarnya adalah membawa solusi pemeriksaan dalam kesehatan seksual di mana, katakanlah, alternatif lainnya adalah orang-orang mencari di Google,” kata Mei Ling Lu, rekan pendiri dan CEO perusahaan, kepada Forbes.
Namun, sejak diluncurkan, Calmara telah menuai kritik yang meluap terkait persetujuan, privasi data, dan kemungkinan materi pelecehan seksual anak yang dapat berakhir di server Calmara, yang mempertanyakan kredibilitas mereka dan mendorong para pencipta untuk mundur cepat dari beberapa aspek produk mereka.
“Saya tidak berpikir solusinya adalah mengambil foto alat kelamin orang lain dan membagikannya dengan aplikasi yang bahkan bukan penyedia medis dan tidak tunduk pada standar yang sama dengan kantor dokter,” kata Sara Geoghegan, yang menjabat sebagai konselor di Electronic Privacy Information Center dan berfokus pada isu-isu terkait privasi konsumen.
Keberadaan AI dalam bidang kesehatan mewakili pasar senilai $23 miliar, dan banyak perusahaan berlomba-lomba untuk menggunakan model untuk diagnosis, penerimaan pasien, manajemen rumah sakit, dan berbagai penggunaan lainnya. Calmara adalah salah satu dari ledakan produk konsumen yang didorong oleh AI, seperti chatbot terapi dan aplikasi pelatih kesehatan, yang menyebutkan AI sebagai solusi yang rapi namun berpotensi bermasalah untuk berbagai masalah kesehatan. Tahun lalu, misalnya, Asosiasi Gangguan Makan Nasional menghapus chatbotnya sendiri karena memberikan saran berbahaya seperti merekomendasikan penurunan berat badan dan mengukur lemak tubuh.
“Sifat persetujuan di sini tidak mungkin.”
Sara Geoghegan, konselor Electronic Privacy Information Center
Pada tahun 2022, Lu, seorang mantan konsultan manajemen, dan Yudara, seorang dokter yang sebelumnya praktik di Singapura, mendirikan HeHealth, sebuah startup kesehatan yang berkantor pusat di San Francisco yang menyediakan platform Calmara sebagai layanan dan menawarkan produk serupa bagi pria untuk memeriksa sendiri infeksi menular seksual. HeHealth telah mengumpulkan $1,1 juta dalam pendanaan dari investor eksternal, kata para pendirinya. Data PitchBook mencantumkan Institut Inovasi & Kewirausahaan Perguruan Tinggi Manajemen Singapura, Plug and Play Tech Center California, dan firma modal ventura Jepang ARKRAY 4U sebagai investor.
Baik Calmara maupun aplikasi HeHealth untuk pria dibangun di atas model AI yang sama, kata para pendiri mereka kepada Forbes, dan HeHealth juga mengklaim dapat menghubungkan pengguna di Amerika Serikat, Singapura, dan India dengan ahli kesehatan seksual di “klinik mitra terverifikasi.” Perusahaan tersebut mengklaim AI mereka didukung oleh “kumpulan data eksklusif” yang telah melalui peninjauan sejawat dan diuji oleh lebih dari 30.000 pengguna di seluruh dunia.
Data ini berisi beberapa ribu gambar — baik asli maupun sintetis — dari lima penyakit penis, dengan gambar asli didapatkan dari dokter di India, Sri Lanka, Singapura, Australia, AS, dan Inggris, menurut pra-cetakan Maret 2024 yang dipublikasikan tanpa peninjauan sejawat yang ditulis oleh Kularathne, dua konsultan berbayar HeHealth, dan seorang eksekutif medis di perusahaan tersebut. Belum jelas mengapa Calmara mengklaim dapat mengidentifikasi lebih dari 10 penyakit ketika model AI yang digunakan hanya dilatih pada lima penyakit. Forbes juga tidak dapat menemukan bukti bahwa model dan efektivitasnya telah ditinjau secara independen.
Penggunaan data sintetis — dalam hal ini, gambar yang diperkaya atau dihasilkan secara artifisial oleh model gambar — untuk melatih AI telah diusulkan oleh sebagian peneliti sebagai solusi untuk mengisi celah dalam kumpulan data dan bahkan melewati batasan privasi yang mungkin mencegah seseorang mengakses data tertentu. Tahun lalu, peneliti di Massachusetts Institute of Technology menunjukkan bahwa gambar sintetis dapat dihasilkan menggunakan model teks-gambar seperti Stable Diffusion, tetapi memperingatkan bahwa ketergantungan pada perpustakaan semacam itu juga bisa memperbesar bias. Kularathne mengatakan gambar mereka dimodifikasi untuk mencakup berbagai warna kulit.
Selain itu, tim HeHealth mencatat dalam makalah bahwa mereka mengembangkan “alat pengumpulan informasi web yang dibangun khusus untuk mengunduh gambar yang tersedia secara bebas di internet,” dan juga “mengumpulkan gambar dari antarmuka aplikasi seluler yang digunakan secara dominan di Amerika Utara.” Kularathne mengatakan kepada Forbes bahwa gambar aplikasi seluler tersebut berasal dari uji coba yang mensyaratkan partisipan untuk menyetujui penggunaan informasinya.
Tetapi aplikasi tersebut tampaknya tidak serius dalam memperhatikan persetujuan. Forbes menguji Calmara dengan gambar yang tidak jelas dan hanya diminta untuk mengonfirmasi bahwa “Ya, saya memilikinya mendapat persetujuan mereka,” pada pesan popup yang muncul setelah mengambil foto tetapi sebelum mengirimkannya.
Meskipun sebuah platform seperti Calmara menghapus gambar yang dibagikan oleh pengguna, mereka masih mengumpulkan materi ini dan dengan demikian mungkin harus mematuhi beberapa undang-undang privasi data tertentu
“Sifat persetujuan di sini tidak mungkin,” kata Geoghegan. Dalam kasus Calmara, “orang yang disarankan oleh aplikasi tidaklah orang yang gambar alat kelaminnya dibagikan, jadi subjek sebenarnya dari praktik invasif ini bukanlah mereka yang persetujuannya dicari.”
Dr. Jeffrey Klausner, seorang profesor terkemuka di Sekolah Kedokteran Keck di Universitas California Selatan dan penasihat medis berbayar di HeHealth, membela perusahaan tersebut dalam sebuah wawancara. Ketika ditanya tentang kekhawatiran persetujuan, ia mengatakan bahwa bahkan di pengaturan medis, “persetujuan selalu menjadi isu dalam kesehatan seksual” dan “[Calmara] haruslah digunakan dengan persetujuan dari kedua belah pihak.”
Kemudian, ada pertanyaan tentang apa yang terjadi pada foto setelah seorang pengguna mengirimkannya. Saat Calmara diluncurkan, gambar disimpan di server AWS mereka dan disimpan selama periode waktu yang para pendiri menolak untuk membagikannya. Namun setelah ada kecaman publik, Lu dan Kularathne mengubah kebijakan retensi data. Sekarang, gambar secara otomatis dihapus dari Calmara setelah mereka diperiksa untuk infeksi menular seksual. (FAQ perusahaan masih mengatakan, “Info Anda disimpan di dalam benteng digital, dibungkus dalam lapisan enkripsi, dan diatur dengan aturan yang bahkan akan membuat masters dungeon yang paling ketat bangga.”)
Di sisi lain, HeHealth memang menyimpan data pengguna termasuk gambar, kata Lu dan Kularathne. Karena kebijakan privasi HeHealth menyatakan bahwa beberapa informasi pengguna dibagikan dengan “penyedia layanan dan mitra yang membantu kami dalam mengoperasikan layanan,” Forbes bertanya apakah gambar dari platform digunakan untuk menyempurnakan model AI mereka. Para pendiri menyangkal bahwa foto dibagikan, tetapi mengatakan bahwa dokter mitra saat ini meninjau setiap gambar yang dikirim oleh pengguna, dan “masukan” mereka digunakan untuk melatih ulang model. (Mereka tidak mengungkapkan siapa dokter-dokter ini dan apa hubungan pekerjaan mereka dengan perusahaan. Secara terpisah, Forbes mengonfirmasi bahwa di California, HeHealth berafiliasi dengan CityHealth, layanan kesehatan langganan dengan lokasi di sekitar Bay Area.)
Juru bicara CityHealth Kathy Chu mengatakan bahwa mereka memberikan konsultasi medis kepada pasien yang menggunakan HeHealth. “Tujuannya adalah membuat lebih nyaman bagi kedua pihak, baik untuk dokter maupun pasien, karena aplikasi akan memindai daerah penis pasien dan penyedia yang bersertifikat akan dapat meninjau pemindaian tersebut,” kata Chu kepada Forbes.
Sedikit dari informasi ini terlihat dalam aplikasi Camara. “Situs web tersebut menggambarkan ‘mode hantu’ atau ‘tanpa nama’ tetapi tidak memberi saya informasi yang cukup untuk mengatakan seberapa pelindung privasi itu,” kata Glenn Cohen, seorang profesor Sekolah Hukum Harvard yang mengkhususkan diri dalam etika medis, kepada Forbes. “Saya juga tidak tahu apakah data apa pun, bahkan setelah dihilangkan identifikasinya, dapat diidentifikasi kembali dengan sendirinya.”
Meskipun sebuah platform seperti Calmara menghapus gambar yang dibagikan oleh pengguna, mereka masih mengumpulkan materi ini dan dengan demikian mungkin harus mematuhi beberapa undang-undang privasi data, kata Wendell Bartnick, seorang mitra di Reed Smith yang memberikan nasihat kepada perusahaan kesehatan mengenai keamanan siber dan privasi data. Calmara telah menyatakan bahwa layanannya tidak masuk dalam cakupan HIPAA (Undang-Undang Asuransi Kesehatan Portabel dan Bertanggung Jawab) karena tidak dapat digunakan untuk mengidentifikasi seseorang.
“Tidak ada cara bagi sebuah perusahaan untuk mengendalikan jenis data yang mereka terima, dan sebuah foto dengan mudah akan mencakup wajah seseorang, yang kemungkinan akan dianggap sebagai informasi pribadi yang diatur oleh beberapa undang-undang negara,” kata Bartnick kepada Forbes.
Seperti banyak platform yang menangani gambar medis, Calmara dan HeHealth masih menangani gambar yang sangat sensitif. “Komputer para pekerja saya dipenuhi dengan gambar penis,” kata Kularathne kepada Forbes. Tidak satupun Calmara atau HeHealth pernah menemukan atau melaporkan materi pelecehan seksual anak, kata Kularathne.
Menyusul peluncuran Calmara, Carey Lening, seorang peneliti privasi dan pemimpin infosec di Castlebridge, menerbitkan tinjauan mendalam yang tajam terhadap praktik privasi perusahaan, menyebutnya sebagai “bencana tidak terbayangkan.” Dalam sebuah posting reaksi di LinkedIn, Lu menyebut umpan balik yang diterima Calmara sejak peluncuran sebagai “sangat berpihak dua sisi” dan menambahkan: “Jadi kepada para pria dan kritikus lainnya — percayalah, merangkul inovasi kesehatan mungkin menjadi hal paling keren yang Anda lakukan.” Posting Lu sejak itu diedit untuk menghapus bahasa ini.
“Siapa yang telah meninjau algoritma di luar perusahaan dan apa jaminan kehandalan yang dapat mereka tawarkan?”
Glenn Cohen, profesor Harvard Law School
Lu dan Kularathne secara diam-diam telah memperbarui produk mereka setelah peristiwa tersebut, termasuk mengubah periode retensi data Calmara setelah peluncuran. Setelah Forbes menghubungi Lu untuk wawancara, HeHealth juga menghapus daftar “kemitraan akademis elite yang sedang berlangsung” dari situs web mereka, yang mencakup University of Southern California, Harvard’s T.H. Chan School of Public Health, dan University of North Carolina at Chapel Hill. Ketiga sekolah tersebut mengatakan kepada Forbes bahwa mereka tidak memiliki kemitraan dengan HeHealth, Calmara, atau Kularathne.
Kularathne bersikeras kepada Forbes bahwa dia, dalam kapasitas CEO HeHealth, memang memiliki kemitraan dengan mereka. Ketika Forbes meminta untuk melihat perjanjiannya dengan universitas-universitas tersebut, Kularathne mengatakan bahwa dia tidak dapat mengajukan, dengan alasan kerahasiaan. “Sayangnya, saya tidak dapat [membagikan] perjanjiannya, yang ada di tangan saya.”
Ketika menyangkut transparansi, beberapa pakar mengatakan bahwa Calmara dan HeHealth masih meninggalkan banyak yang diinginkan. Glenn Cohen dari Harvard Medical School mengatakan bahwa pasien memiliki hak untuk mengetahui apa yang dilakukan dengan gambar yang mereka kirimkan, bagaimana AI dilatih, dan bagaimana akurasinya berbeda antara berbagai kelompok demografis. “Siapa yang telah meninjau algoritma di luar perusahaan dan apa jaminan kehandalan yang dapat mereka tawarkan? Apa rencana perusahaan untuk kasus di mana terjadi kesalahan? Apa tanggung jawabnya, jika ada, yang akan dihadapi perusahaan dalam kasus-kasus tersebut dan apakah mereka berusaha untuk menolak tanggung jawab tersebut?”
Sementara itu, para pendiri Calmara tampaknya menikmati perhatian tersebut. Platform tersebut baru-baru ini diejek di acara Tonight Show, yang mengutip artikel dari Techcrunch. “Senang melihat Calmara dan HeHealth mendapat perhatian pada hari Jumat,” tulis Kularathne di LinkedIn. Para pendiri mengatakan kepada Forbes bahwa mereka akan mengungkapkan pembaruan produk mereka dalam beberapa hari mendatang, namun hingga saat ini belum melakukannya. Lu mengklaim bahwa mereka “sedang berbicara” dengan situs kencan tentang kemitraan yang potensial, tetapi menolak untuk membagikan informasi lebih lanjut. Kularathne mengatakan bahwa ia tidak gentar dari tujuannya menyelamatkan “miliaran nyawa” orang dengan teknologinya. “Saya melihat beberapa orang yang telah menulis begitu banyak artikel tentang saya,” katanya. “Teknologi saya akan lebih baik dari mereka.”