Sejumlah pihak di dalam OpenAI sedang mengungkapkan apa yang mereka katakan sebagai budaya tidak bertanggung jawab dan rahasia di perusahaan kecerdasan buatan San Francisco tersebut, yang sedang berlomba-lomba untuk membangun sistem A.I. yang paling kuat yang pernah diciptakan.
Kelompok tersebut, yang terdiri dari sembilan karyawan OpenAI saat ini dan mantan karyawan, telah berkumpul dalam beberapa hari terakhir di sekitar kekhawatiran bersama bahwa perusahaan tidak melakukan cukup untuk mencegah sistem A.I.-nya menjadi berbahaya.
Para anggota mengatakan bahwa OpenAI, yang awalnya didirikan sebagai laboratorium penelitian nirlaba dan meledak ke permukaan publik dengan rilis ChatGPT pada tahun 2022, menempatkan prioritas pada keuntungan dan pertumbuhan saat mencoba membangun kecerdasan buatan umum, atau A.G.I., istilah industri untuk program komputer yang mampu melakukan apa saja yang dilakukan manusia.
Mereka juga mengklaim bahwa OpenAI telah menggunakan taktik keras untuk mencegah para pekerja mengemukakan kekhawatiran mereka tentang teknologi, termasuk perjanjian non-disparagement yang membatasi karyawan yang keluar untuk menandatangani.
“OpenAI sangat bersemangat untuk membangun A.G.I., dan mereka dengan gegabahnya berlomba-lomba untuk menjadi yang pertama,” kata Daniel Kokotajlo, mantan peneliti di divisi tata kelola OpenAI dan salah satu pengorganisir kelompok tersebut.
Kelompok tersebut mengeluarkan surat terbuka pada hari Selasa yang menyerukan kepada perusahaan A.I. terkemuka, termasuk OpenAI, untuk menjalankan lebih banyak transparansi dan perlindungan bagi para pengungkap informasi.
Anggota lainnya termasuk William Saunders, seorang insinyur penelitian yang meninggalkan OpenAI pada bulan Februari, dan tiga karyawan mantan OpenAI lainnya: Carroll Wainwright, Jacob Hilton, dan Daniel Ziegler. Beberapa karyawan OpenAI saat ini mendukung surat tersebut secara anonim karena mereka takut akan balasan dari perusahaan, kata Mr. Kokotajlo. Satu karyawan dan satu mantan karyawan dari Google DeepMind, laboratorium A.I. pusat Google, juga menandatangani.
Jurubicara OpenAI, Lindsey Held, mengatakan dalam sebuah pernyataan: “Kami bangga dengan catatan kinerja kami dalam menyediakan sistem A.I. paling mampu dan aman dan percaya pada pendekatan ilmiah kami untuk mengatasi risiko. Kami setuju bahwa debat yang ketat penting mengingat signifikansi teknologi ini, dan kami akan terus terlibat dengan pemerintah, masyarakat sipil, dan komunitas lain di seluruh dunia.”
Seorang juru bicara Google menolak untuk berkomentar.
Kampanye ini datang pada saat yang sulit bagi OpenAI. Perusahaan tersebut masih pulih dari upaya kudeta tahun lalu, saat anggota dewan perusahaan memilih untuk memecat Sam Altman, chief executive, karena kekhawatiran akan keterbukaannya. Mr. Altman kembali beberapa hari kemudian, dan dewan diubah dengan anggota baru.
Perusahaan ini juga menghadapi pertempuran hukum dengan pencipta konten yang telah menuduhnya mencuri karya berhak cipta untuk melatih modelnya. (The New York Times menuntut OpenAI dan mitranya, Microsoft, atas pelanggaran hak cipta tahun lalu.) Dan peluncuran asisten suara yang sangat realistis baru-baru ini tercemar oleh perselisihan publik dengan aktris Hollywood Scarlett Johansson, yang mengklaim bahwa OpenAI telah meniru suaranya tanpa izin.
Tetapi tidak ada yang melekat seperti tuduhan bahwa OpenAI telah terlalu ceroboh tentang keselamatan.
Bulan lalu, dua peneliti A.I. senior — Ilya Sutskever dan Jan Leike — meninggalkan OpenAI dalam situasi yang buruk. Dr. Sutskever, yang telah duduk di dewan OpenAI dan memberikan suara untuk memecat Mr. Altman, telah memberikan peringatan tentang risiko potensial dari sistem A.I. yang kuat. Kepergiannya dilihat oleh beberapa karyawan yang peduli dengan keselamatan sebagai sebuah kemunduran.
Demikian pula dengan kepergian Dr. Leike, yang bersama-sama dengan Dr. Sutskever memimpin tim “superalignment” OpenAI, yang fokusnya adalah mengelola risiko model A.I. yang kuat. Dalam serangkaian posting publik yang mengumumkan kepergiannya, Dr. Leike mengatakan bahwa ia percaya bahwa “budaya dan proses keselamatan telah menjadi hal kedua setelah produk-produk yang bersinar.”
Baik Dr. Sutskever maupun Dr. Leike tidak menandatangani surat terbuka yang ditulis oleh mantan karyawan. Tetapi kepergian mereka membangkitkan semangat karyawan OpenAI lainnya untuk bersuara.
“Ketika saya bergabung dengan OpenAI, saya tidak menandatangani sikap ‘Mari kita keluarkan hal-hal ke dunia dan lihat apa yang terjadi dan perbaikilah setelahnya,'” kata Mr. Saunders.
Beberapa mantan karyawan memiliki hubungan dengan altruisme efektif, gerakan yang terinspirasi utilitarian yang telah menjadi khawatir dalam beberapa tahun terakhir tentang mencegah ancaman eksistensial dari A.I. Kritikus telah menuduh gerakan ini mempromosikan skenario hari kiamat tentang teknologi, seperti gagasan bahwa sebuah sistem A.I. yang tak terkendali bisa mengambil alih dan memusnahkan umat manusia.
Mr. Kokotajlo, 31 tahun, bergabung dengan OpenAI pada tahun 2022 sebagai peneliti tata kelola dan diminta untuk meramalkan kemajuan A.I. Ia tidak, untuk mengatakannya dengan ringan, optimis.
Di pekerjaannya sebelumnya di sebuah organisasi keselamatan A.I., ia memperkirakan bahwa A.G.I. mungkin akan tiba pada tahun 2050. Tetapi setelah melihat seberapa cepat A.I. berkembang, ia mempersingkat jangka waktunya. Sekarang ia percaya ada kemungkinan 50 persen bahwa A.G.I. akan tiba pada tahun 2027 — dalam waktu tiga tahun.
Ia juga percaya bahwa probabilitas bahwa A.I. canggih akan merusak atau menyebabkan kerusakan yang sangat besar pada umat manusia — statistik kelam yang sering disingkat menjadi “p(doom)” dalam lingkaran A.I. — adalah 70 persen.
Di OpenAI, Mr. Kokotajlo melihat bahwa meskipun perusahaan memiliki protokol keselamatan — termasuk upaya bersama dengan Microsoft yang dikenal sebagai “deployment safety board,” yang seharusnya meninjau model-model baru untuk risiko-risiko besar sebelum dirilis secara publik — mereka jarang terlihat melambatkan apapun.
Sebagai contoh, katanya, pada tahun 2022 Microsoft mulai secara diam-diam menguji versi baru mesin pencari Bing-nya di India yang beberapa karyawan OpenAI percaya mengandung versi GPT-4 yang pada saat itu belum dirilis, model bahasa besar milik OpenAI. Mr. Kokotajlo mengatakan bahwa ia diberitahu bahwa Microsoft tidak mendapatkan persetujuan dewan keselamatan sebelum menguji model baru tersebut, dan setelah dewan mengetahui tentang uji coba tersebut — melalui serangkaian laporan bahwa Bing berperilaku aneh terhadap pengguna — tidak dilakukan apa pun untuk menghentikan Microsoft agar lebih luas merilisnya.
Juru bicara Microsoft, Frank Shaw, membantah klaim tersebut. Ia mengatakan bahwa uji coba di India tidak menggunakan GPT-4 atau model OpenAI apapun. Pertama kalinya Microsoft merilis teknologi berdasarkan GPT-4 adalah pada awal 2023, kata Shaw, dan itu telah direview dan disetujui oleh pendahulu dewan keselamatan.
Akhirnya, Mr. Kokotajlo mengatakan, ia menjadi sangat khawatir sehingga, tahun lalu, ia memberi tahu Mr. Altman bahwa perusahaan seharusnya “berpihak pada keselamatan” dan menghabiskan lebih banyak waktu dan sumber daya untuk menjaga risiko-risiko A.I. daripada maju untuk meningkatkan model-modelnya. Ia mengatakan bahwa Mr. Altman mengaku setuju dengannya, tetapi bahwa tidak banyak yang berubah.
Pada bulan April, ia mengundurkan diri. Dalam sebuah email kepada timnya, ia mengatakan bahwa ia meninggalkan perusahaan karena ia “kehilangan keyakinan bahwa OpenAI akan bertindak dengan bertanggung jawab” saat sistem-sistemnya mendekati tingkat kecerdasan manusia.
“Dunia belum siap, dan kami belum siap,” tulis Mr. Kokotajlo. “Dan saya khawatir kami terburu-buru maju terlepas dari itu semua dan merasionalkan tindakan kami.”
OpenAI mengatakan minggu lalu bahwa mereka telah memulai pelatihan model A.I. unggulan baru, dan bahwa mereka sedang membentuk sebuah komite keselamatan dan keamanan baru untuk mengeksplorasi risiko yang terkait dengan model baru dan teknologi masa depan lainnya.
Saat ia meninggalkan, Mr. Kokotajlo menolak untuk menandatangani dokumen standar OpenAI untuk karyawan yang keluar, yang termasuk klausul non-disparagement ketat yang melarang mereka mengatakan hal-hal negatif tentang perusahaan, atau risiko kehilangan opsi saham mereka.
Banyak pekerja bisa kehilangan jutaan dolar jika mereka enggan untuk menandatangani. Saham yang sudah dimiliki oleh Mr. Kokotajlo bernilai sekitar $1,7 juta, katanya, yang merupakan sebagian besar kekayaannya, dan ia bersedia untuk mengorbankan semuanya.
(Suatu kehebohan kecil pecah bulan lalu setelah Vox melaporkan mengenai perjanjian-perjanjian ini. Sebagai tanggapannya, OpenAI mengklaim bahwa mereka tidak pernah mencabut opsi saham yang sudah dimiliki dari mantan karyawan, dan tidak akan melakukannya. Mr. Altman mengatakan bahwa ia “sungguh malu” tidak tahu tentang perjanjian-perjanjian tersebut, dan perusahaan mengatakan akan menghapus klausul non-disparagement dari dokumen standar mereka dan melepaskan mantan karyawan dari perjanjiannya.)
Dalam surat terbuka mereka, Mr. Kokotajlo dan mantan karyawan OpenAI lainnya menyerukan akhir penggunaan perjanjian-perjanjian non-disparagement dan non-disclosure di OpenAI dan perusahaan A.I. lainnya.
“Perjanjian kerahasiaan yang luas menghalangi kami untuk mengemukakan kekhawatiran kami, kecuali kepada perusahaan-perusahaan yang mungkin gagal menangani masalah-masalah ini,” tulis mereka.
Mereka juga menyerukan kepada perusahaan A.I. untuk “mendukung budaya kritik terbuka” dan membuat proses pelaporan bagi karyawan untuk mengemukakan kekhawatiran terkait keselamatan secara anonim.
Mereka telah mempertahankan seorang pengacara pro bono, Lawrence Lessig, cendekiawan dan aktivis hukum terkemuka. Mr. Lessig juga memberikan nasihat kepada Frances Haugen, mantan karyawan Facebook yang menjadi pengungkap informasi dan menuduh perusahaan tersebut menempatkan keuntungan di atas keselamatan.
Dalam sebuah wawancara, Mr. Lessig mengatakan bahwa sementara perlindungan pengungkap informasi tradisional biasanya berlaku untuk laporan aktivitas ilegal, penting bagi karyawan perusahaan A.I. untuk dapat membicarakan risiko dan bahaya potensial secara bebas, mengingat pentingnya teknologi tersebut.
“Karyawan adalah garis pertahanan penting pada keselamatan, dan jika mereka tidak dapat berbicara secara bebas tanpa hukuman, saluran tersebut akan ditutup,” katanya.
Ms. Held, juru bicara OpenAI, mengatakan bahwa perusahaan tersebut memiliki “saluran bagi karyawan untuk mengemukakan kekhawatiran mereka,” termasuk hotline integritas anonim.
Mr. Kokotajlo dan kelompoknya skeptis bahwa regulasi diri saja akan cukup mempersiapkan dunia dengan sistem A.I. yang lebih kuat. Oleh karena itu, mereka meminta kepada para pembuat kebijakan untuk mengatur industri tersebut juga.
“Harus ada jenis struktur pemerintahan yang dapat dipertanggungjawabkan secara demokratis, transparan yang bertanggung jawab atas proses ini,” kata Mr. Kokotajlo. “Daripada hanya beberapa perusahaan swasta yang berbeda yang berlomba-lomba satu sama lain, dan menjaga semuanya kerahasiaan.”