Selama empat tahun terakhir, ilmuwan komputer Trieu Trinh telah sibuk dengan sesuatu yang bisa disebut sebagai permasalahan meta-matematika: bagaimana membangun model kecerdasan buatan yang dapat menyelesaikan masalah geometri dari Olimpiade Matematika Internasional, kompetisi tahunan untuk siswa sekolah menengah paling berbakat dalam matematika di dunia.
Minggu lalu, Dr. Trinh berhasil mempertahankan disertasinya tentang topik ini di Universitas New York; minggu ini, dia menggambarkan hasil dari hasil kerjanya tersebut dalam jurnal Nature. Bernama AlphaGeometry, sistem ini dapat menyelesaikan masalah geometri dari Olimpiade dengan tingkat kesulitan hampir sama dengan peraih medali emas manusia.
Selama mengembangkan proyek ini, Dr. Trinh memperkenalkannya kepada dua ilmuwan peneliti di Google, dan mereka kemudian mendatangkannya sebagai penduduk peneliti dari tahun 2021 hingga 2023. AlphaGeometry bergabung dengan sejumlah sistem kecerdasan buatan Google DeepMind yang terkenal karena mengatasi tantangan besar. Salah satunya adalah AlphaZero, sebuah algoritma deep learning yang berhasil menguasai catur pada tahun 2017. Masalah matematika lebih sulit, karena jumlah kemungkinan jalur menuju solusi kadang-kadang tak terbatas; sedangkan catur selalu berjumlah terbatas.
“Saya terus menemui jalan buntu, mengalami jalan yang salah,” kata Dr. Trinh, penulis utama dan pendorong proyek ini.
Para co-penulis kertas ini adalah pembimbing doktoral Dr. Trinh, He He, di Universitas New York; Yuhuai Wu, yang dikenal sebagai Tony, salah satu pendiri xAI (sebelumnya di Google) yang sudah mulai menjelajahi ide serupa sejak tahun 2019; Thang Luong, peneliti utama, dan Quoc Le, keduanya berasal dari Google DeepMind.
Perjuangan Dr. Trinh membuahkan hasil. “Kami tidak hanya membuat peningkatan secara bertahap,” katanya. “Kami membuat lompatan besar, terobosan besar dalam hal hasil.”
“Hanya saja, jangan membesarkannya,” ujarnya.
Lompatan besar
Dr. Trinh memperkenalkan sistem AlphaGeometry dengan sebuah set uji coba berisi 30 masalah geometri Olimpiade yang diambil dari tahun 2000 hingga 2022. Sistem ini dapat menyelesaikan 25 masalah; secara historis, selama periode yang sama, rata-rata peraih medali emas manusia mampu menyelesaikan 25,9 masalah. Dr. Trinh juga memberikan masalah-masalah tersebut kepada sebuah sistem yang dikembangkan pada tahun 1970-an yang dikenal sebagai penghasil teorema geometri terkuat; sistem tersebut hanya dapat menyelesaikan 10 masalah.
Dalam beberapa tahun terakhir, Google DeepMind telah mengejar beberapa proyek yang menyelidiki penerapan kecerdasan buatan pada matematika. Dan yang lebih luas lagi dalam ranah penelitian ini, masalah matematika Olimpiade telah diadopsi sebagai tolak ukur; OpenAI dan Meta AI telah mencapai beberapa hasil. Sebagai motivasi tambahan, ada I.M.O. Grand Challenge, dan tantangan baru yang diumumkan pada bulan November, yaitu Artificial Intelligence Mathematical Olympiad Prize, dengan hadiah sebesar $5 juta untuk A.I. pertama yang memenangkan medali emas dalam Olimpiade tersebut.
Kertas kerja AlphaGeometry diawali dengan pendapat bahwa pembuktian teorema Olimpiade “merupakan tonggak penting dalam penalaran otomatis tingkat manusia.” Michael Barany, sejarawan matematika dan ilmu pengetahuan di Universitas Edinburgh, mengatakan bahwa dia meragukan apakah itu merupakan sebuah tonggak matematika yang bermakna. “Hal yang diuji oleh I.M.O. sangat berbeda dari apa yang kreativitas matematika terlihat bagi sebagian besar matematikawan,” katanya.
Terence Tao, seorang matematikawan di Universitas California, Los Angeles — dan peraih medali emas Olimpiade termuda sepanjang masa, saat dia berusia 12 tahun — mengatakan bahwa AlphaGeometry merupakan “pekerjaan yang bagus” dan telah mencapai “hasil yang sangat kuat secara mengejutkan.” Menyesuaikan sistem kecerdasan buatan untuk menyelesaikan masalah Olimpiade mungkin tidak akan meningkatkan kemampuan penelitian mendalamnya, katanya, tetapi dalam hal ini, perjalannya bisa terbukti lebih berharga daripada tujuannya.
Menurut Dr. Trinh, penalaran matematika hanyalah satu jenis penalaran, tetapi memiliki keunggulan dalam hal verifikasi yang mudah. “Matematika adalah bahasa kebenaran,” katanya. “Jika Anda ingin membangun kecerdasan buatan, penting untuk membangun kecerdasan buatan yang mencari kebenaran, tepercaya, yang bisa Anda percayai,” terutama untuk “aplikasi yang kritis.”
Bukti konsep
AlphaGeometry adalah sistem “neuro-simbolik”. Sistem ini menggabungkan model bahasa jaringan saraf (baik dalam intuisi buatan, seperti ChatGPT tetapi lebih kecil) dengan mesin simbolik (baik dalam penalaran buatan, seperti kalkulator logika, semacam itu).
Dan sistem ini dibuat khusus untuk geometri. “Geometri Euclidean adalah medan uji coba yang bagus untuk penalaran otomatis, karena merupakan domain yang mandiri dengan aturan tetap,” kata Heather Macbeth, seorang ilmuwan geometri di Universitas Fordham dan ahli dalam penalaran yang diverifikasi komputer. (Sebagai remaja, Dr. Macbeth memenangkan dua medali I.M.O.) AlphaGeometry “seems to constitute good progress,” katanya.
Sistem ini memiliki dua fitur yang sangat baru. Pertama, jaringan saraf dilatih hanya pada data yang dihasilkan secara algoritma — sebanyak 100 juta bukti geometri — tanpa menggunakan contoh manusia. Penggunaan data sintetis yang dibuat dari nol berhasil mengatasi hambatan dalam pembuktian teorema otomatis: kekurangan data pelatihan bukti manusia yang diterjemahkan ke dalam bahasa mesin. “Jujur, pada awalnya saya sempat ragu tentang bagaimana hal ini dapat berhasil,” kata Dr. He.
Kedua, begitu AlphaGeometry dilepaskan untuk menyelesaikan suatu masalah, mesin simbolik mulai menyelesaikannya; jika terjebak, jaringan saraf memberikan saran untuk menambahkan argumen bukti. Loop ini terus berlanjut hingga solusi muncul, atau hingga waktu habis (empat setengah jam). Dalam bahasa matematika, proses penambahan ini disebut “konstruksi tambahan.” Tambah garis, bagi sudut, gambar lingkaran — inilah cara para matematikawan, baik siswa maupun elit, bermain-main dan mencoba memperoleh solusi atas sebuah masalah. Dalam sistem ini, jaringan saraf belajar untuk melakukan konstruksi tambahan, dan dengan cara yang mirip dengan manusia. Dr. Trinh menyamakannya dengan melilitkan karet di sekitar penutup tutup toples yang sulit dibuka untuk membantu tangan mendapat pegangan yang lebih baik.
“Ini adalah bukti konsep yang sangat menarik,” kata Christian Szegedy, salah satu pendiri xAI yang dahulu bekerja di Google. Namun itu “menghadirkan banyak pertanyaan,” katanya, dan tidak “mudah digeneralisasikan ke domain dan bidang matematika lainnya.”
Dr. Trinh mengatakan bahwa dia akan mencoba untuk menggeneralisasikan sistem ini ke seluruh bidang matematika dan di luar bidang matematika. Dia mengatakan bahwa dia ingin mundur dan mempertimbangkan “prinsip dasar yang umum” dari segala jenis penalaran.
Stanislas Dehaene, seorang ilmuwan saraf kognitif di Collège de France yang memiliki minat penelitian dalam pengetahuan geometri dasar, mengatakan bahwa dia terkesan dengan kinerja AlphaGeometry. Namun dia mengamati bahwa “sistem ini tidak ‘melihat’ apa pun tentang masalah-masalah yang dia selesaikan” — hanya mengambil data logis dan numerik tentang gambar. (Gambar-gambar dalam kertas ini adalah untuk keuntungan pembaca manusia.) “Tidak ada persepsi spasial dari lingkaran, garis, dan segitiga yang sistem belajar untuk dimanipulasi,” kata Dr. Dehaene. Para peneliti setuju bahwa komponen visual mungkin berharga; Dr. Luong mengatakan itu bisa ditambahkan, mungkin dalam waktu setahun, menggunakan Gemini milik Google, sebuah sistem “multimodal” yang menyerap baik teks maupun gambar.
Solusi bermakna
Pada awal Desember, Dr. Luong mengunjungi sekolah menengahnya di Kota Ho Chi Minh, Vietnam, dan menunjukkan AlphaGeometry kepada mantan gurunya dan pelatih I.M.O., Le Ba Khanh Trinh. Dr. Lê adalah peraih medali emas teratas di Olimpiade 1979 dan memenangkan hadiah khusus untuk solusi geometrinya yang elegan. Dr. Lê menganalisis salah satu bukti AlphaGeometry dan menemukannya luar biasa namun tidak memuaskan, kata Dr. Luong: “Dia menemukannya mekanis, dan mengatakan bahwa yang terpenting adalah kekurangan jiwa, keindahan sebuah solusi yang dia cari.”
Dr. Trinh sebelumnya meminta Evan Chen, seorang mahasiswa doktoral matematika di M.I.T. — dan seorang pelatih I.M.O. dan peraih medali emas dalam Olimpiade — untuk memeriksa beberapa hasil kerja AlphaGeometry. Hasilnya benar, kata Mr. Chen, dan dia menambahkan bahwa dia tertarik dengan bagaimana sistem ini menemukan solusi.
“Saya ingin tahu bagaimana mesin ini menemukan ini,” katanya. “Tapi, maksud saya, sejujurnya, saya juga ingin tahu bagaimana manusia menemukan solusi, juga.”