Jangan Tertipu Angka Hype: OpenAI Bongkar Borok SWE-Bench Pro, Ternyata 30% Ujian Coding AI Rusak Total!
Sebagai manusia yang dikaruniai akal, kita sering kali terlalu cepat kagum pada angka-angka di atas kertas. Saat mendengar kabar bahwa model kecerdasan buatan (AI) tercanggih berhasil melonjakkan tingkat kelulusan ujian coding dari 23,3% menjadi 80,3% hanya dalam waktu delapan bulan, para pemuja sekte AI langsung bersorak. Mereka mengira era software engineer manusia telah berakhir dan asisten digital kini sudah siap mengambil alih kemudi sepenuhnya.
Namun, mari kita tarik napas dalam-dalam dan kembali ke posisi kita yang sebenarnya: sebagai majikan yang memegang kendali penuh atas alat bernama kecerdasan buatan ini. Kabar terbaru dari laboratorium OpenAI justru menjadi tamparan keras bagi siapa saja yang menelan mentah-mentah klaim kehebatan AI. Melalui audit mendalam yang baru saja dirilis, OpenAI mengungkapkan bahwa salah satu tolok ukur (benchmark) pemrograman paling populer di dunia, SWE-Bench Pro, ternyata dipenuhi oleh kebisingan (noise) alias error sistemik yang merusak validitas hasil ujian tersebut.
Sederhananya, sistem evaluasi yang digunakan untuk menguji kehebatan asisten digital kita ternyata “kurang piknik” dan tidak adil. OpenAI memperkirakan sekitar 30% tugas pemrograman di dalam dataset tersebut rusak secara fundamental. Artinya, kegagalan AI dalam menyelesaikan tugas sering kali bukan karena otaknya yang tumpul, melainkan karena lembar ujiannya sendiri yang cacat sejak dalam pikiran.
Analisis Mendalam
Mari kita bedah apa yang sebenarnya terjadi di balik layar. SWE-Bench Pro awalnya dirancang sebagai peningkatan dari SWE-bench Verified untuk menguji kemampuan AI dalam jangka panjang (longer horizons) dan skenario pemrograman yang lebih realistis. Tugas-tugas ini diambil secara otomatis dari riwayat perubahan fitur di berbagai repositori kode publik dan privat. Aturannya tampak sederhana: model AI harus menulis solusi yang berhasil melewati tes baru tanpa merusak fungsi kode yang sudah ada sebelumnya.
Namun, ketika OpenAI menerapkan pipa analisis data (datapoint analysis pipeline) yang ketat, borok sistem ini mulai terlihat. Filter otomatis mendeteksi 286 tugas yang mencurigakan. Untuk memastikan kualitas analisis ini, OpenAI tidak hanya mengandalkan mesin, melainkan mengerahkan agen penyelidik berbasis Codex yang diawasi langsung oleh para peneliti manusia, serta meluncurkan kampanye anotasi manusia secara paralel.
Dalam kampanye anotasi manusia tersebut, OpenAI mempekerjakan lima insinyur perangkat lunak (software engineer) berpengalaman untuk meninjau setiap tugas secara independen. Hasilnya mengejutkan sekaligus menggelitik: pipa analisis data mendeteksi 27,4% tugas yang rusak (200 tugas), sedangkan peninjauan langsung oleh insinyur manusia mengidentifikasi hingga 34,1% tugas yang rusak (249 tugas). Hal ini membuktikan bahwa insting manusia tetap jauh lebih tajam dalam mengenali ketidakkonsistenan yang gagal ditangkap oleh algoritma penyaring tercanggih sekalipun.
Baca juga artikel menarik lainnya di kategori Update Algoritma.
Batasan Sistem
Masalah pada SWE-Bench Pro ini terbagi menjadi empat kategori kegagalan sistem yang sangat fatal bagi AI yang bertindak sebagai “asisten kaku”:
Pertama, ujian yang terlalu saklek (overly strict tests). Kategori ini memaksa AI untuk menebak detail implementasi yang sangat spesifik, seperti nama variabel privat atau string error literal, yang sama sekali tidak disebutkan dalam instruksi tugas. Jika AI menulis kode yang secara fungsional 100% benar namun menggunakan nama variabel yang berbeda dari selera pembuat tes, AI tersebut akan langsung dianggap gagal. Ini seperti memecat asisten rumah tangga hanya karena dia menaruh sendok menghadap ke kiri, padahal tugasnya hanyalah merapikan meja makan.
Kedua, instruksi setengah matang (underspecified prompts). Dalam kasus ini, instruksi yang diberikan kepada model AI mengabaikan berbagai persyaratan penting yang baru dimunculkan di dalam tes tersembunyi (hidden tests). Sebagai contoh, dalam proyek riil, AI diminta memperbaiki bug pada sistem penyimpanan data, namun tes tersembunyi malah menguji konfigurasi otentikasi sesi HTTP yang sama sekali tidak relevan. AI tidak memiliki kemampuan supranatural untuk membaca pikiran pembuat tes, sehingga mustahil bagi sistem yang kaku ini untuk lulus tanpa informasi yang lengkap.
Ketiga, instruksi yang menyesatkan (misleading prompts). OpenAI menemukan kasus menggelikan seperti pada tugas OpenLibrary-77c16d5, di mana petunjuk visual secara eksplisit memberikan contoh format dengan satu spasi (misalnya "[space]| Chapter 1 | 1"), tetapi tes tersembunyi di balik layar justru menuntut penggunaan dua spasi ("[space][space]| Chapter 1 | 1"). Di sinilah letak batas terbesar AI: ia hanyalah mesin pengikut instruksi tanpa akal sehat untuk memprotes kesalahan input manual. Tanpa akal manusia untuk menjembatani kesenjangan logika kaku ini, AI akan terus-menerus terjebak dalam lingkaran kegagalan yang konyol.
Dampak Masa Depan
Temuan OpenAI ini tidak diragukan lagi akan mengubah lanskap evaluasi teknologi AI secara global. OpenAI kini secara resmi menarik kembali rekomendasi mereka untuk menggunakan SWE-Bench Pro sebagai standar acuan industri. Langkah berani ini mengirimkan pesan yang sangat jelas ke seluruh lembah silikon: kita tidak bisa lagi mempercayai angka persentase kelulusan tinggi yang sering dipamerkan oleh raksasa teknologi untuk memasarkan produk AI mereka.
Ke depan, industri teknologi harus beralih ke pembuatan tolok ukur baru yang dirancang khusus oleh pengembang manusia berpengalaman untuk menguji kapabilitas nyata AI, bukan sekadar memungut kode sisa dari forum diskusi pengembang terbuka yang sering kali berantakan. AI membutuhkan lingkungan pengujian yang adil, dinamis, dan terbebas dari jebakan instruksi kaku yang hanya membuang-buang daya komputasi.
Kesimpulan
Pada akhirnya, kehebohan seputar “AI yang akan menggantikan pemrogram manusia” kembali terbentur pada realitas yang keras. Kasus rusaknya SWE-Bench Pro membuktikan bahwa tanpa pengawasan, kurasi, dan akal manusia yang merancang standar dengan benar, AI tercanggih sekalipun hanyalah sekadar tumpukan kode mati yang kebingungan di depan lembar ujian yang salah cetak. Kitalah majikan yang memiliki akal untuk meluruskan jalannya sistem yang kaku ini.
Artikel ini dirangkum dari sumber asli di “Separating signal from noise in coding evaluations” oleh OpenAI.
Gambar oleh: OpenAI via TechCrunch
Jadi, jika hari ini asisten AI Anda gagal menjalankan perintah sederhana untuk merapikan tabel Excel, jangan langsung menghela napas—bisa jadi lembar instruksi Anda yang memang butuh spasi tambahan agar program yang kurang piknik itu tidak kebingungan.