Startup Miami Klaim Pecahkan ‘Bottleneck’ LLM: Robot Jadi Lebih Hemat Listrik, Dompetmu Aman!

Bayangkan punya asisten rumah tangga yang super cerdas, bisa menghafal seluruh ensiklopedia, tapi kerjanya lelet dan biaya listriknya bikin tagihan bulanan tembus langit. Begitulah kira-kira gambaran sebagian besar Large Language Models (LLM) saat ini. Mereka pintar, tapi boros dan lambat. Nah, ada startup dari Miami bernama Subquadratic yang muncul dengan klaim berani: mereka sudah menemukan solusi untuk masalah ini. Para majikan digital, bersiaplah, karena efisiensi AI mungkin akan segera naik kelas, dan dompet Anda pun tidak akan menangis bombay!

Subquadratic dengan bangga memperkenalkan model terbarunya, SubQ, yang diklaim mampu mengatasi “bottleneck” matematika yang telah menghantui pengembangan LLM selama hampir satu dekade. Mereka mengatakan bahwa SubQ tidak hanya lebih cepat dan lebih murah, tetapi juga mengonsumsi energi jauh lebih sedikit dibandingkan model-model raksasa lainnya di pasaran. Lebih hebatnya lagi, SubQ sanggup memproses teks hingga 12 kali lebih banyak sekaligus, membuka jalan bagi tugas-tugas berat seperti analisis ratusan dokumen atau seluruh basis kode.

Tentu saja, klaim semacam ini di dunia AI seringkali disambut dengan alis terangkat. Wajar saja, karena banyak janji manis AI yang berakhir pahit. Seperti kata Dan McAteer, seorang insinyur AI, respons umum adalah: “SubQ ini bisa jadi terobosan terbesar sejak Transformer… atau cuma AI Theranos.” Kita semua tahu bagaimana nasib Theranos. Namun, kali ini Subquadratic membawa “bukti” dalam bentuk evaluasi independen dari firma pihak ketiga, Appen. Jeanine Sinanan-Singh, direktur penelitian AI generatif Appen, bahkan menyebut hasilnya “mengejutkan” dan “pengubah permainan.”

Lalu, apa rahasia di balik semua ini? Inti dari masalah LLM yang boros terletak pada mekanisme “dense attention” di dalam arsitektur Transformer. Bayangkan setiap kata dalam sebuah dokumen harus “berkenalan” dan “berinteraksi” dengan setiap kata lainnya. Jika dokumennya 10.000 kata, itu berarti hampir 50 juta perkalian! Jumlah komputasi ini meningkat secara kuadrat, alias “quadratic expansion.” Mirip seperti Anda ingin membuat acara reuni keluarga; kalau cuma lima orang, gampang aturnya. Tapi kalau 10 orang, interaksinya sudah lain. Kalau 20 orang? Nah, itu baru pusing. Untuk memahami lebih jauh bagaimana perkembangan LLM mempengaruhi biaya dan performa, Anda mungkin tertarik membaca Review Mendalam GPT-5: Apakah Ini Akhir Dari Era AI Boros?.

SubQ diklaim meninggalkan “dense attention” dan beralih ke “sparse attention”. Konsepnya sederhana: tidak semua hubungan antar kata itu penting. Jadi, kenapa harus membuang-buang energi untuk memprosesnya? SubQ memilih hanya beberapa angka yang relevan untuk dikalikan, mengurangi beban komputasi secara drastis. Ini bukan ide baru; banyak peneliti sudah mencoba, tapi belum ada yang berhasil membuatnya bekerja secara kompetitif seperti model “dense attention” yang ada. Menurut Alex Whedon, CTO Subquadratic, “rahasia bumbu” mereka adalah kemampuan SubQ untuk memilih kata-kata yang relevan secara dinamis dan real-time, bukan berdasarkan pola tetap yang kaku.

Dalam pengujian kecepatan, Appen menemukan SubQ 56 kali lebih cepat dari teknik “sparse attention” sebelumnya, FlashAttention. Untuk tugas coding, SubQ mencetak 89.7% di LiveCodeBench, setara dengan model-model coding papan atas. Dan untuk urusan biaya? Justin Dangel, CEO Subquadratic, mengklaim menjalankan tes RULER 128 Nvidia dengan Anthropic’s LLM Opus 4.6 menghabiskan $2600, sementara dengan SubQ hanya $8! Efisiensi semacam ini tentu akan sangat memengaruhi persaingan di dunia AI, di mana biaya komputasi adalah salah satu faktor penentu. Ini mengingatkan kita pada perang chip AI yang terus memanas, karena pada akhirnya, “otak” di balik robot juga butuh dioptimalkan.

Ini terdengar seperti dongeng, bukan? Apalagi dengan kemampuan memproses “context window” hingga 12 juta token, jauh di atas satu juta token model top saat ini. Dalam sebuah demo, SubQ menganalisis 400 dokumen dalam hitungan detik, sementara Perplexity—mesin pencari bertenaga LLM populer—bahkan tidak mampu memuat semua dokumen.

Appen juga menjalankan tes “needle-in-a-haystack”, yang menilai seberapa baik model dapat mengambil informasi spesifik yang terkubur dalam sejumlah besar data. Dalam laporannya, Appen menyatakan bahwa SubQ mencetak 98% dengan context window enam juta dan 12 juta token, “mempertahankan pengambilan konteks panjang yang hampir sempurna pada skala yang jarang diuji oleh model lain.”

Too good to be true?

Meskipun demikian, ada beberapa keraguan yang masih menggantung. Subquadratic mengakui bahwa mereka menggunakan “weights” (nilai-nilai yang menentukan perilaku model) dari versi model open-source Cina, Qwen, untuk “mem-bootstrapping” SubQ, bukan melatihnya dari awal. Ini adalah praktik umum, tapi agak bertentangan dengan klaim “penemuan kembali cara kerja LLM”. Selain itu, model ini belum tersedia secara luas, jadi validasi dari komunitas global masih harus ditunggu.

Baca juga artikel menarik lainnya di kategori Update Algoritma.

Para Majikan AI yang ingin mengendalikan robot-robot Anda dengan lebih efisien, ini adalah kabar baik! Efisiensi berarti biaya operasional lebih rendah, dan itu berarti lebih banyak cuan di kantong Anda. Untuk memastikan Anda tidak ketinggalan kereta, kuasai ilmu AI Anda. Jangan sampai Anda hanya menjadi penonton di era robot yang makin hemat energi ini. Belajar mengoptimalkan AI akan membuat Anda tetap menjadi majikan sejati. Kami punya AI Master yang bisa membantu Anda mengendalikan AI, memastikan Anda tetap menjadi Majikan, bukan babu teknologi yang terperangkap dalam biaya komputasi yang selangit. Dan jika Anda tertarik untuk Bikin Konten Pro Mandiri, efisiensi LLM ini akan sangat membantu menghemat anggaran Anda.

Pada akhirnya, terlepas dari seberapa cepat atau hemat energi sebuah AI, ia tetaplah alat yang membutuhkan akal dan arahan dari majikannya. Tanpa sentuhan jari manusia yang menekan tombol “Enter”, semua kode canggih itu hanyalah tumpukan data mati. Jadi, jangan terlena dengan janji efisiensi, teruslah asah akal Anda untuk menjadi majikan yang tak tergantikan.

Oh ya, ngomong-ngomong, sudahkah Anda mencuci piring hari ini? Robot belum bisa menggantikan sensasi membersihkan remah-remah di wastafel.

Sumber Berita: Artikel ini dirangkum dari sumber asli di “MIT Technology Review”

Gambar oleh: Stephanie Arnett/MIT Technology Review | Adobe Stock