Tak Perlu Borong GPU Baru: Startup Kog Buktikan Kartu Grafis Lama Masih Bisa Diperas 30 Kali Lebih Cepat

Banyak korporasi teknologi terjebak ilusi bahwa solusi dari lambatnya respons kecerdasan buatan hanyalah membeli ribuan keping silikon baru berharga selangit. Ketika antrean komputasi menumpuk, reaksi spontan para pengembang adalah merogoh kocek lebih dalam demi memborong kartu grafis teranyar. Padahal, sebagai majikan yang bijak mengelola sumber daya, masalahnya kerap bukan terletak pada kurangnya tenaga mesin, melainkan cara kerja perangkat lunak yang masih boros dan malas.

Startup asal Prancis bernama Kog hadir dengan pendekatan yang membongkar kemalasan sistem tersebut. Alih-alih merancang chip baru dari nol seperti yang dilakukan Cerebras, Kog memilih memeras potensi tersembunyi dari GPU standar data center yang sudah terpasang di rak-rak server. Mereka membuktikan bahwa kartu grafis konvensional belum mencapai batas performa aslinya jika disentuh dengan optimasi perangkat lunak tingkat rendah.

Langkah ini menjadi pengingat bagi para penikmat teknologi: jangan terburu-buru menyalahkan perkakas sebelum memeriksa efisiensi instruksi kerja yang diberikan. Mesin tercanggih sekalipun hanyalah tumpukan logam bisu yang kinerjanya sepenuhnya ditentukan oleh kelihaian logika manusia yang memerintahnya.

Analisis Mendalam

Kog mendadak menjadi buah bibir di komunitas teknologi global setelah merilis pratinjau teknis yang mendemonstrasikan kecepatan inference fantastis hingga 3.000 tokens per second (TPS) per permintaan tunggal. Uji coba tersebut dilakukan langsung pada perangkat keras standar industri seperti AMD MI300X dan NVIDIA H200, membantah anggapan umum bahwa arsitektur GPU standar kurang cocok menangani alur kerja pemrosesan agentic yang intensif.

Pendiri sekaligus CEO Kog, Gaël Delalleau, membawa perspektif unik ke ranah komputasi kecerdasan buatan. Berbekal latar belakang fisika benda padat dari École Polytechnique dan pengalaman bertahun-tahun sebagai peretas white hat serta finalis kompetisi DEF CON CTF, Delalleau memperlakukan kartu grafis layaknya sistem yang harus dibongkar hingga ke tingkat bahasa rakitan (assembly). Pendekatan rekayasa balik ini memungkinkan Kog menulis ulang cara data mengalir di dalam bandwidth memori GPU dengan efisiensi maksimal melalui mesin buatannya, Kog Inference Engine (KIE).

Daya tarik komersial dari efisiensi ini sangat nyata. Claude Code milik Anthropic, misalnya, kerap membutuhkan waktu lama saat mengeksekusi tugas rekayasa perangkat lunak yang rumit hingga pengguna bersedia membayar tarif khusus untuk mode cepat. Kog membidik celah latensi ini dengan menawarkan mesin inferensi yang jauh lebih gesit, yang langsung menarik lebih dari 200 prospek bisnis potensial segera setelah uji coba perdana mereka dirilis ke publik.

Baca juga artikel menarik lainnya di kategori Hardware & Chip.

Batasan Sistem

Kendati performa 3.000 TPS terdengar memesona di atas kertas, para majikan teknologi wajib membaca catatan kakinya secara teliti. Angka fantastis tersebut baru terbukti pada Laneformer 2B, sebuah model bahasa berukuran mini dengan 2 miliar parameter. Menggiring model mungil untuk berlari kencang tentu jauh lebih mudah daripada menertibkan model raksasa puluhan miliar parameter yang rakus memori dan daya hitung.

Tantangan terbesar lainnya terletak pada skalabilitas metode Kog itu sendiri. Karena optimasi dilakukan secara manual hingga ke level biner dan register perangkat keras, tim teknik Kog membutuhkan waktu berminggu-minggu hingga berbulan-bulan hanya untuk menyetel satu tipe GPU spesifik. Dengan tim inti yang hanya beranggotakan belasan insinyur, kecepatan mereka memperluas dukungan untuk aneka ragam chip di pasar akan menjadi pembatas alami yang nyata.

Di samping itu, seberapa cepat pun GPU menyelesaikan inferensi token, mesin tetap tidak memiliki pemahaman konteks maupun inisiatif kreatif. Kecepatan 30 kali lipat tidak akan menghasilkan kode program atau keputusan bisnis yang benar apabila arahan awal dari pengguna manusia tidak memiliki struktur logika yang matang. Mesin yang berlari kencang tanpa nalar hanya akan menghasilkan kekeliruan dalam tempo yang lebih singkat.

Dampak Masa Depan

Langkah Kog berpotensi memicu gelombang baru dalam kompetisi efisiensi komputasi global. Di Eropa, startup ini mendapatkan dorongan strategis melalui dukungan dari penyedia cloud Scaleway, bank investasi pemerintah Bpifrance, serta inisiatif French Tech 2030, yang berambisi membangun kemandirian infrastruktur komputasi benua biru di tengah dominasi raksasa Silicon Valley.

Jika Kog sukses membuktikan peningkatan performa 10 kali lipat pada model bahasa skala besar pada rilis berikutnya dan mengamankan pendanaan Seri A, peta persaingan akan bergeser. Industri tidak lagi melulu bergantung pada siklus belanja kartu grafis baru setiap tahun, melainkan pada keunggulan perangkat lunak pengoptimal yang mampu memperpanjang masa pakai aset server lama perusahaan.

Pada akhirnya, teknologi komputasi tercanggih di dunia hanyalah perpanjangan tangan dari kecerdasan manusia. Sekencang apa pun kartu grafis memompa token per detik, ia tetaplah pelayan sirkuit yang menunggu instruksi bermakna dari sang majikan sebelum mulai bekerja.

Kecerdasan buatan mungkin bisa memproses ribuan kata per detik di server, tetapi sampai sekarang ia masih belum bisa membedakan bumbu dapur mana yang lengkuas dan mana yang jahe saat disuruh memasak.

Artikel ini dirangkum dari sumber asli di TechCrunch.
Gambar oleh: Kog via TechCrunch