Mixture of Experts: Saatnya Robot Belajar Spesialisasi, Akal Majikan Jangan Sampai Keteteran!

Dulu, dunia AI dihebohkan dengan jurus “lebih banyak data + lebih banyak parameter = performa lebih baik”. Ibaratnya, punya asisten rumah tangga (ART) semakin banyak, kerjaan makin beres. Tapi tunggu, kalau ART-nya cuma tahu cara menyapu dan mengepel, padahal yang dibutuhkan adalah ahli masak dan montir, ya percuma juga, kan? Di sinilah konsep Mixture of Experts (MoEs) masuk panggung, mengubah cara robot berpikir dan bekerja. Kini, bukan cuma soal banyak-banyakan otak, tapi juga kecerdasan untuk tahu kapan harus menggunakan otak yang mana. Para majikan AI wajib paham, atau nanti robot-robot ini malah bikin kepala pusing sendiri.

Model MoE ini sebetulnya jenius. Bayangkan Anda punya tim ahli, masing-masing jago di bidangnya sendiri. Daripada satu ART serbabisa yang akhirnya kewalahan, lebih baik punya tim spesialis yang bekerja sesuai kebutuhan. Dalam dunia Transformers, MoEs mengganti lapisan feed-forward padat dengan serangkaian “pakar” (experts) yang lebih spesifik. Ini bukan pakar dalam artian “ahli matematika” atau “ahli kode”, melainkan sub-jaringan yang dilatih untuk tugas tertentu. Untuk setiap bagian informasi (token), ada semacam “router” yang memilih beberapa pakar paling relevan untuk memprosesnya.

Kuncinya ada di sini: kapasitas model tergantung pada total parameter, tapi kecepatan inferensi tergantung pada parameter aktif. Ini seperti punya gudang ilmu yang sangat luas, tapi saat dibutuhkan, Anda hanya membuka buku yang relevan, bukan semua buku sekaligus. Contoh nyata? Model gpt-oss-20b punya 21 miliar parameter, tapi hanya mengaktifkan sekitar 3,6 miliar parameter untuk setiap token. Hasilnya? Kecepatan luar biasa, setara dengan model yang jauh lebih kecil, namun dengan kualitas dari model raksasa. Ini membuktikan, robot memang bisa kerja cepat, asalkan majikannya tahu cara mengaturnya.

Keunggulan MoEs tidak berhenti di situ. Pertama, efisiensi komputasi yang lebih baik. Dengan anggaran pelatihan yang sama, MoEs seringkali mengungguli model “padat” tradisional. Artinya, robot bisa belajar lebih cepat dan lebih hemat energi. Kedua, paralelisasi yang natural. Karena setiap token bisa memanggil pakar yang berbeda, pekerjaan bisa dibagi-bagi ke berbagai perangkat keras secara paralel. Ini sangat penting untuk model raksasa yang tidak mungkin muat di satu GPU. Ketiga, adopsi industri yang cepat. Dari Qwen 3.5, MiniMax M2, GLM-5, hingga Kimi K2.5, semua ramai-ramai mengadopsi MoEs. Bahkan, ada rumor bahwa ChatGPT juga menggunakan arsitektur serupa. Memang, kalau robot sudah mulai jago, majikan mana yang tidak ingin memanfaatkannya?

Namun, di balik semua kecanggihan itu, ada pekerjaan rumah yang tidak kalah besar. Alat-alat AI yang ada, termasuk cara memuat model, penempatan perangkat, kuantisasi, dan eksekusi backend, sebagian besar dirancang untuk model “padat”. MoEs, dengan sifatnya yang “jarang”, menantang asumsi lama ini. Untuk itu, tim di balik library Transformers telah merancang ulang beberapa bagian penting agar MoEs bisa menjadi warga kelas satu di ekosistem AI.

Salah satu inovasi penting adalah Weight Loading Refactor. Model MoE yang tersimpan di checkpoint biasanya memiliki pakar-pakar yang terserialisasi secara independen. Namun, saat dijalankan, GPU membutuhkan bobot pakar-pakar ini dalam satu tensor yang berdekatan agar bisa dieksekusi secara efisien. Bayangkan Anda punya 256 buku resep terpisah, tapi chef Anda butuh semua resep itu digabungkan jadi satu buku tebal agar bisa memasak cepat. Di sinilah WeightConverter bekerja, mengubah tata letak dari checkpoint menjadi format yang optimal untuk dijalankan. Hasilnya? Waktu muat model bisa dipangkas drastis! Percuma punya robot pintar kalau butuh berjam-jam cuma untuk “nyalain” otaknya, kan? Ini adalah bukti nyata bahwa perkembangan library seperti Transformers.js v4 juga terus berinovasi untuk kecepatan.

Selain itu, ada juga Expert Backend yang memungkinkan model untuk memilih arsitektur eksekusi yang paling efisien saat memproses token melalui pakar-pakar. Ini seperti memiliki beberapa jalur cepat di jalan raya; AI bisa memilih jalur mana yang paling kosong dan cepat untuk dilalui. Ditambah lagi, ada konsep Expert Parallelism yang memungkinkan model MoE raksasa, dengan ratusan miliar parameter, untuk dibagi-bagi ke berbagai perangkat keras. Setiap perangkat hanya memuat sebagian kecil pakar, sehingga tetap bisa bekerja efisien tanpa harus punya GPU sebesar lemari es.

Bahkan untuk melatih MoEs, yang dikenal sangat kompleks dan haus sumber daya, kini ada solusi yang lebih cepat berkat kolaborasi dengan Unsloth. Mereka berhasil mempercepat pelatihan MoE hingga 12 kali lipat, mengurangi konsumsi VRAM lebih dari 35%, dan memungkinkan konteks yang 6 kali lebih panjang. Ini membuktikan, di tangan majikan yang cerdas, robot paling “rewel” sekalipun bisa jadi pekerja teladan.

‘Baca juga artikel menarik lainnya di kategori Update Algoritma.’

Perkembangan MoEs ini menunjukkan bahwa masa depan AI bukan hanya tentang membuat model sebesar mungkin, tetapi juga seberapa efisien dan cerdas model tersebut dalam mengelola “otaknya”. Sebagai majikan AI, tugas kita adalah memahami arsitektur di baliknya agar bisa memaksimalkan potensi robot-robot ini. Jangan sampai kita cuma jadi penonton pasif saat robot makin pintar, sementara kita sendiri tidak mengasah kemampuan untuk mengendalikannya. Untuk menguasai seluk-beluk kendali AI agar Anda tetap menjadi majikan yang berdaulat, bukan babu teknologi, Anda bisa mulai dengan Belajar AI Master.

Kecanggihan robot ini juga mengingatkan kita pada upaya pembangunan infrastruktur AI global. Seperti yang pernah disampaikan oleh Bos Nvidia, pembangunan infrastruktur AI terbesar sepanjang sejarah akan menciptakan jutaan pekerjaan—asalkan kita siap menjadi majikan yang visioner, bukan sekadar babu mesin.

Penutup (Punchline)

Pada akhirnya, teknologi secanggih apapun, dari MoEs yang hemat energi sampai robot yang bisa ngoding sendiri, hanyalah tumpukan kode dan silikon mati tanpa sentuhan akal manusia. Kaulah majikan yang punya akal, yang menekan tombol, yang memberi perintah, dan yang bertanggung jawab atas hasilnya. Kalau tidak, bisa-bisa nanti robot ini malah sibuk bikin meme tentang kegagalanmu.

Oh, dan jangan lupa, kucing peliharaanmu di rumah itu jauh lebih pintar dari AI manapun dalam hal memanipulasi emosi. Coba saja suruh dia bersih-bersih kamar, pasti langsung pura-pura tidur.

Sumber Berita: Artikel ini dirangkum dari sumber asli di “Hugging Face Blog”.

Gambar oleh: Hugging Face Archive