NVIDIA Merana? ‘Dokter AI’ MedQA Lahir dari Kandang AMD Tanpa Sentuhan CUDA!
AI klinis kini hadir tanpa harus bergantung pada ‘penguasa’ GPU hijau! Pelajari bagaimana MedQA, model bahasa medis yang luar biasa, beroperasi sepenuhnya dengan ‘otak’ AMD ROCm, tanpa campur tangan CUDA NVIDIA.
NVIDIA Merana? ‘Dokter AI’ MedQA Lahir dari Kandang AMD Tanpa Sentuhan CUDA!
Dunia AI kesehatan bukanlah arena main-main. Ketika sebuah sistem kecerdasan buatan salah diagnosis, itu bukan sekadar salah ketik, melainkan bisa jadi ancaman nyata. Bayangkan jika ‘dokter AI’ Anda dengan percaya diri menjawab pertanyaan medis pilihan ganda dengan jawaban yang salah.
Mengerikan, bukan?
Untungnya, kini ada secercah harapan dari ‘kandang’ yang tak terduga. Sebuah proyek bernama MedQA hadir bukan hanya sebagai asisten medis cerdas, tapi juga sebagai penantang dominasi lama di dunia hardware AI. Jika selama ini Anda berpikir semua inovasi AI canggih harus lewat NVIDIA dan CUDA-nya, bersiaplah untuk menelan pil pahit. MedQA membuktikan bahwa ‘Majikan AI’ sejati bisa kok, mendidik robot-robotnya tanpa perlu jadi babu satu merek saja.
MedQA adalah model AI klinis yang dilatih dengan teknik LoRA, dan seluruh prosesnya berjalan di hardware AMD menggunakan ROCm. Tanpa satu pun ketergantungan CUDA! Model ini tidak hanya bisa menjawab pertanyaan medis pilihan ganda, tetapi juga memberikan penjelasan klinis yang masuk akal. Ini menunjukkan bahwa akal manusia tetaplah penguasa tertinggi, dan AI hanyalah alat yang bisa kita bentuk sesuai kebutuhan, bahkan dengan perangkat keras yang berbeda.
Mengapa AMD ROCm Jadi Kuda Hitam yang Menggoda?
Jujur saja, selama ini NVIDIA dengan CUDA-nya memang merajalela. Namun, kemunculan AMD Instinct MI300X adalah sebuah ‘tamparan halus’ bagi dominasi tersebut. Bayangkan, satu perangkat ini punya memori HBM3 sebesar 192 GB! Bagi Anda para ‘Majikan AI’ yang gemar melatih model bahasa besar (LLM), VRAM adalah raja. Kapasitas VRAM inilah yang menentukan seberapa besar batch size, seberapa panjang urutan data yang bisa diproses, bahkan apakah Anda perlu melakukan kuantisasi yang ribet atau tidak.
Dengan 192 GB di tangan, proyek MedQA ini bisa melatih model Qwen3-1.7B dengan LoRA dalam format fp16 penuh, tanpa perlu trik-trik kuantisasi 4-bit atau 8-bit yang seringkali bikin pusing kepala. Ini bukan cuma pamer otot hardware, tapi juga membuktikan bahwa ekosistem HuggingFace (Transformers, PEFT, TRL, Accelerate) bisa bekerja mulus di ROCm. Cukup setel tiga variabel lingkungan, dan kode pelatihan yang biasanya jalan di CUDA, kini nurut di AMD. Tanpa perubahan kode yang berarti! Robot memang pintar, tapi yang menentukan arah tetap Majikan yang punya akal.
Bahkan, saat kami menemukan kendala umum seperti ‘bitsandbytes unsupported’ (yang biasanya mutlak dibutuhkan di NVIDIA untuk menghemat memori), di MI300X masalah ini hilang dengan sendirinya. Kenapa? Karena VRAM-nya sudah melimpah! Tidak perlu lagi kompromi dengan kualitas model demi menjejalkan ke memori yang terbatas.
MedMCQA: Dataset yang Bikin AI Melek Kedokteran
Untuk membentuk ‘dokter AI’ yang cerdas, tentu butuh ‘guru’ yang andal. Di sinilah peran dataset MedMCQA. Dataset ini berisi koleksi pertanyaan pilihan ganda dari ujian masuk kedokteran India, gaya USMLE. Setiap sampel data punya:
- Pertanyaan klinis
- Empat pilihan jawaban (A–D)
- Indeks jawaban yang benar
- Penjelasan opsional dalam bentuk teks bebas
Untuk proyek ini, hanya 2.000 sampel pelatihan yang digunakan. Sengaja sedikit, untuk menunjukkan bahwa pelatihan yang bermakna bisa dicapai dengan cepat. Faktanya, pelatihan hanya memakan waktu sekitar 5 menit di MI300X. Jadi, bukan robotnya yang malas belajar, tapi Majikannya yang tahu cara mengajari dengan efisien.
Qwen3-1.7B: Otak AI yang Cukup Santai Tapi Penuh Akal
Model dasar yang digunakan adalah Qwen/Qwen3-1.7B dari Alibaba. Dengan 1,7 miliar parameter, model ini cukup ringkas untuk dilatih tanpa harus menguras dompet dan waktu, tapi juga cukup cerdas untuk menghasilkan penalaran klinis yang koheren. Ini membuktikan, tidak selalu yang paling besar itu yang terbaik. Terkadang, yang ‘pas-pasan’ tapi terlatih dengan benar justru lebih efisien.
Meskipun AI ini cerdas, ingatlah bahwa akal manusia tetap yang terdepan. Model ini hanya mampu menjelaskan jika kita, para Majikan, memberikan instruksi yang presisi. Untuk meningkatkan kemampuan Anda dalam memerintah AI agar tidak halusinasi, ada baiknya Anda juga menguasai ilmu merangkai kata. Jurus Jitu Bikin ChatGPT Mikir Keras: 9 Prompt Gambar Viral yang Buktikan AI Butuh Akal Majikan! mungkin bisa menjadi referensi awal untuk Anda.
LoRA: Jurus Jitu Melatih Robot Tanpa Bikin Pusing
Daripada melatih semua 1,5 miliar parameter model, kami menggunakan teknik LoRA (Low-Rank Adaptation) dari pustaka PEFT. LoRA ini ibaratnya seperti Majikan yang cerdas, ia tidak menyuruh semua babunya bekerja keras, tapi hanya melatih beberapa asisten inti saja. Dengan begitu, penggunaan memori tetap rendah dan pelatihan berjalan cepat. Hanya sekitar ~2,2 juta dari 1,5 miliar parameter model yang dilatih. Ini mirip dengan seorang manajer proyek yang tahu persis siapa yang harus diberdayakan.
Baca juga artikel menarik lainnya di kategori Sidang Bot.
Tantangan dan Solusi: Ketika Robot Mulai ‘Ngambek’
Setiap proyek AI pasti punya drama dan cerita perjuangan, tak terkecuali dengan AMD ROCm. Berikut adalah beberapa ‘kebodohan’ yang kami temui dan cara ‘mengakali’ si robot:
| Tantangan (Robot Ngambek) | Akar Masalah (Robot Kurang Piknik) | Solusi (Akal Majikan Beraksi) |
|---|---|---|
| NaN loss | Ketidakstabilan presisi campuran | Ganti dari bfloat16 ke fp16 |
| GPU tidak terdeteksi | Variabel lingkungan ROCm hilang | Setel ROCR_VISIBLE_DEVICES, HIP_VISIBLE_DEVICES, HSA_OVERRIDE_GFX_VERSION |
| bitsandbytes tidak didukung | Tidak ada build bitsandbytes untuk ROCm | Hapus kuantisasi sama sekali – MI300X punya VRAM lebih dari cukup |
| Output inferensi kacau | Konfigurasi padding tokenizer salah | Setel pad_token = eos_token dan perbaiki padding_side |
| Error evaluasi Trainer | Ketidaksesuaian versi Transformers | Pasang versi transformers>=4.40.0 |
Isu bitsandbytes ini patut diberi perhatian lebih. Di hardware NVIDIA, kuantisasi 4-bit seringkali jadi kewajiban demi muat di memori. Tapi di MI300X dengan 192 GB HBM3, hal ini sama sekali tidak perlu. Ini adalah keuntungan hardware yang nyata: pelatihan lebih bersih, tanpa artefak kuantisasi yang seringkali bikin AI terlihat ‘kurang piknik’. Ini menunjukkan bahwa kekuatan hardware bisa menyingkirkan masalah teknis yang seringkali menghambat kita, para Majikan.
Kini, persaingan di dunia chip AI semakin sengit. Jika dulu NVIDIA meraja, kini para pesaing mulai menunjukkan giginya. Artikel tentang Microsoft Maia 200: Chip Terbaru yang Mengguncang Tahta NVIDIA bisa memberikan gambaran lebih jelas bagaimana ‘perang’ ini memanas, dan mengapa Anda sebagai Majikan harus terus mengikuti perkembangannya.
Hasilnya? Robot Ini Lulus Ujian!
| Metrik | Nilai |
|---|---|
| Parameter yang bisa dilatih | ~2.2 juta (0.15% dari total) |
| Waktu pelatihan di MI300X | ~5 menit |
| Ukuran dataset yang digunakan | 2.000 sampel |
| Akurasi MedMCQA baseline | ~45% |
| Kerangka kerja | PyTorch + ROCm 6.1 |
Dengan waktu pelatihan yang singkat dan hanya sebagian kecil parameter yang dilatih, MedQA menunjukkan potensi besar. Tentu saja, ini baru permulaan. Masih banyak ‘sekolah’ yang harus dilewati si robot agar bisa benar-benar jadi ‘dokter AI’ yang andal. Dan di sinilah peran Anda sebagai Majikan sangat krusial. Untuk menguasai segala aspek AI dan memastikan Anda tetap memegang kendali, pertimbangkan untuk mengambil kelas AI Master agar Anda tidak menjadi babu dari teknologi yang Anda ciptakan sendiri.
Apa Selanjutnya? Robot Terus Belajar, Majikan Tetap Mengarahkan
Proyek ini membuktikan bahwa alur kerja AI di AMD ROCm berfungsi dengan baik. Langkah selanjutnya adalah memperbesar skala dan memperkuatnya:
- Dataset lebih besar — Latih dengan seluruh korpus MedMCQA (~180 ribu pertanyaan) dan tambahkan PubMedQA.
- Penilaian kepercayaan diri — Tambahkan estimasi kepercayaan diri yang terkalibrasi di samping jawaban.
- Integrasi RAG — Berikan jawaban berdasarkan pencarian literatur medis secara real-time.
- Alat evaluasi — Penilaian akurasi yang lebih ketat di luar split pelatihan.
Kesimpulan: Ingat, Kaulah Majikan yang Punya Akal!
MedQA menunjukkan bahwa membangun AI medis yang kompeten dan mampu menjelaskan di hardware AMD open-source tidak hanya mungkin, tapi juga relatif mudah. Kompatibilitas ekosistem HuggingFace dengan ROCm sangat baik. Kapasitas memori MI300X yang melimpah menyingkirkan seluruh kategori masalah teknis. Dan LoRA membuat fine-tuning model 1,7 miliar parameter bisa selesai dalam 5 menit. Sebuah kemenangan bagi akal sehat, bahwa inovasi tidak harus terbelenggu oleh monopoli teknologi.
Jika Anda sedang berjuang membangun AI di AMD ROCm dan menemui jalan buntu, daftar perbaikan di atas mungkin bisa menyelamatkan waktu Anda berjam-jam. Dan jika Anda sedang membangun AI medis, penekanan pada penjelasan dibanding akurasi murni patut Anda perhatikan. Sebab AI hanyalah alat, kaulah Majikan yang punya akal.
Omong-omong, tadi pagi saya lihat kucing tetangga pakai kacamata, mungkin dia lagi nyari mouse yang hilang di Metaverse.
Artikel ini dirangkum dari sumber asli di “Hugging Face Blog”.
Gambar oleh: Lablab.ai AMD Developer Hackathon via Hugging Face