Red Hat AI Rilis DFlash Checkpoints untuk Akselerasi Inferensi Model Nemotron NVIDIA

Red Hat AI mengumumkan peluncuran DFlash speculator checkpoints untuk dua model open source terbesar milik NVIDIA AI, yaitu Nemotron Ultra 550B dan Nemotron Super 120B. Pengumuman ini disampaikan melalui akun X resmi Red Hat AI pada 22 Juli 2026. DFlash adalah teknik speculative decoding yang menggunakan model draft berbasis difusi ringan untuk menghasilkan blok token secara paralel, sementara model verifier memverifikasi semua token yang dihasilkan dalam satu forward pass. Menurut unggahan Red Hat AI, checkpoint ini dilatih menggunakan library Speculators open source dari vLLM Project dan dirilis di bawah lisensi Apache 2.0. Kedua checkpoint telah divalidasi pada GPU NVIDIA B200. Untuk mengaktifkannya di vLLM, pengguna cukup menambahkan satu flag:, spec model RedHatAI/NVIDIA Nemotron 3 Ultra 550B A55B speculator.dflash, spec tokens 7, spec method dflash.

Data dari Red Hat AI menunjukkan bahwa pada tugas matematika dan penalaran, rata rata sekitar 5 dari 7 draft token diterima. Sementara itu, pada tugas kode (HumanEval), rata rata sekitar 3,4 dari 7 draft token diterima. Angka ini mengindikasikan efisiensi DFlash dalam menghasilkan token yang valid tanpa perlu regenerasi berulang. Model Nemotron Ultra 550B merupakan model Mixture of Experts (MoE) hybrid Mamba Transformer dengan 55 miliar parameter aktif dari total 550 miliar parameter. Model ini menggunakan teknik Latent MoE, mencakup MTP Layers, dan dilatih dalam format NVFP4. NVIDIA merilis model ini pada 4 Juni 2026 melalui divisi risetnya. Sementara itu, Nemotron Super 120B memiliki 12 miliar parameter aktif dari total 120 miliar parameter.

Teknik speculative decoding seperti DFlash memungkinkan percepatan inferensi dengan cara menghasilkan beberapa token sekaligus dalam satu langkah, bukan satu per satu. Pendekatan ini mengurangi jumlah forward pass yang diperlukan, sehingga mengurangi latensi dan meningkatkan throughput. Dalam konteks model besar seperti Nemotron Ultra, percepatan ini sangat signifikan untuk aplikasi real time seperti chatbot, asisten AI, atau sistem rekomendasi. Red Hat AI menekankan bahwa kedua checkpoint ini dirancang untuk memudahkan pengembang dan peneliti dalam mengadopsi speculative decoding tanpa perlu melatih model draft dari awal. Dengan lisensi Apache 2.0, pengguna dapat memodifikasi dan mendistribusikan checkpoint ini secara bebas. Hal ini sejalan dengan tren open source di ekosistem AI yang mendorong kolaborasi dan adopsi teknologi terbaru.

NVIDIA AI, melalui akun X resminya, me retweet pengumuman Red Hat AI, menandakan dukungan terhadap inisiatif ini. Kolaborasi antara Red Hat dan NVIDIA dalam menghadirkan DFlash checkpoints menunjukkan sinergi antara penyedia infrastruktur AI dan pengembang model untuk meningkatkan efisiensi inferensi. Dari sisi teknis, DFlash menggunakan model draft berbasis difusi yang ringan untuk menghasilkan blok token secara paralel. Model verifier kemudian memverifikasi semua token yang dihasilkan dalam satu forward pass. Pendekatan ini berbeda dengan speculative decoding tradisional yang biasanya menghasilkan satu token per langkah. Dengan DFlash, jumlah forward pass dapat dikurangi secara drastis, terutama untuk model dengan parameter besar. Validasi pada NVIDIA B200 menunjukkan bahwa checkpoint ini berfungsi optimal pada hardware terbaru NVIDIA. B200 adalah GPU generasi terbaru yang dirancang untuk beban kerja AI dan HPC.

Dengan validasi ini, pengguna dapat yakin bahwa checkpoint akan berjalan dengan performa maksimal pada infrastruktur NVIDIA. Red Hat AI juga menyediakan tautan langsung ke Hugging Face untuk mengunduh kedua checkpoint: Nemotron Ultra 550B dan Nemotron Super 120B. Ini memudahkan pengguna untuk langsung mengintegrasikan checkpoint ke dalam pipeline mereka. vLLM, sebagai framework inferensi yang mendukung DFlash, menyediakan API yang sederhana untuk mengaktifkan speculative decoding. Ke depannya, pengembangan speculative decoding seperti DFlash dapat menjadi standar dalam inferensi model besar. Dengan semakin besarnya model AI, efisiensi inferensi menjadi kunci untuk adopsi luas di industri. Red Hat AI dan NVIDIA terus mendorong batas kemampuan inferensi melalui inovasi terbuka yang dapat diakses oleh komunitas.

Bagi pengembang yang ingin mencoba DFlash, langkah langkahnya cukup sederhana: unduh checkpoint dari Hugging Face, instal vLLM dengan dukungan DFlash, dan jalankan dengan flag yang sesuai. Dokumentasi lebih lanjut tersedia di repositori vLLM dan halaman Hugging Face masing masing checkpoint. Dengan rilis ini, Red Hat AI memperkuat posisinya sebagai penyedia solusi AI open source yang fokus pada performa dan aksesibilitas. Sementara itu, NVIDIA terus memperluas ekosistem model Nemotron dengan dukungan dari mitra seperti Red Hat. Kolaborasi ini diharapkan dapat mempercepat adopsi speculative decoding di kalangan peneliti dan praktisi AI.