← バックナンバーAI SCIENCE NVIDIA 2026.09.24
NVIDIA、BioNeMo向けMoE trainingの高速化recipeを公開 NVIDIAはbiological foundation models向けに、Transformer Engine、GroupedLinear、MXFP8、fused GroupedMLPを使うBioNeMo MoE recipeを公開しました。8基のB200でHugging Face baseline比最大2.21倍のthroughputを示しています。
生命科学モデルの拡張は、モデル規模だけでなくexpert computation、低精度training、GPU世代、recipe再現性で差が出ます。研究組織は精度検証と計算効率を同時に見ながら、MoE採用の運用条件を詰める必要があります。
01 BioNeMoのMoE trainingを実装例まで公開 NVIDIAは2026年9月24日、biological foundation models向けにMixture-of-Experts trainingを効率化するBioNeMo recipeを公開しました。大規模なdense transformerでは、各tokenが全layerを通るため、能力を広げるほどtrainingとinferenceの計算量が増えます。MoEは多数のexpertを持ちながら、tokenごとに一部だけを動かす設計です。NVIDIAはこの方式が生命科学モデルのparameter数やsequence lengthの拡大に有効だと説明しています。
02 GroupedLinearとMXFP8でGPU利用率を上げる 記事では、Hugging Faceのbaseline実装がexpertごとにPython loopで処理を起動するため、kernel launchが細かく分かれる点を課題に挙げています。NVIDIA Transformer EngineのGroupedLinearは、expertごとの行列計算をまとめて送ることでlaunchとschedulingのoverheadを抑えます。さらにMXFP8は値を8bitで扱い、32要素ごとにscaleを持つblock scalingで数値範囲を保ちます。Blackwell GPUではMXFP8 GEMMがhardware accelerationを受けます。
03 fused kernelが中間データの移動を減らす 低精度trainingではmaster weightsを16bitで保持しつつ、計算時にquantizationとdequantizationを行うため、素朴な実装では変換処理も負担になります。NVIDIAはTransformer Engine Sequential APIでGroupedLinear、ScaledSwiGLU、routing weight scalingを連結し、ForwardGroupedMLP_CuTeGEMMSwiGLU_MXFP8へ置き換える流れを示しました。これによりactivation、routing probability、expert feed-forwardの処理をまとめ、中間結果のmaterializationを避ける設計になります。
04 研究基盤の判断軸は再現性と計算効率へ広がる NVIDIAは8基のNVIDIA B200 Tensor Core GPUsを使ったMixtral-8x7B training benchmarkで、BioNeMo recipeがHugging Face baseline比最大2.21倍のthroughputを出したとしています。実務上は、MoE化だけで成果が決まるわけではありません。GPU世代、expert parallelism、precision、checkpoint運用、精度劣化の検証を合わせて見る必要があります。創薬やゲノミクスの研究組織では、モデル容量を増やす判断と、計算資源をどこまで確保するかの設計がより密接になります。
公式発表を読む