vLLM bietet Unterstützung für Moonshot AIs Kimi K3.1 Pro ab Tag 0

4. November 2026Quelle: vLLM

vLLM hat ab Tag 0 Unterstützung für Moonshot AIs Kimi K3.1 Pro hinzugefügt, ein multimodales Mixture-of-Experts-Modell mit offenen Gewichten, 2.8T Parametern und einem Kontext von 1M Tokens. Der Serving-Stack unterstützt das Modell auf NVIDIA- und AMD-GPUs, Google-TPUs und Alibaba-T-Head-PPUs.

Das Wichtigste in Kürze

vLLM unterstützt Kimi K3.1 Pro ab Tag 0 auf NVIDIA- und AMD-GPUs, Google-TPUs und Alibaba-T-Head-PPUs.
Das Modell ergänzt seine 24 Schichten mit vollständiger Attention um Sparse Attention mit einer Auswahl der obersten 2.048 Tokens.
vLLM berichtet bei 340K Prompt-Tokens auf 8× GB300 von einer bis zu 1.69× besseren Time-to-First-Token.
Die Veröffentlichung umfasst Zero-Mismatch-RL mit bitidentischen Log-Wahrscheinlichkeiten von vLLM und Megatron.
Kimi K3.1 Pro verfügt über 2.8T Parameter, 104B aktive Parameter und einen Kontext von 1M Tokens.

Sparse Attention senkt Kosten bei langen Kontexten

Kimi K3.1 Pro behält das hybride Design von Kimi K3 mit 69 KDA-Schichten und 24 Schichten mit vollständiger Attention bei, ergänzt jedoch alle 24 Schichten mit vollständiger Attention um einen Distributed-Sparse-Attention-Indexer. Laut vLLM bewertet der Indexer frühere Tokens und wählt die obersten 2.048 aus, bevor MLA Attention auf deren latente Repräsentationen angewendet wird.

Die Änderung soll den Speicherverkehr beim Decoding langer Kontexte reduzieren. vLLM zufolge liest dichtes MLA 576 Byte an FP8-Latentdaten pro Kontext-Token und Schicht, während das Sparse-Design 132 Byte große FP8-Indexschlüssel durchsucht und anschließend nur für 2.048 Tokens die vollständigen latenten Daten liest. Bei langen Kontexten entspricht dies laut dem Unternehmen etwa 23 % der von dichtem MLA pro Schicht gelesenen Bytezahl.

Kimi K3.1 Pro verfügt über insgesamt 2.8T Parameter, davon sind 104B aktiv, sowie über ein Kontextfenster von 1M Tokens. Seine MoE-Architektur mit 896 Experten aktiviert 16 Experten, während die Schichten mit vollständiger Attention 32 Heads mit 128 Dimensionen und FP8-Schlüsseln verwenden.

Gebündeltes Caching und paralleles Serving

vLLM kombiniert das MLA-Latent, die Indexer-Schlüssel und den KDA-Zustand des Modells in einem blockbasierten Cache. Nach Angaben des Unternehmens ermöglicht dieses Layout FlashInfer- und FlashMLA-Sparse-Kernels, den Cache mit FP8- oder NVFP4-Key-Value-Daten sowie optionalen MXFP4-Indexschlüsseln zu verwenden. Außerdem kann disaggregiertes Serving jeden Block mit einem großen RDMA-Lesevorgang übertragen, statt mehrere Lesevorgänge pro Schicht auszuführen.

Auf 8× GB300 erreichte Token-sharded Prefill laut vLLM bei 340K Prompt-Tokens eine 1.69× bessere Time-to-First-Token als Head-sharded Prefill. Der Ansatz des Unternehmens für Context Parallelism beim Decoding verwendet einen exakten Top-k-Merge mit etwa 10× weniger Datenverkehr, wodurch das Attention-Modul bei DCP8 laut vLLM 1.3, 1.5× schneller wird.

Dieselben Tests ergaben über einen zusammengeführten Decoding-Pfad ein 1.2, 1.6× schnelleres Decoding auf 8× GB300 sowie ein 1.9× schnelleres Decoding unter DCP8. Mit NVFP4-Latentdaten und MXFP4-Indexschlüsseln können acht GB300-GPUs laut vLLM 1.7× so viele Tokens wie mit FP8 speichern. DCP8 kann die Kapazität auf etwa 36 vollständige 1M-Token-Kontexte erhöhen, verglichen mit 3 bei TP8 mit FP8.

Unterstützung für agentisches Serving und Reinforcement Learning

vLLM berichtet außerdem Ergebnisse für agentisches Serving mit Kimi K3.1 Pro. Auf NVIDIA GB300 erreichte das Modell am latenzsensitiven Ende bis zu 375.9 Tok/s pro Nutzer und am durchsatzorientierten Ende 37.8K Tok/s insgesamt pro GPU. Auf NVIDIA Rubin lagen die Werte im SemiAnalysis-AgentX-Benchmark bei bis zu 815.6 Tok/s pro Nutzer und 68.7K Tok/s insgesamt pro GPU.

Die Veröffentlichung umfasst eine Unterstützung für Zero-Mismatch-RL ab Tag 0, wie vLLM es beschreibt. Das Unternehmen zufolge erzeugen vLLM und Megatron für das Basismodell und den LoRA-Adapter bitidentische Log-Wahrscheinlichkeiten. Das führt bei einem 100-Schritte-Lauf mit dem vollständigen Modell in jedem Schritt zu einem PPO-KL von exakt 0.

Für Nutzer stellt die Ankündigung Serving-Rezepte für NVIDIA- und AMD-GPUs bereit, darunter Befehle für Tensor-Parallelismus, schnelles Laden von Safetensors, Tool Calling, Reasoning und spekulatives Decoding. Die berichteten Ergebnisse stammen aus Messungen von vLLM und beschreiben Infrastrukturänderungen, die das Unternehmen als Grundlage für einen praktischeren Einsatz von Kimi K3.1 Pro bei langen Kontexten, agentischen Workloads und Reinforcement-Learning-Workloads versteht.