Multi-GPU voor lokale LLM’s: grote taalmodellen draaien op meerdere videokaarten

Wie thuis serieus met open-weight taalmodellen werkt, botst op één muur: VRAM. Een 70B-model in 16-bit vraagt circa 140 GB, terwijl de dikste consumentenkaart stopt bij 32 GB. De uitweg: meerdere GPU’s in één machine en het model erover verdelen. Deze gids legt uit hoe VRAM-bundeling werkt, welke software en hardwarecombinaties in 2026 logisch zijn, en wanneer lokaal goedkoper is dan de cloud.

Waarom VRAM de enige bottleneck is die ertoe doet

Bij LLM-inference is rekenkracht zelden het probleem; geheugen is het. Vuistregel: circa 2 GB VRAM per miljard parameters bij 16-bit. Een 70B-model vraagt dus ~140 GB, een 32B-model ~64 GB. Met Q4-quantization krimpt dat sterk: 70B past dan in 42–48 GB. Daarom is twee keer 24 GB zo’n magische grens. Tel wel de KV cache mee: die groeit met contextlengte en gebruikersaantal, en 8-bit cache-quantization halveert de overhead grofweg.

Zo werkt VRAM-bundeling: tensor- versus pipeline-parallelisme

Bij tensor-parallelisme wordt elke gewichtsmatrix in stukken gehakt en over de kaarten verdeeld, die via NCCL deelresultaten uitwisselen — de GPU’s gedragen zich als één apparaat met gebundeld VRAM. Bij pipeline-parallelisme krijgt elke kaart een blok lagen. Tensor-parallelisme benut kaarten gelijkmatiger; pipeline is eenvoudiger en vergt minder synchronisatie per token.

Bundelen is primair haalbaarheid, geen snelheid: een model dat niet op één kaart past, wordt mogelijk — niet per se sneller. PCIe-synchronisatie per token voegt latency toe. Twee RTX 3090’s halen met 70B in Q4_K_M 10–14 tokens/s: prima interactief, maar langzamer dan één 80GB-prokaart. Gebruik bovendien een gematchte set van één leverancier: per model geldt één compute-backend (CUDA óf ROCm), dus gemengde NVIDIA/AMD-kaarten bundelen niet.

De software: vLLM, Ollama en text-generation-webui

vLLM: de server voor serieuze doorvoer

vLLM heeft multi-GPU als kernfunctie: met --tensor-parallel-size 2 verdeel je een model over twee kaarten en de OpenAI-compatibele server is direct aanspreekbaar. PagedAttention beheert de KV cache als virtueel geheugen zonder fragmentatie en continuous batching voegt verzoeken per token samen — twee tot vier keer meer doorvoer. De prijs: Linux, Python en handmatige afstelling van --gpu-memory-utilization en --max-model-len. Ideaal voor teams en applicaties.

Ollama: de makkelijkste instap

Ollama detecteert meerdere NVIDIA-GPU’s automatisch en spreidt lagen zonder configuratie over de kaarten uit; met OLLAMA_GPU_LAYERS of num_gpu stuur je bij. Geen native tensor-parallelisme zoals vLLM, maar recente versies verbeterden multi-GPU-gedrag en KV-cache-beheer, inclusief 8-bit cache-quantization. De weg van de minste weerstand op Windows, macOS en Linux.

text-generation-webui: de grafische alles-in-één

De klassieke text-generation-webui combineert chat, character cards en modelbeheer in één browservenster, met multi-GPU via --tensor-split (bijvoorbeeld 0.6,0.4), --gpu-split en --enable-tp. Per loader — llama.cpp, Transformers of ExLlamaV3 — kies je hoe het model laadt: flexibel voor GGUF-quantizations, minder geschikt voor hoge multi-user-doorvoer.

Hardware-opties: van spotgoedkope P40 tot tweedehands 24 GB

Tweedehands is in 2026 de natuurlijke habitat van de multi-GPU-bouwer. Twee RTX 3090’s van 24 GB zijn de populairste combinatie: samen 48 GB VRAM, volwassen CUDA-ondersteuning, circa $760–1.000 voor het paar. Daarmee draai je Llama 3 70B in Q4_K_M interactief. Reken op een 1.200–1.500W-voeding en een kast met serieuze airflow: het zijn kaarten van 350 watt.

Het budgetpad: twee Tesla P40’s van 24 GB, eveneens 48 GB samen, voor $180–260 het paar. Keerzijde: oude Pascal-architectuur en 3–5 tokens/s bij 70B in IQ3_XS — werkbaar voor batchtaken, marginaal voor live chat. Het zijn serverkaarten zonder eigen koeling, dus reken op extra airflow in een desktopkast.

Nieuw kopen? Twee RTX 4090’s leveren 48 GB met veel hogere snelheid (alles via PCIe, geen NVLink); één RTX 5090 met 32 GB vermijdt multi-GPU-complexiteit maar is krap voor 70B in Q4 met ruime context. Voor vier slots zijn single-slot blowerkaarten uit de RTX A-serie interessant: vier keer 24 GB is 96 GB gebundeld VRAM voor 100B+-modellen.

NVLink: de stand van zaken in 2026

NVLink op consumentenkaarten is een aflopende zaak: alleen de RTX 3090 (Ti) ondersteunt een bridge. Bij de RTX 4090 schrapte NVIDIA de connector — CEO Jensen Huang wees op PCIe Gen 5 als alternatief — en de RTX 50-serie heeft hem evenmin. Datacenterkaarten zoals de A100 behouden NVLink wel: twee 80GB-kaarten leveren 160 GB met 600 GB/s bandbreedte en draaien 70B zelfs in FP16 aan 20–28 tokens/s. Voor consumentenbouwstenen geldt: multi-GPU loopt via PCIe, en dat volstaat voor interactieve chat.

Vergelijking: multi-GPU-configuraties

Configuratie	VRAM	Workload	Snelheid	Prijs (2e hands)
2× RTX 3090 24 GB	48 GB	70B Q4_K_M	10–14 tok/s	$760–1.000
2× Tesla P40 24 GB	48 GB	70B IQ3_XS	3–5 tok/s	$180–260
2× RTX 4090 24 GB	48 GB	70B Q4	Snel	$4.300+
1× RTX 5090 32 GB	32 GB	70B Q4	Zeer snel	$2.000+
2× A100 80 GB NVLink	160 GB	70B FP16	20–28 tok/s	$5.000–8.000

Kosten per token: lokaal tegenover de cloud

Afgeschreven over drie jaar kost self-hosted inference circa $0,028 per miljoen tokens — alleen hardware en stroom — tegen $0,40–8,00 per miljoen bij cloud-API’s. Bij hoog volume is lokaal 60–80% goedkoper. Maar een 24/7-server kost dagelijks geld, ook ongebruikt; een 350W-GPU kost grofweg 4–6 dollarcent per uur aan elektriciteit.

Het omslagpunt ligt rond 0,5–2 miljoen tokens per dag: daaronder wint de cloud-API, daarboven kantelt het decisief naar lokaal. Wie de hardware al bezit, is vanaf de eerste token goedkoper uit. En de waarde van lokaal is breder dan prijs: prompts verlaten je netwerk nooit, latency is lager en gebruik is onbeperkt.

Praktijk: voeding, moederbord en koeling

Kies een moederbord met twee mechanische x16-sloten (elektrisch x8/x8 volstaat), een voeding van minimaal 1.200 watt en een kast waarin kaarten niet elkaars hete lucht inademen. Installeer Ubuntu LTS met NVIDIA-driver en CUDA, check beide kaarten met nvidia-smi en leg 2 TB NVMe klaar — één 70B-bestand in Q4 is al 40 GB.

Oordeel: praktisch koopadvies

Multi-GPU is in 2026 een volwassen route — mits gekozen om de juiste reden: het lost een geheugenprobleem op, het koopt geen snelheid. Twee kaarten maken een 70B-model mogelijk dat op één kaart niet past, tegen acceptabele snelheden.

Advies voor de meeste thuislabs: koop twee tweedehands RTX 3090’s. Samen 48 GB VRAM, een bewezen CUDA-ecosysteem en met afstand de beste prijs per gigabyte. Start met Ollama voor configuratieloos chatten; stap over op vLLM met --tensor-parallel-size 2 zodra je een server voor een team of app nodig hebt. De P40-route loont alleen onder een strikt budget van circa $300.

Verwacht geen snelheidsverdubbeling — PCIe-latency eet winst op — en doe de volumerekensom eerlijk: onder een half miljoen tokens per dag blijft de cloud goedkoper. Pas bij structureel hoog verbruik, privacy-eisen of onbeperkt experimenteren verdient de investering zich terug.