HBM3e uitgelegd: het gestapelde geheugen achter moderne AI-versnellers

Wat is HBM3e? Gestapeld DRAM naast de GPU

HBM3e staat voor High Bandwidth Memory 3 Extended en is een geheugentechnologie die fundamenteel anders is opgebouwd dan het DDR- of GDDR-geheugen in een gewone pc. In plaats van losse chips op een printplaat worden bij HBM meerdere DRAM-dies verticaal op elkaar gestapeld en met duizenden minuscule verticale verbindingen — zogeheten through-silicon vias (TSV’s) — aan elkaar gekoppeld. Onder de stapel zit een base die, een logische laag die het verkeer tussen de DRAM-lagen en de buitenwereld regelt.

De complete stapel wordt vervolgens naast de GPU-die op een silicon interposer geplaatst, een techniek die bekendstaat als 2.5D-packaging (bijvoorbeeld TSMC’s CoWoS). Omdat geheugen en processor op enkele millimeters van elkaar liggen en via meer dan duizend parallelle verbindingen communiceren, ontstaat een extreem brede interface van 1024 bit. Het resultaat: een enorme bandbreedte bij een relatief bescheiden kloksnelheid, en — cruciaal voor datacenters — een uitstekende bandbreedte per watt.

Van HBM2E naar HBM4: de evolutie in cijfers

De geschiedenis van HBM begon in 2015 met HBM1, maar de generaties die er voor AI toe doen zijn HBM2E, HBM3, HBM3e en de aanstaande HBM4. HBM2E, dat onder meer in Nvidia’s A100 zat, haalde 3,6 Gbps per pin en circa 460 GB/s per stack bij een capaciteit van 16 GB per 8-Hi-stapel. HBM3 verhoogde dat in 2022 naar 6,4 Gbps per pin en 819 GB/s per stack, met 24 GB per stapel — het geheugen achter de H100.

HBM3e, sinds 2024 in massaproductie, is de generatie die de huidige AI-golf draagt. SK Hynix levert varianten tot 8 Gbps per pin, Micron haalt 9,6 Gbps en de Shinebolt-versie van Samsung tikt bijna 10 Gbps aan. Bij een 1024-bit bus levert dat 1,18 tot 1,28 TB/s per stack op, met stapels van 24 GB (8-Hi) tot 36 GB (12-Hi). Nvidia’s Blackwell-versnellers (B200/B300) en AMD’s Instinct MI350 gebruiken HBM3e; een enkele B200 haalt met zijn stacks een totale geheugenbandbreedte van zo’n 8 TB/s.

De opvolger HBM4, gestandaardiseerd door JEDEC in 2025 en bedoeld voor onder meer Nvidia’s Rubin en AMD’s MI400, is de grootste architectuursprong tot nu toe: de interfacebreedte verdubbelt naar 2048 bit. De JEDEC-baseline van 8 Gbps per pin levert circa 2 TB/s per stack op, terwijl fabrikanten in tests al 10 tot 11,7 Gbps halen — goed voor 2,5 tot 3,3 TB/s. Ook nieuw: de base die wordt deels op een geavanceerd logic-proces gemaakt, onder meer bij TSMC, wat de energie-efficiëntie verder verbetert.

Generatie	Snelheid per pin	Busbreedte	Bandbreedte per stack	Max. capaciteit per stack
HBM2E	3,6 Gbps	1024 bit	circa 460 GB/s	16 GB
HBM3	6,4 Gbps	1024 bit	circa 819 GB/s	24 GB
HBM3e	8–9,8 Gbps	1024 bit	circa 1,2 TB/s	36 GB
HBM4	8–11,7 Gbps	2048 bit	circa 2–3,3 TB/s	48–64 GB

Waarom AI-versnellers niet zonder HBM kunnen

De reden dat HBM3e onmisbaar is geworden, heet de memory wall: de rekenkracht van GPU’s is de afgelopen jaren veel sneller gegroeid dan de bandbreedte van conventioneel geheugen. Een modern taalmodel bestaat uit honderden miljarden parameters, en bij elke gegenereerde token moeten die gewichten door de rekenkernen stromen. Daarnaast groeit de zogeheten KV-cache — het werkgeheugen dat de context van een gesprek vasthoudt — mee met de lengte van de conversatie. Zonder voldoende bandbreedte staan de duurste rekenkernen simpelweg te wachten op data.

HBM lost dit op met brute parallelle breedte in plaats van brute kloksnelheid. Waar GDDR-geheugen hoge snelheden per pin nastreeft, zet HBM in op duizenden verbindingen tegelijk bij een gematigde snelheid. Dat levert niet alleen meer bandbreedte op, maar ook een veel betere energie-efficiëntie per overgedragen bit — doorslaggevend in datacenters waar duizenden versnellers samen honderden megawatts verbruiken. Voor trainingsclusters en inference-servers is HBM3e daarmee geen luxe, maar een harde vereiste om de investering in GPU’s terug te verdienen.

Heeft HBM3e betekenis voor jouw consumenten-pc?

Kort antwoord: nee — en dat verandert voorlopig niet. HBM wordt tijdens de productie naast de GPU-die gesoldeerd en is achteraf niet uit te breiden of te vervangen, wat haaks staat op de modulaire opbouw van een desktop-pc. Bovendien is HBM kostbaar om te maken: een HBM-stapel neemt grofweg drie keer zoveel wafer-oppervlak in beslag als een vergelijkbare hoeveelheid DDR5, en die kosten belanden rechtstreeks in de prijs van de versneller.

Consumenten-GPU’s blijven daarom GDDR gebruiken — inmiddels GDDR7, dat met snelheden tot 32 Gbps per pin en PAM3-signalering zelf richting 1,5 TB/s totale bandbreedte gaat op een high-end kaart. AMD experimenteerde in 2015 al eens met HBM op de consumentenmarkt (de Fiji-architectuur in de Radeon R9 Fury X), maar dat bleef een niche: de beperkte capaciteit van 4 GB woog niet op tegen de meerkosten. Ook concepten als unified memory bij Apple lijken oppervlakkig op HBM, maar gebruiken LPDDR-chips — een andere technologie met een ander doel.

Oordeel: praktisch koopadvies

HBM3e is een datacentertechnologie en hoort niet thuis op je boodschappenlijstje voor een gaming- of werk-pc. Laat je door marketing niet verleiden: de aanwezigheid van het label HBM zegt niets over wat een kaart voor jou presteert. Voor gamers blijven de relevante geheugenspecificaties de hoeveelheid VRAM en de geheugenbandbreedte van de kaart als geheel — en bij moderne kaarten is dat GDDR7-terrein.

Bouw je een werkstation voor lokale AI-toepassingen, zoals het draaien van taalmodellen op je eigen machine, dan zijn capaciteit en bandbreedte wel doorslaggevend — alleen bereik je die via consumenten-GPU’s met veel VRAM (24 GB of meer voor de grotere modellen) of via meerdere kaarten. HBM3e zelf koop je alleen als je een complete AI-versneller aanschaft, en dat is een investering voor datacenters, niet voor een bureau. Conclusie: bewonder de techniek, maar baseer je aankoop op VRAM, bandbreedte en prijs per prestatie.