
Lokale AI: Deze hardware heb je echt nodig – van mini-pc tot zelfbouw
Welke hardware heeft lokale AI nodig om in het dagelijks leven bruikbaar te zijn? Hiva Pouri van Asus liet me drie systemen zien: van een mini-pc voor 1350 frank tot een zelfbouw met twee professionele grafische kaarten.
Ik typ «Hallo» in het chatvenster en druk op Enter. Dan wacht ik. De ventilator van de laptop gaat harder draaien, het werkgeheugen raakt tot de nok toe gevuld, het systeem reageert nauwelijks nog. Na 52 seconden verschijnt het antwoord: «Hallo, hoe kan ik je vandaag helpen?»
Het lokale AI-model dat hier antwoordt, is het kleinste dat Hiva Pouri van Asus en ik konden vinden. De laptop heeft een recente Core Ultra-processor, maar geen dedicated grafische kaart. Ter vergelijking: het op AI afgestemde zelfbouwsysteem ernaast antwoordt vrijwel direct – en heeft daarbij nog een groter taalmodel geladen.
Lokale AI draait bijna overal – maar of het leuk is, hangt af van de hardware. Hiva laat me zien welke componenten tellen, welke overgewaardeerd worden en wat drie zeer verschillende systemen presteren. Vooropgesteld: bij geen van de drie systemen kun je prestaties verwachten zoals bij de Frontier-modellen. Daarachter zit echter ook vele malen meer rekenkracht. En niet alleen dat: ze lopen qua kunnen ongeveer een jaar voor op de lokale modellen. Toch is lokale AI de moeite waard voor de gebieden die in het eerste deel werden genoemd.
Dit artikel is het tweede deel van een serie. In deel 1 heb ik uitgelegd waarom lokale AI de moeite waard is. Nu gaat het over de hardware. De installatie onder Linux volgt in deel 3.
Drie getallen beslissen – en de processor is er daar geen van
Met deze drie grootheden kun je elk datablad zelf beoordelen en weet je waar je op moet letten. Spoiler: de grafische kaart is cruciaal.
Videogeheugen bepaalt welk model draait
Een taalmodel moet volledig in het geheugen van de grafische eenheid passen, het VRAM. De vuistregel uit deel 1 blijft gelden: een naar 4 bit gecomprimeerd model heeft ongeveer een halve gigabyte per miljard parameters nodig. Een 9B-model beslaat dus ongeveer 5,5 GB, een 70B-model ongeveer 40 GB. De «B» staat voor billion, oftewel miljard in het Engels.
Als het model er niet helemaal in past, verplaatst de software de rest naar het normale werkgeheugen. Dat werkt technisch gezien wel, maar remt de snelheid vele malen af, omdat de CPU deze delen uit het aanzienlijk tragere werkgeheugen moet berekenen.
Bandbreedte bepaalt hoe snel het gaat
De geheugenbandbreedte wordt door de meesten over het hoofd gezien, terwijl die juist het tempo bepaalt. Het geeft aan hoeveel gegevens per seconde er tussen het geheugen en de rekeneenheid stromen. Een model moet voor elk afzonderlijk token zijn parameters doorlezen. Daarom is de bandbreedte de flessenhals. Als token wordt de kleinste informatie-eenheid aangeduid waarin tekst, getallen of symbolen worden opgedeeld, zodat een kunstmatige intelligentie ze kan lezen en berekenen.
Drie bandbreedtewaarden van de in dit artikel getoonde hardware ter vergelijking:
- Mini-pc met 32 GB gesoldeerd geheugen: 153 GB per seconde bandbreedte
- Compacte computer met 128 GB Unified Memory: 273 GB per seconde bandbreedte
- AMD Radeon AI Pro R9700 met 32 GB VRAM: 640 GB per seconde bandbreedte
Een apparaat met veel geheugen kan trager antwoorden dan een met weinig. Het heeft weliswaar ruimte voor het grote model, maar heeft langer nodig om het door te lezen.
Kwantisering bepaalt hoe slim het model is
De kwantisering heb ik in deel 1 vergeleken met een gecomprimeerde foto. Voor de hardwarekeuze betekent dit: hetzelfde model is beschikbaar in meerdere compressieniveaus, en elk niveau kost geheugen.
De berekening van de pure geheugenbehoefte is wiskundig eenvoudig: aantal parameters maal bits per parameter. Voor het laden en uitvoeren komt daar nog eens tot 1,5 GB bij. Een 9B-model beslaat in de Q4-fase ongeveer 5,5 GB, in Q6 al 8 GB, in Q8 ongeveer 10 GB. Hoe minder gecomprimeerd, hoe nauwkeuriger het model antwoordt – en hoe meer ruimte het nodig heeft.
Daar komt de context bij, oftewel hoeveel tekst het model per gesprek onthoudt. Ook die vreet VRAM, en wel hetzelfde. «Hogere context, meer geheugen. Meer bits, meer geheugen. Alles hangt af van het geheugen», vat Hiva het samen. Wie van 128.000 naar 256.000 tokens context gaat, moet afhankelijk van het model en de kaart een stap terug doen in nauwkeurigheid. Hiermee wordt altijd het geheugen van de grafische eenheid bedoeld, niet het werkgeheugen van het systeem.

Bron: Shutterstock / MotionPixxle Studio
Waarom de processor bijna niet uitmaakt
Een antwoord op een prompt ontstaat in twee fasen. Bij de prefill leest het model je invoer in en vult daarbij voor het eerst een tussenopslag, de zogenaamde KV-cache. Bij de decode schrijft het het antwoord token voor token. Zonder de KV-cache zou het model bij elke decode-stap de gehele voorgaande tekst opnieuw moeten berekenen. De cache «onthoudt» het voorbereidende werk uit de prefill-fase en de eerdere decode-stappen. Hierdoor wordt de generatie enorm versneld. Als er gesproken wordt over «tokens per seconde», wordt daarmee praktisch altijd de decode bedoeld. Alle waarden in dit artikel hebben daarop betrekking.
Bij lokale AI doet de GPU het rekenwerk, de CPU is dirigent, gegevensleverancier en vangnet. Hij laadt bijvoorbeeld het model van de SSD of bestuurt de inference-engine. Deze laadt bestanden in het grafische geheugen, splitst je invoer op, stuurt het rekenwerk naar de grafische eenheid en zet het resultaat weer om in leesbare tekst – daarover meer in deel 3. Zodra het model niet meer in het VRAM past, wordt de CPU een mederekenaar. Dat doet hij aanzienlijk trager dan een GPU. De flessenhals is echter niet primair de CPU-rekenkracht, maar de geheugenbandbreedte van het RAM. Zelfs met een oudere processor verlies je hier per prompt hooguit enkele milliseconden aan tijd tot het eerste token.
Er zijn twee uitzonderingen. Bijvoorbeeld bij Macs met Apple Silicon, waar CPU en GPU hetzelfde geheugen delen. Er is geen apart VRAM, niets hoeft heen en weer gekopieerd te worden – en de bandbreedte ligt aanzienlijk hoger dan die van een gewoon desktop-RAM.
De tweede uitzondering zijn MoE-modellen. «Mixture of Experts» betekent: per token rekent slechts een fractie van het model mee. Een 30-miljard-model activeert misschien drie miljard parameters. De expert-lagen verhuizen naar het RAM, attention en gemeenschappelijke delen blijven op de GPU. Hier is de processor plotseling niet meer onbelangrijk, maar de reden waarom een model überhaupt draait.
AI PC, Agentic PC – wat erachter zit
Asus deelt lokale AI-apparaten in twee categorieën in. De indeling helpt bij de oriëntatie, maar is geen standaard.
AI PC duidt op een apparaat dat AI-taken lokaal uitvoert, zonder dedicated grafische kaart. Dat kunnen laptops zijn of mini-pc's, zoals de NUC's in dit artikel. Hun chips nemen ruisonderdrukking in videogesprekken, beeldbewerking of analyses van eigen bestanden voor hun rekening. In de krachtigere uitvoering draaien ook volwaardige taalmodellen. Grote modellen met een lange context redden ze echter niet vanwege de tragere iGPU's.

Bron: Hiva Pouri
Agentic PC duidt op een computer die krachtig genoeg is voor agenten. Dat zijn AI-systemen die een taak in stappen opdelen, tools aanroepen, resultaten controleren en verder werken, in plaats van alleen een vraag te beantwoorden. Daarvoor is een groter model, meer context en navenant meer geheugen en bandbreedte nodig. In dit artikel horen daar twee zeer verschillende apparaten bij: de compacte GX10 met Unified Memory en de zelfbouw met twee professionele grafische kaarten.
Beide zijn marketingtermen, geen technische specificaties. Andere fabrikanten gebruiken dezelfde woorden iets anders of hebben eigen benamingen, zoals «Copilot+ PC» bij Microsoft of «AI Workstation». Een bindende definitie is er niet. Ook garanderen niet al deze termen een minimale prestatie. Microsoft geeft wel minimale eisen aan het systeem. Voor het label «Copilot+ PC» vereist het bedrijf een Neural Processing Unit (NPU) met minimaal 40 TOPS. Daaruit is de werkelijke prestatie echter niet af te lezen.
Vertrouw daarom niet op het etiket, maar op de drie getallen hierboven: hoeveel geheugen heeft de grafische eenheid? Hoe hoog is de bandbreedte? En welke kwantisering kun je je daarmee veroorloven?
De AI PC: een mini-pc voor 1350 frank
Het kleinste systeem is een Asus NUC 16 Pro, een mini-pc ter grootte van een dik boek. Hij is er in twee varianten, die sterker verschillen dan de namen doen vermoeden. Momenteel hebben we alleen de UX-variant in de shop, die sowieso beter geschikt is voor lokale AI.
De U-variant heeft verwisselbaar werkgeheugen en een zwakkere geïntegreerde grafische eenheid. Voor lokale data-analyse met Python en Pandas volstaat hij, voor taalmodellen niet: «De U-variant haalt geen LLM in een redelijk tempo», zegt Hiva. «Zelfs een 9B-model is hier tergend langzaam.» Wie een chat-assistent wil, slaat deze variant over. Een Small Language Model (SLM) zou echter in principe denkbaar zijn.
De UX-variant gebruikt 32 LPDDR5X, dat vast gesoldeerd wordt. Dat staat hogere kloksnelheden toe en daarmee meer bandbreedte: 153 GB per seconde. Hier draait Qwen3.6-35B-A3B in de Q4-fase met 27 tot 30 tokens per seconde. Dat is sneller dan je kunt lezen.
Het addertje onder het gras bij de UX-variant: het geheugen is gesoldeerd. Je koopt vanaf het begin wat je nodig hebt. Upgraden kan niet, en als het geheugen uitvalt, is het apparaat afgeschreven. Bij de U-variant vervang je simpelweg de module. Voor taalmodellen is de UX-variant desondanks de betere keuze.
Typische toepassingen zijn een persoonlijke assistent met toegang tot eigen documenten, het analyseren van tabellen en pdf's, kleinere automatiseringen. Het apparaat bedient een persoon die geduldig is en niet al na een seconde een antwoord verwacht.
Agentic PC I: maximale modelgrootte in compacte behuizing
De Asus GX10 is gebaseerd op Nvidia's DGX-Spark-platform en zet in op Unified Memory. Processor en grafische eenheid delen hetzelfde geheugen, in plaats van gegevens heen en weer te schuiven.
Het apparaat beschikt over 128 GB geheugen. Daarmee draaien modellen die op een 32 GB grafische kaart niet eens opstarten. In de test draaide een RadixArk/Qwen3.8-Flash-Next-NVFP4 met 125 miljard parameters in MoE-constructie. Mogelijk gemaakt door een gecombineerd formaat: de expert-lagen zijn beschikbaar in NVFP4, een 4-bit floating-point formaat. De dense lagen zoals attention liggen in FP8.
Het model haalt ongeveer 55 tokens per seconde zonder thinking en 47 met thinking – bijna twee keer zoveel als de mini-pc. Mogelijk gemaakt door de MoE-constructie: van de 125 miljard parameters rekent per token slechts een klein deel mee, en de GX10 heeft bijna twee keer zoveel bandbreedte als de NUC. Hij biedt dus beide: een model dat de NUC niet eens zou kunnen laden, en meer tempo. De zelfbouw is desondanks aanzienlijk sneller.
Dat is de moeite waard in twee gevallen. Ten eerste als je de kwaliteit van een groot model nodig hebt en daarvoor de topsnelheid van de zelfbouw kunt opofferen. Ten tweede bij gebruik door meerdere gebruikers: meerdere personen die tegelijkertijd op hetzelfde apparaat werken, delen het geheugen – per persoon komt de KV-cache erbij. Met 32 GB gaat dat niet, met 128 GB wel.
Goedkoop is dat niet. Afhankelijk van de SSD-grootte kost de GX10 tussen de 5500 en 8500 frank.
Agentic PC II: de zelfbouw
Het snelste systeem is een zelfgebouwde computer. Hiva heeft hem bijna uitsluitend uit Asus-componenten samengesteld – daarom noemt hij hem PBA, «Powered by Asus».
ASUS MB PROART Z890-CREATOR WIFI (Intel,LGA1851,DDR5,ATX)
LGA 1851, Intel Z890, ATX
Met één grafische kaart kost de configuratie ongeveer 5000 frank, met twee meer dan 7000. Niet bepaald goedkoop, wat ook te wijten is aan de huidige situatie met de AI-boom.
De grafische kaart is het hart
Als grafische kaart dient een AMD Radeon AI Pro R9700 met 32 GB VRAM en 640 GB bandbreedte per seconde. De geheugenbandbreedte ligt op bijna een derde van een RTX 5090, maar kost aanzienlijk minder. Voor lokale taalmodellen volstaat hij.
Daarop draait Qwen3.8 27B in het formaat MXFP4, eveneens een 4-bit floating-point formaat, met 128.000 tokens context. Met beide kaarten: ongeveer 250 tokens per seconde zonder thinking, 180 met thinking, eerste token na 0,03 seconden bij een korte prompt. Mogelijk gemaakt door multi-token-prediction: het model schat meerdere tokens tegelijk en controleert ze in één doorgang.
Een tweede kaart verdubbelt het geheugen naar 64 GB en verhoogt met vLLM ook het tempo, omdat beide kaarten het rekenwerk delen. Ook passen grotere modellen, langere context of een zwakkere compressie met nauwkeurigere antwoorden erin.

Processor: cores voor kloksnelheid
Geïnstalleerd is een Intel Core Ultra 7 270K Plus met 24 cores. Zolang het model volledig in het VRAM past, heeft de processor weinig te doen: hij laadt het model van de SSD, splitst de invoer in tokens en houdt de inference-engine draaiende. Prefill en decode neemt de grafische kaart voor zijn rekening.
Belangrijk wordt de CPU pas als een model niet meer helemaal in het VRAM past en afzonderlijke lagen uitwijken naar het werkgeheugen – of als je met een MoE-model werkt. Dan rekent hij mee, en daarbij tellen aantal cores en kloksnelheid weinig, doorslaggevend is de RAM-bandbreedte. Een CPU van de vorige generatie volstaat daarom ook. Investeer het bespaarde geld liever in snel werkgeheugen.
De processor is grotendeels in ruststand. Je hoeft daarom geen 400 frank in de koeling te steken. Een solide luchtkoeler volstaat. De hier gekozen koeler is overkill.
Moederbord: niet op de verkeerde plek besparen
Gebruikt wordt een Asus ProArt Z890-Creator WiFi. Voor één grafische kaart zou dat te veel zijn, voor twee is het precies goed. Het bord moet PCI Express in de modus 8+8 lanes ondersteunen, en je moet dat in het BIOS kunnen aanpassen. Ontbreekt deze optie, dan draait de tweede kaart meestal slechts met vier lanes via de chipset.
Let vooral op het primaire M.2-slot. Dat hangt meestal direct aan de PCI-Express-lanes van de processor, en daarvan zijn er afhankelijk van het model slechts maximaal 24. Bij sommige borden deelt een M.2-slot de lanes met het tweede grafische kaart-slot. Welke dat is, staat in de handleiding.
Voeding: liever een maatje beter
Met een R9700 volstaat een voeding met 750 watt. Bij twee zou het 1000 watt moeten zijn, want elke kaart trekt onder belasting tot 300 watt.
Een lokaal AI-systeem draait vaak dag en nacht onder volledige belasting. Belangrijker dan het wattage is daarom de kwaliteit. 80 Plus Gold zou het minimum moeten zijn, in het testsysteem zit een model met platinacertificaat.
Werkgeheugen: de grote misvatting
Toen de eerste lokale modellen opkwamen, hadden grafische kaarten 8 of 16 GB VRAM. Wat er niet in paste, belandde in het systeemgeheugen. Dus kochten mensen 128 GB RAM.
Voor de computer die Hiva opbouwt, is dat onnodig. Het model past volledig in het VRAM, en daarmee is het werkgeheugen alleen nog opslagplaats: het houdt het besturingssysteem, de inference-engine en het model vast terwijl het van de SSD naar de grafische kaart verhuist. De computer draait met 48 GB – daarvan is 15 GB in gebruik. Kloksnelheid en latenties spelen hier praktisch geen rol. In het systeem zit een exotische G.Skill-kit, maar dat is pure liefhebberij: elk in de handel verkrijgbaar geheugen volstaat net zo goed.
Anders wordt het zodra je een model draait dat niet meer helemaal in het VRAM past. Dan rekent de CPU mee, en het tempo hangt direct af van de RAM-bandbreedte. Dat geldt vooral voor grote MoE-modellen, waarbij men de experts gericht naar het werkgeheugen verplaatst. Wie dat van plan is, heeft veel en snel RAM nodig – en is daarmee weer terug bij de 128 GB-kit van destijds, alleen om een betere reden.
Voor het normale geval geldt: 32 tot 48 GB volstaat. Meer VRAM levert meer op dan meer RAM.
Wat er na de aankoop komt
Bijna iedereen ziet de slijtage over het hoofd. Een grafische kaart die dagelijks urenlang voor 90 procent belast wordt, veroudert sneller dan een kaart die 's avonds een paar rondjes «Call of Duty» rendert. Wie vroeger cryptovaluta heeft gemined, weet dat. Een gaming-pc kun je vele jaren gebruiken – als je tevreden bent met de prestaties. Bij continue belasting door een lokale AI moet je eerder rekening houden met twee tot drie jaar voordat er iets begint te haperen.

Bron: Shutterstock / Dikushin Dmitry
Daar komt het lopende onderhoud bij: drivers, updates, nieuwe modellen testen, instellingen bijwerken. Dat is niet anders dan bij elke andere pc.
Welk systeem voor wie?
Heb je al een gaming-pc met dedicated grafische kaart? Begin dan daarmee. Vanaf 12 GB VRAM draait een 9B-model. Twee uur lokale AI, daarna weer gamen. Dat gaat probleemloos.
Wil je een voor AI zelfstandig, zuinig apparaat? Dan adviseer ik de mini-pc in de UX-variant voor ongeveer 1350 frank.
Heb je zeer grote modellen nodig of wil je meerdere personen bedienen? Kies dan voor een compacte computer met Unified Memory en 128 GB, afhankelijk van de SSD tussen de 5500 en 8500 frank.
Wil je maximale snelheid en bouw je zelf? Kies dan voor een of twee professionele grafische kaarten, neem een solide moederbord, minimaal 48 GB RAM en een goede voeding. Dat kost dan ongeveer 5000 frank met één kaart, meer dan 7000 met twee.
Heb je een Mac met Apple Silicon? Die profiteert van het Unified Memory en van MLX, een door Apple voor de eigen chips geoptimaliseerd framework. Dat draait alleen op Apple-hardware, maar wel verrassend vlot.
Zo gaat het verder in de serie
De hardware staat, nu ontbreekt alleen de software nog. In het volgende deel installeer ik een lokale AI onder Linux: besturingssysteem, drivers, inference-engine en het passende model.
Wie liever bij Windows blijft, komt in deel 4 aan de beurt. Daar laat ik de gemakkelijke weg via LM Studio op een RTX-Spark-apparaat zien.
Technologie en maatschappij fascineren me. Beide combineren en vanuit verschillende perspectieven observeren is mijn passie.
Interessante feiten uit de wereld van producten, een kijkje achter de schermen van fabrikanten en portretten van interessante mensen.
Alles tonen





















