Spændingen mellem klimamål og digital ambition
Mens tech-giganter i stor stil bygger nye datacentre, arbejder forskere stille og roligt på at gøre kunstig intelligens både klogere og mere energieffektiv. Et nyligt gennembrud med såkaldte memristorer og en ny træningsmetode kan potentielt reducere energiregningen for dybe neurale netværk dramatisk.
Derfor sluger ai så meget strøm
Moderne ai-modeller kører typisk på enorme gpu-klynger i energitunge datacentre. Hver forbedring i præcision kræver ekstra lag, flere parametre og dermed langt mere beregningskraft. Særligt træningen af store modeller æder gigantiske mængder elektricitet.
I klassiske computere bevæger data sig hele tiden frem og tilbage mellem hukommelse og processor. Den konstante datatransport er energikrævende og producerer varme. Ai forstærker dette problem, fordi neurale netværk ved hvert trin skal hente og justere millioner til milliarder af vægte.
Nye ai-modeller leverer imponerende resultater, men deres energiforbrug risikerer at bremse både innovation og klimapolitik.
Forskere leder derfor efter nye hardwarekoncepter, der placerer hukommelse tættere på selve beregningsprocessen, så data ikke behøver at rejse så langt. Det er her memristorer kommer ind i billedet.
Hvad der gør memristorer anderledes
Memristorer er elektroniske komponenter, der fungerer som modstande med hukommelse. Deres ledningsevne afhænger af den elektriske historik — det, der tidligere er blevet skrevet, påvirker den aktuelle tilstand. Det gør dem velegnede til at lagre vægtene i et neuralt netværk direkte i hardwaren.
I en memristor-matrix foregår beregningerne lokalt. Materialets fysiske egenskaber udfører de matematiske operationer i stedet for en række instruktioner på en traditionel processor. Det sparer datatransport og kan i princippet bruge meget mindre energi.
Men der er en vigtig hage: memristorer er ikke perfekte. De udviser støj, variation mellem komponenter og unøjagtige skriveoperationer. Med klassiske træningsalgoritmer fører det til ustabile modeller og dårligere ydeevne.
Hardwaren er energieffektiv, men dens ufuldkommenheder ødelægger præcisionen — medmindre træningsprocessen tilpasser sig dem.
Et smart trick: eaPU gør fejl anvendelige
Hvad er eaPU egentlig?
Et forskerhold fra Zhejiang-laboratoriet i Kina præsenterede i Nature Communications en ny træningsmetode kaldet error-aware probabilistic update, forkortet eaPU. Kernen i tilgangen er, at algoritmen accepterer små fejl og undgår unødvendige justeringer i memristorerne.
I stedet for at opdatere alle vægte ved hver minibatch — som det sker med standard backpropagation — opdaterer eaPU mindre end 0,1 procent af parametrene per trin. Kun når en ændring er større end en bestemt tærskelværdi, gennemføres en fysisk skrivehandling i memristoren.
- Små variationer forbliver uændrede: modellen tolererer mikrofejl.
- Store afvigelser prioriteres: kun betydningsfulde opdateringer koster energi.
- Sandsynligheden for en opdatering afhænger af fejlstørrelsen og memristorens egenskaber.
Eftersom skrivning til en memristor kræver langt mere energi end læsning, giver denne udvælgelse enorme besparelser. Færre skriveoperationer betyder desuden mindre slitage på materialet.
Tal der giver stof til eftertanke
| Aspekt | Konventionel memristor-træning | Med eaPU |
|---|---|---|
| Andel af opdaterede vægte per trin | Stor del af parametrene | < 0,1 % af parametrene |
| Energiforbrug ved træning (vs. andre memristor-metoder) | Reference | Op til 50× lavere |
| Enhedernes levetid | Begrænset af skriveslitage | Op til 1.000× længere |
| Præcision | Markant lavere end digitale supercomputere | +60 % ift. andre memristor-metoder, sammenlignelig med supercomputere |
| Sammenligning med gpu-systemer | Energitungt | Cirka én million gange mindre energi |
Ifølge forskerne falder energiforbruget sammenlignet med gpu-baserede systemer med omkring seks størrelsesordener — svarende til en reduktion på næsten én million gange.
Det åbner for et scenarie, hvor ai-træning ikke længere er udelukkende afhængig af megadatacentre med massiv køling, men også kan foregå på kompakt, specialiseret hardware.
Fra billedbehandling til sprogmodeller?
Holdet testede eaPU på en memristor-matrix i 180 nanometer. De trænede neurale netværk til billedstøjreduktion og superopløsning. Resultaterne lå tæt på dem fra konventionelle digitale metoder, mens energiforbruget var markant lavere.
Den anvendte chipstørrelse og arkitektur er beskedne sammenlignet med infrastrukturen bag store sprogmodeller. Alligevel ser forskerne ingen fundamental hindring for at udvide metoden til LLM'er.
De forventer, at princippet om probabilistiske opdateringer kan anvendes på netværk med milliarder af parametre, forudsat at hardwaren vokser i skala og pålidelighed. I fremtidige studier ønsker de direkte at afprøve, hvordan eaPU fungerer i flerlags transformer-arkitekturer — rygraden i moderne sprogmodeller.
Ikke kun til memristorer
Interessant nok er metoden ikke strengt bundet til memristorer. Konceptet fejlbevidst probabilistisk opdatering kan også køre på andre in-memory computing-teknologier, herunder:
- ferro-elektriske transistorer
- magnetoresistivt arbejdshukommelse (MRAM)
- hybride arkitekturer med analoge og digitale blokke
Det øger sandsynligheden for, at industrielle partnere tager metoden til sig, da flere producenter allerede satser på disse hukommelsestyper til energieffektive ai-chips.
Hvad det betyder for datacentre og klimamål
Den voksende ai-efterspørgsel rejser alvorlige spørgsmål om det digitale landskabs bæredygtighed. Estimater peger på, at storskalerede modeller i de kommende år kan forbruge lige så meget strøm som mellemstore lande, hvis den underliggende hardware ikke ændrer sig.
En million gange mindre energi per træningstrin ændrer hele samtalen: ai behøver ikke forblive synonymt med høje CO₂-udledninger.
Hvis teknikker som eaPU kan rulles ud i stor skala, kan datacentre udføre det samme arbejde med langt mindre strøm. Det aflaster netoperatører, reducerer behovet for nye højspændingsforbindelser og gør vedvarende energi mere tilstrækkelig.
For europæiske lande, hvor lokal modstand mod nye datacentre vokser, kan denne type hardwareinnovation dæmpe debatten. Diskussionen forskydes fra "datacentre ja eller nej" til "hvilken teknologi bruger datacentret indeni?"
Scenarier for fremtidige anvendelser
En praktisk anvendelse ligger inden for såkaldt edge-ai: modeller der kører tæt på brugeren — på smartphones, biler, medicinsk udstyr eller industrielle sensorer. Med ekstremt energieffektiv træning og inferens kan sådanne enheder lære lokalt i stedet for at sende alt til skyen.
En bil kunne for eksempel finjustere sin køreassistance baseret på lokale forhold uden konstant at uploade data. Et bærbart medicinsk apparat kunne lære mønstre i puls eller blodsukkerniveauer, mens batteriet stadig holder i dagevis.
Også for virksomheder der arbejder med fortrolige oplysninger — som hospitaler eller banker — åbner denne retning nye muligheder. Mindre afhængighed af centrale gpu-klynger betyder, at følsomme data ikke behøver at forlade bygningen, mens algoritmerne stadig forbedres løbende.
Risici, begrænsninger og næste skridt
De nuværende resultater stammer fra laboratorieopsætninger med relativt små chips. Skalerbarhed er et stort spørgsmålstegn: hvordan opfører analoge arrays sig, når millioner af memristorer fungerer side om side med temperatursvingninger og produktionsfejl?
Derudover kræver en sådan ny arkitektur en tilpasset softwarestak: træningsbiblioteker, compilere og frameworks der tager højde for probabilistiske opdateringer og støj i hardwaren. Uden brugervenlige værktøjer forbliver disse løsninger begrænset til forskningslaboratorier.
Alligevel berører forslagets kerne et bredere tema i ai-verdenen: acceptér ufuldkommenheder der, hvor det er muligt. Ved ikke for enhver pris at korrigere hardwarefejl, men i stedet udnytte dem intelligent, skabes rum for drastisk lavere energiforbrug. Denne tankegang kan inspirere andre ai-felter, fra neuromorfe chips til spiking neural networks.
For alle der anvender ai i produkter eller tjenester, er det værd at følge denne udvikling tæt. Valget af hardware og træningsstrategi afgør ikke kun ydeevnen, men også energiaftrykket, driftsomkostningerne og langsigtet skalerbarhed. Fremtidige generationer af ai-systemer vil sandsynligvis ikke blot blive bedømt på præcision, men også på kilowatttimer per trænede parameter.
