Kunstig intelligens sluger energi hurtigere end kraftværkerne kan følge med
Kunstig intelligens vokser med en hastighed, der får elregningerne i verdens datacentre til at eksplodere. Men forskere fra Kina foreslår nu en overraskende enkel ændring af tilgangen – og resultaterne er svære at ignorere.
Forskere fra et laboratorium i Zhejiang har demonstreret, at dybe neurale netværk slet ikke behøver at sluge den mængde energi, de gør i dag. Med en anden type komponenter og en smart læringsmetode kan strømforbruget falde med mange størrelsesordener – uden at modellernes præcision forringes dramatisk.
Millioner af processorer, milliarder i elregninger
Store sprogmodeller, generative billedalgoritmer og anbefalingssystemer kører på tusindvis af processorer og grafikkort. Hvert trin i træningen af sådanne modeller kræver enorme regnekræfter – og dermed enorme mængder elektricitet. Teknologivirksomheder bygger stadig flere serverfarms, og eksperter begynder at spørge, om elomkostningerne snart bliver den største barriere for AI's videre udvikling.
Laboratorier verden over leder derfor efter metoder til at træne modeller billigere og mere energieffektivt. Et af de mest lovende spor er at flytte beregningerne væk fra klassiske processorer og over til en helt anden arkitektur – baseret på såkaldte memristorer og analog behandling direkte i selve hukommelsen.
Memristorer: elektronik der "husker" modstand
En memristor er et særligt elektronisk element, der kombinerer funktionerne fra en modstand og en hukommelse. Dens elektriske modstand afhænger af historikken for den strøm, der har passeret igennem den – den bevarer altså en slags aftryk af tidligere tilstande. Man kan betragte den som et miniature-neuron: den lagrer vægten af en forbindelse og udfører samtidig simple beregninger direkte.
I en memristorbaseret arkitektur foregår beregningerne lokalt i selve hukommelseselementerne, i stedet for at data skal transporteres frem og tilbage mellem hukommelse og processor. Det forkorter datavejen markant, reducerer tab – og giver i teorien mulighed for enorme energibesparelser.
Indtil nu har der dog været én stor hæmsko: memristorer er langt fra perfekte. De introducerer støj, opfører sig uensartet, og deres tilstand kan ikke altid indstilles med den præcision, klassiske læringsalgoritmer kræver. Traditionelle metoder behandler disse mangler som forhindringer, og resultaterne har derfor været svagere end på digitale supercomputere.
Træning der "samarbejder" med uperfekt hardware
Hvad er EaPU-metoden?
Holdet fra Zhejiang har udviklet en ny læringsmetode til neurale netværk, der ikke forsøger at bekæmpe memristorernes fysiske begrænsninger – men i stedet tager højde for dem. Løsningen kaldes EaPU, fra det engelske "error-aware probabilistic update", altså en fejlbevidst, probabilistisk opdatering af parametre.
EaPU-metoden accepterer små fejl i netværkets parametre og korrigerer ikke enhver minimal ændring. Dermed reduceres antallet af skrivninger i memristorerne radikalt.
I stedet for at opdatere alle vægte ved hvert læringstrin – som klassiske algoritmer gør – modificerer netværket færre end 0,1% af parametrene. Algoritmen analyserer, hvilke fejlforskelle der er vigtige nok til at "betale for" energimæssigt, og hvilke der falder inden for den acceptable margin, som memristorernes unøjagtighed tillader.
Færre skrivninger giver længere levetid og lavere regning
At skrive en memristors tilstand koster langt mere energi end blot at læse den. Hver skrivehandling slider desuden på materialet og forkorter komponentens levetid. Når EaPU radikalt begrænser antallet af sådanne skrivninger, viser fordelen sig straks på tre fronter:
- Markant lavere energiforbrug under træning af netværket
- Langt mindre slid på komponenterne – længere driftstid uden fejl
- Mindre varmeudvikling under læring, og dermed enklere køling
Ifølge forskerne bag studiet reducerer den nye teknik energiforbruget under memristorbaseret træning med omkring 50 gange sammenlignet med tidligere tilgange af samme type. Det er i sig selv imponerende – men det er ikke hele historien.
En million gange mindre energi end klassiske grafikkort
De mest slående tal dukker op, når den nye tilgang sammenlignes med klassiske systemer baseret på grafikkort. Ifølge Zhejiang-holdets estimater er det samlede energiforbrug ved træning af identiske opgaver på den analoge memristorarkitektur med EaPU cirka seks størrelsesordener lavere – det vil sige omtrent en million gange mindre – end ved et typisk GPU-baseret system.
Forskerne erklærer: præcision på niveau med en digital supercomputer, og samtidig op til en millionfold lavere energiforbrug end systemer baseret på grafikkort.
Vigtigt nok lider netværkets effektivitet ikke så meget, som man kunne frygte. Sammenlignet med tidligere træningsmetoder på memristorer øger EaPU modellernes nøjagtighed med omkring 60%. I praksis betyder det, at slutresultatet er sammenligneligt med det, man opnår på en klassisk digital supercomputer.
En yderligere sidegevinst er et enormt spring i hardwarens holdbarhed. Det lavere antal skrivninger betyder ifølge forskerne, at den estimerede levetid for komponenterne kan stige med op til tusind gange. Det reducerer igen infrastrukturomkostningerne på lang sigt.
Sådan blev teknikken testet
Holdet gennemførte tests på et system med en memristormatrix i 180 nanometer-teknologi. Det var altså ikke eksotiske laboratorieprototyper fra kanten af det teknologisk mulige, men ganske realistisk hardware, som man kan forestille sig i fremtidige kommercielle anvendelser.
På denne platform trænede de neurale netværk til billedbehandlingsopgaver – blandt andet støjreduktion i fotos og opskaling af billedopløsning. Det er typiske anvendelser, hvor både kvalitet og behandlingshastighed er afgørende, og hvor det er relativt nemt at sammenligne resultaterne med dem, traditionelle processorer og grafikkort leverer.
Resultatet: billedkvalitet meget tæt på det, standardmæssige digitale metoder leverer – ved et markant lavere energiforbrug. Forbedringen begrænser sig altså ikke til én enkelt parameter, men berører flere områder på én gang: strøm, holdbarhed og præcision.
Kan store sprogmodeller trænes på samme måde?
Det brændende spørgsmål er, om denne tilgang kan anvendes på gigantiske sprogmodeller – de såkaldte LLM'er, der bruges i chatbots og kodegenererende systemer. Projektets forfattere er forsigtige, men optimistiske.
Forskerne hævder, at EaPU-teknikken grundlæggende ikke er begrænset til små netværk og burde kunne skaleres til store sprogmodeller, hvis blot hardwaren kan følge med i størrelse og præcision.
Foreløbig begrænser det tilgængelige laboratorium og størrelsen af de anvendte kredsløb mulighederne, men holdet planlægger tests på væsentligt større arkitekturer. Hvis blot en del af fordelene kan overføres til modeller med milliarder af parametre, kan hele sky-tjenestebranchen ændre sit energiprofil markant.
Ikke kun memristorer – en bredere hardwarerevolution
En interessant del af Zhejiang-holdets konklusioner handler om tilgangens universalitet. EaPU-algoritmen bygger på det princip, at den kender den konkrete hardwares begrænsninger og lærer at samarbejde med dem – frem for at tvinge perfekt præcision ud af uperfekte komponenter. Derfor behøver den ikke være bundet eksklusivt til memristorer.
Forskerne peger på, at en lignende strategi kan anvendes på andre ikke-klassiske hukommelses- og transistorteknologier, herunder:
- Ferroelektriske transistorer
- Magnetoresistiv hukommelse
- Andre typer ikke-flygtig hukommelse designet specifikt til AI-anvendelser
EaPU bør derfor snarere opfattes som en designfilosofi for læringsalgoritmer på uperfekt, analog hardware – ikke som et enkelt engangværktøj til én bestemt komponentfamilie.
Hvad betyder det for AI-brugere og elregninger?
Set fra en almindelig brugers perspektiv vil forskellen måske virke usynlig. Stemmeassistenten på smartphonen svarer stadig på spørgsmål, chatbotten i appen genererer stadig tekst. Ændringen handler om det, der sker bag kulisserne – altså hvor meget energi og penge det koster at opretholde hele infrastrukturen.
Virksomheder, der satser på AI-udvikling, kæmper med stigende udgifter til strøm, køling og udbygning af datacentre. Hvis teknologier som memristorbaserede systemer med EaPU vinder indpas i stor skala, kan en del af disse omkostninger falde. Det vil gøre det lettere at opretholde tjenester til mere overkommelige priser – og samtidig aflaste elnettet.
Set fra et miljøperspektiv betyder en så dybtgående reduktion af strømforbruget et markant lavere CO₂-aftryk. AI forsvinder ikke, så den eneste reelle vej frem er at sikre, at næste generation af hardware og algoritmer arbejder stadig mere effektivt.
Hvorfor det nogle gange hjælper at acceptere fejl
Bag dette forskningsarbejde ligger en fundamental holdningsændring. Den klassiske tilgang til elektronik stræber efter maksimal præcision og ensartethed i hver enkelt komponent. I praksis er det enormt dyrt – og i den skala, massiv AI kræver, nærmest uoverkommeligt.
Metoder som EaPU udnytter det faktum, at lærende modeller selv kan håndtere et vist niveau af støj og usikkerhed. Et neuralt netværk tåler små afvigelser i vægtværdierne, og delvise fejl behøver ikke føre til katastrofale resultater. Så længe den overordnede effekt er i orden, kan en let "uklarhed" i parametrene accepteres som en rimelig pris for et radikalt lavere energiforbrug.
Denne tankegang minder på mange måder om biologi: den menneskelige hjerne arbejder ikke med perfekt præcision, neuroner svigter, signaler forvrænges – og alligevel fungerer helheden overraskende stabilt og energieffektivt. En kunstig intelligens, der forsøger at efterligne netop denne egenskab, kan vise sig at blive ikke blot klogere, men også langt mere sparsom med strømmen.
