Kunstig intelligens sluger energi hurtigere, end kraftværkerne kan følge med
Kunstig intelligens vokser med svimmelhedsfremkaldende hastighed – og elregningerne i datacentralerne vokser i takt med den. Forskere fra Kina foreslår nu en overraskende enkel ændring af tilgangen.
Forskere fra et laboratorium i Zhejiang har vist, at dybe neurale netværk slet ikke behøver at sluge så meget energi, som de gør i dag. Med en anden type hardware og en smart læringsmetode kan strømforbruget falde med flere størrelsesordener – uden at modellernes ydeevne forringes dramatisk.
Voksende modeller kræver gigantiske mængder strøm
Store sprogmodeller, generative billedalgoritmer og anbefalingssystemer kører på tusindvis af processorer og grafikkort. Hvert trin i træningen af sådanne modeller kræver enormt computerkraft – og dermed enorme mængder elektricitet. Teknologivirksomheder bygger løbende nye serverfarme, og eksperter begynder at spørge, om strømpriserne snart bliver den største barriere for AI's udvikling.
Laboratorier verden over søger derfor metoder til at træne modeller billigere og mere energieffektivt. En af de mest lovende retninger er at flytte beregningerne væk fra klassiske processorer til en helt anden arkitektur – baseret på såkaldte memristorer og analog behandling direkte i hukommelsen.
Memristorer: elektronik, der "husker" modstand
En memristor er et særligt elektronisk element, der kombinerer funktionerne modstand og hukommelse. Dens modstand afhænger af historikken for den strøm, der har passeret igennem den – den bevarer altså en slags spor af tidligere tilstande. Man kan betragte den som et miniatureneuron: den gemmer vægten af en forbindelse og muliggør samtidig direkte udførelse af simple beregninger.
I en arkitektur baseret på memristorer foregår beregningerne lokalt i selve hukommelseselementerne, i stedet for at data skal transporteres frem og tilbage mellem hukommelse og processor eller grafikkort. Det forkorter datavejen betydeligt, reducerer tab og giver i teorien mulighed for enorme energibesparelser.
Hidtil har ét stort problem imidlertid bremset denne retning: memristorer er langt fra perfekte. De introducerer støj, opfører sig uensartet, og deres tilstand kan ikke altid indstilles med den præcision, som klassiske læringsalgoritmer kræver. Traditionelle metoder behandler disse ufuldkommenheder som forhindringer, hvilket resulterer i svagere resultater end på digitale supercomputere.
Træning, der "samarbejder" med ufuldkommen hardware
Hvad EaPU-metoden går ud på
Holdet fra Zhejiang har udviklet en ny læringsmetode, der ikke forsøger at bekæmpe memristorernes fysiske begrænsninger, men i stedet tager højde for dem. Løsningen hedder EaPU, fra det engelske "error-aware probabilistic update" – en fejlbevidst, probabilistisk parameteropdatering.
EaPU-metoden accepterer mindre unøjagtigheder i netværkets parametre og korrigerer ikke hver mindste ændring, hvilket radikalt reducerer antallet af skrivninger i memristorerne.
I stedet for at opdatere alle vægte ved hvert enkelt træningstrin – som det sker i klassiske algoritmer – modificerer netværket færre end 0,1% af parametrene. Algoritmen analyserer, hvilke fejlforskelle der er betydelige nok til at betale den energimæssige pris, og hvilke der falder inden for det acceptable interval defineret af memristorernes toleranceniveau.
Færre skrivninger betyder længere levetid og lavere regning
Det koster langt mere energi at skrive til en memristors tilstand end blot at læse den. Hver skrivehandling slider desuden på materialet og forkorter elementets levetid. Eftersom EaPU drastisk reducerer antallet af sådanne skrivninger, viser effekten sig straks på tre områder:
- Markant lavere energiforbrug under træning af netværket,
- Langt mindre slid på komponenterne – systemerne kører længere uden fejl,
- Mindre varmeudvikling under træningen og dermed enklere køling.
Ifølge forskerne bag studiet reducerer den nye teknik energiforbruget under træning med memristorer cirka 50 gange sammenlignet med tidligere tilgange af samme type. Det er imponerende i sig selv – men det er ikke engang det mest opsigtsvækkende resultat.
En million gange mindre energi end klassiske GPU'er
De mest slående tal fremkommer, når den nye tilgang sammenlignes med klassiske grafikkortbaserede systemer. Ifølge Zhejiang-holdets estimater er det samlede energiforbrug ved træning af de samme opgaver på en analog memristorarkitektur med EaPU cirka seks størrelsesordener lavere – altså omtrent en million gange – i forhold til et typisk GPU-baseret opsætning.
Forskerne erklærer: nøjagtighed på niveau med en digital supercomputer – og samtidig op til en millionfold lavere energiforbrug end systemer baseret på grafikkort.
Netværkets faktiske ydeevne lider ikke så meget, som man måske skulle frygte. Sammenlignet med tidligere træningsmetoder på memristorer forbedrer EaPU modellernes nøjagtighed med omkring 60%. I praksis betyder det, at slutresultatet er sammenligneligt med, hvad man kan opnå på en klassisk digital supercomputer.
Et yderligere resultat er et enormt spring i hardware-holdbarhed. Færre skrivninger betyder, at den estimerede levetid for komponenterne ifølge forskerne stiger op til tusinde gange. Det reducerer igen infrastrukturomkostningerne på lang sigt.
Sådan blev den nye teknik testet
Holdet gennemførte tests på et system med en memristormatrice i 180 nanometers størrelse. Det var altså ikke topmoderne laboratorieprototyper på grænsen af, hvad litografien kan præstere, men derimod realistisk hardware, man kan forestille sig i fremtidige kommercielle anvendelser.
På denne platform trænede de neurale netværk til billedbehandlingsopgaver – blandt andet støjreduktion i fotos og opskaling af opløsning. Det er typiske anvendelser, hvor både kvalitet og hastighed tæller, og hvor det relativt nemt lader sig gøre at sammenligne resultaterne med dem, der opnås på traditionelle processorer og grafikkort.
Resultatet: billedkvaliteten lå meget tæt på det, standarddigitale metoder leverer – ved et markant lavere energiforbrug. Forskellen begrænser sig altså ikke til én enkelt parameter, men berører flere områder på én gang: strøm, holdbarhed og nøjagtighed.
Kan store sprogmodeller trænes på samme måde?
Det brændende spørgsmål i dag lyder: kan denne tilgang anvendes på gigantiske sprogmodeller som de LLM'er, der bruges i chatbots eller kodesystemer? Projektets forfattere er forsigtige, men optimistiske.
Forskerne hævder, at EaPU-teknikken i princippet ikke er begrænset til små netværk og bør kunne skaleres til store sprogmodeller, forudsat at hardwaren kan følge med i størrelse og præcision.
Foreløbig begrænses de af de tilgængelige laboratorier og størrelsen af de anvendte kredsløb, men de planlægger tests på væsentligt større arkitekturer. Hvis bare en del af fordelene kan overføres til modeller med milliarder af parametre, kan hele cloud-tjenestesbranchen ændre sin energiprofil fundamentalt.
Ikke kun memristorer – en bredere hardwarerevolution
En interessant del af konklusionerne fra Zhejiang-holdet handler om tilgangens universalitet. EaPU-algoritmen bygger på, at den kender den specifikke hardwares begrænsninger og lærer at samarbejde med dem frem for at kræve ideel præcision. Derfor behøver den ikke at være bundet udelukkende til memristorer.
Forskerne peger på, at en lignende strategi kan anvendes på andre ikke-klassiske hukommelses- og transistorteknologier, herunder:
- Ferroelektriske transistorer,
- Magnetoresistiv hukommelse,
- Andre typer ikke-flygtig hukommelse designet specielt til AI-formål.
EaPU kan derfor snarere betragtes som en designfilosofi for læringsalgoritmer til ufuldkommen, analog hardware end som et enkelt, engangsstykke værktøj til én bestemt kredsløbsfamilie.
Hvad betyder det for AI-brugere og strømregninger?
Fra en almindelig brugers perspektiv kan forskellen virke usynlig. Stemmeassistenten på smartphonen svarer stadig på spørgsmål, og chatbotten i appen genererer fortsat tekst. Ændringen handler om, hvad der foregår bag kulisserne – altså hvor meget energi og penge det koster at opretholde hele infrastrukturen.
Virksomheder, der satser på AI-udvikling, kæmper med stigende udgifter til strøm, køling og udvidelse af datacentre. Hvis teknologier som memristorbaserede systemer med EaPU vinder udbredelse, kan en del af disse udgifter falde. Det vil gøre det lettere at holde tjenestepriserne på et mere fordelagtigt niveau og samtidig aflaste elnettet.
Fra et miljøperspektiv betyder en så dyb reduktion i strømforbruget et lavere CO₂-aftryk. AI forsvinder ikke, så den eneste reelle vej frem er at arbejde på, at næste generation af hardware og algoritmer fungerer stadigt mere energieffektivt.
Hvorfor det at acceptere fejl sommetider hjælper
I baggrunden for den omtalte forskning ligger en filosofisk ændring. Den klassiske tilgang til elektronik stræber efter maksimal præcision og ensartethed i hvert enkelt element. I praksis kan det være meget dyrt, og i den skala, som masseudbredt AI kræver, ligefrem urentabelt.
Metoder som EaPU udnytter det faktum, at lærende modeller i sig selv er i stand til at håndtere et vist niveau af støj og usikkerhed. Et neuralt netværk tåler små afvigelser i vægtværdierne, og delvise fejl behøver ikke at føre til katastrofale resultater. Hvis det overordnede output holder standarden, kan en let "sløring" af parametrene accepteres som en rimelig pris for et radikalt lavere strømforbrug.
Denne tankegang minder på en måde om biologi: den menneskelige hjerne fungerer ikke med perfekt præcision – neuroner fejler, signaler forvrænges – og alligevel formår helheden at fungere overraskende stabilt og energieffektivt. En kunstig intelligens, der forsøger at efterligne denne egenskab, kan blive ikke kun klogere, men også langt mere sparsommelig.
