En forskergruppe testede, om moderne kunstig intelligens kan køre på en pc fra Windows 98-æraen
Mens tech-giganter bruger titusindvis af dollars på de nyeste processorer, har forskere fra Oxford demonstreret noget fuldstændig modsat. Veloptimeret kode kan åbenbart blæse nyt liv i hardware, som de fleste for længst har smidt på genbrugspladsen. Og det var ikke bare for sjov — det var et klart statement om, at AI ikke nødvendigvis kræver dyre serverfarme og enormt energiforbrug.
Pentium II, 128 MB RAM og en sprogmodel
Eksperimentet stammer fra organisationen EXO Labs, grundlagt af forskere med tilknytning til University of Oxford. I stedet for et laboratorium fyldt med grafikkort greb de fat i en computer fra slutningen af 90'erne: en Pentium II 350 MHz-processor med 128 MB RAM, der kørte under Windows 98.
På denne konfiguration lykkedes det dem at starte en lille sprogmodel baseret på projektet LLama2.c. Det er i bund og grund en letvægtsversion af en stor sprogmodel — den kan stadig generere tekst, men har langt færre parametre end de populære cloudbaserede løsninger.
Modellen, der blev brugt i forsøget, havde 260.000 parametre og nåede en hastighed på cirka 39,3 tokens i sekundet — på en computer fra 1998 med blot 128 MB RAM.
Et token er et lille tekststykke — enten et helt ord eller en del af et. Det afgørende for brugeren er, at svaret fremstår flydende på skærmen og ikke ruller frem med et par tegn i minuttet. Med en så letvægtig model klarer den gamle pc sig overraskende godt.
Derfor betyder modellens størrelse alt
Forskerne sammenlignede resultatet med, hvad der ville ske, hvis man forsøgte at køre en større model på samme hardware — eksempelvis en model med én milliard parametre, som stadig er mikroskopisk sammenlignet med GPT-4. I det tilfælde ville hastigheden falde til omkring 0,0093 tokens i sekundet. Med andre ord ville man vente en evighed på et fornuftigt svar.
Eksperimentet illustrerer med al tydelighed, hvor afgørende det er at matche modellens størrelse med hardwarens kapacitet. Letvægtsmodeller har klare fordele:
- De bruger langt mindre RAM takket være det reducerede antal parametre
- De kan køre på ældre og billigere enheder uden kraftfulde grafikkort
- De åbner døren for AI-anvendelser i ressourcebegrænsede miljøer
Det er et tankevækkende perspektiv i en tid, hvor diskussionen om AI's energiforbrug og tilgængelighed kun bliver mere relevant. Måske behøver fremtidens AI ikke altid den nyeste og dyreste hardware — en velskrevet og optimeret kode kan vise sig at være mindst lige så vigtig.
