En computer fra Windows 98-æraen kørte et moderne AI-sprogmodel
Mens tech-giganter bruger titusindvis af dollars på de nyeste processorer, har forskere fra Oxford bevist noget helt modsat. Veloptimeret kode kan blæse nyt liv i hardware, som de fleste for længst har smidt på genbrugsstationen. Og det var ikke bare for sjov — det var et manifest om, at AI ikke behøver dyre serverparker og enormt strømforbrug.
Pentium II, 128 MB RAM og et sprogbaseret AI-system
Eksperimentet stod organisationen EXO Labs for, grundlagt af forskere med tilknytning til Oxford Universitet. I stedet for et laboratorium fyldt med grafikkort greb de fat i en computer fra slutningen af 90'erne: en Pentium II 350 MHz-processor med 128 MB RAM, der kørte under Windows 98.
På denne konfiguration lykkedes det dem at køre en lille sprogmodel baseret på projektet LLama2.c. Det er en slags letvægtsversion af et stort sprogmodel — det kan stadig generere tekst, men har langt færre parametre end de populære cloud-løsninger, vi kender i dag.
Modellen brugt i eksperimentet havde 260.000 parametre og nåede en hastighed på cirka 39,3 tokens per sekund på computeren fra 1998 — med kun 128 MB RAM til rådighed.
Et token er et lille tekststykke — et helt ord eller en del af et ord. Det afgørende for brugeren er, at svaret vises flydende på skærmen og ikke dukker op i tempo af få tegn pr. minut. Med en så let model klarede den gamle pc sig overraskende godt.
Derfor betyder modellens størrelse alt
Forskerne sammenlignede resultaterne med, hvad der ville ske, hvis man forsøgte at køre en større model på samme hardware — for eksempel én med en milliard parametre, som stadig er mikroskopisk sammenlignet med GPT-4. Hastigheden ville falde til cirka 0,0093 tokens per sekund. Med andre ord: man ville vente en evighed på ét fornuftigt svar.
Eksperimentet illustrerer tydeligt, hvor afgørende det er at tilpasse modellens størrelse til hardwarens kapacitet. Letvægtsmodeller har en række klare fordele:
- De bruger langt mindre RAM takket være det reducerede antal parametre
- De kan køre på ældre og billigere hardware uden dedikerede grafikkort
- De kræver betydeligt mindre strøm, hvilket gør dem mere bæredygtige
- De åbner op for AI-anvendelser i ressourcebegrænsede miljøer
Et budskab til hele tech-branchen
Resultatet sender et klart signal: AI er ikke forbeholdt dem med de dybeste lommer. Når en 25 år gammel computer kan generere sammenhængende tekst i realtid, sætter det spørgsmålstegn ved antagelsen om, at kunstig intelligens nødvendigvis kræver massiv og kostbar infrastruktur.
Det er naturligvis ikke meningen, at fremtidens AI skal køre på Pentium II-maskiner. Men eksperimentet viser, at effektiv optimering og smarte modelvalg kan demokratisere adgangen til AI-teknologi på en måde, som de store tech-selskaber sjældent taler om.
