En forskergruppe testede, om moderne kunstig intelligens kunne køre på en pc fra Windows 98-æraen
Mens tech-giganter bruger titusindvis af dollars på de nyeste processorer, demonstrerede forskere fra Oxford noget fuldstændig modsat. Veloptimeret kode kan blæse nyt liv i hardware, som de fleste forlængst har smidt på genbrugspladsen. Og det skete ikke bare for sjov — det var et manifest om, at AI ikke nødvendigvis kræver dyre serverfarme og et enormt strømforbrug.
Pentium II, 128 MB RAM og en sprogmodel baseret på AI
Bag eksperimentet står organisationen EXO Labs, grundlagt af forskere med tilknytning til Oxford Universitet. I stedet for et laboratorium fyldt med grafikkort valgte de en computer fra slutningen af 1990'erne: en Pentium II 350 MHz-processor og 128 MB RAM, kørende under Windows 98.
På denne konfiguration lykkedes det dem at starte en lille sprogmodel op, baseret på projektet LLama2.c. Det er en slags letvægtsversion af en stor sprogmodel — den kan stadig generere tekst, men har langt færre parametre end de populære cloud-løsninger, vi kender i dag.
Modellen brugt i forsøget havde 260.000 parametre og nåede en hastighed på cirka 39,3 tokens per sekund på computeren fra 1998 — med blot 128 MB RAM.
Et token er et lille stykke tekst — enten et helt ord eller en del af et. Det afgørende for brugeren er, at svaret flyder naturligt på skærmen frem for at dukke op som få tegn i minuttet. Med en så letvægtsmodel klarer den gamle pc sig overraskende godt.
Derfor betyder modelstørrelsen enormt meget
Skaberne sammenlignede resultaterne med, hvad der ville ske, hvis man forsøgte at køre en større model på samme hardware — for eksempel en model med én milliard parametre, som stadig er mikroskopisk sammenlignet med GPT-4. I det scenarie ville hastigheden falde til cirka 0,0093 tokens per sekund. Med andre ord ville man vente en evighed på et fornuftigt svar.
Eksperimentet illustrerer tydeligt, hvor afgørende det er at matche modelstørrelsen med hardwarens kapacitet. Letvægtsmodeller har en klar fordel:
- De bruger langt mindre RAM takket være det reducerede antal parametre
- De kan køre på ældre og billigere hardware uden problemer
- De reducerer energiforbruget markant sammenlignet med store cloudbaserede modeller
Resultatet sender et klart signal til hele AI-branchen: kraftfuld kunstig intelligens behøver ikke altid massiv computerkraft — nogle gange er det smarte valg af model, der gør hele forskellen.
