Norsk referanse for lokal AI — registre, planer og ærlige tester.
Korte, praktiske råd for lokal AI. Kolonnen vokser — hvert tips er et kort med tagger og dato.
Sist oppdatert: · 7 tips
Start med programmet som faktisk kjører modeller: LM Studio hvis du vil klikke og chatte, Ollama hvis du vil ha kommandoer og et lokalt API. Først når noe kjører stabilt, er det verd å sammenligne modellfamilier. Ellers mister du tid på nedlastinger du ikke får testet.
Lokal AI passer når privat data, offline, lav latens eller mange gjentatte kjøringer betyr mer enn maksimal resonnering. Skyen kan fortsatt vinne på dyp research og hard logikk. Det nyttige spørsmålet er om den lokale modellen er god nok til akkurat denne oppgaven.
Tenk stacken som modellfilen, stedet du finner den (typisk Hugging Face), runtime (LM Studio eller Ollama), og arbeidsflyten rundt — mappe, prompt, sjekkliste og output. Under panseret dukker også llama.cpp opp, og MLX på Apple Silicon.
På Hugging Face: formål, størrelse, lisens, hardware folk kjører den på, hvilke modaliteter den støtter, og om det finnes kvantiserte filer (ofte GGUF). Ignorer resten til du trenger det. Lisensen avgjør ofte om du kan bruke modellen kommersielt.
Tommelfinger: små modeller (~2–4B) til eldre laptop; midtsjikt (~7–12B) til rundt 16 GB; større (~26–35B) trenger mer RAM eller VRAM. Q4 er et fornuftig førstevalg for å få plass. Q8 beholder mer kvalitet, men trenger mer minne. Bruk minnefilteret for grove estimater.
Før finjustering: plukk en kjedelig, gjentatt jobb. Legg ti ekte eller fiktive eksempelfiler i én mappe. Be modellen lage én gjenbrukbar fil (memo, sjekkliste, rapport). Kjør den ti ganger, stram prompten, og lag en enkel eval. Chat-svar er hyggelig; en artefakt du gjenbruker endrer arbeidsflyten.
La en lokal modell lese private utkast, flagge problemer og rense før eventuell sky-runde. Bruk sky når svaret trenger tyngre resonnering. La et menneske godkjenne det som er viktig før det sendes. Hold lokale kontekstvinduer smale — stor kontekst koster minne.
Inspirert av to episoder av The Startup Ideas Podcast. Én episode var sponset av Google. Vi anbefaler ingen leverandør.