Norsk referanse for lokal AI — registre, planer og ærlige tester.
utkast · skjelett
01 · Jetson Orin Nano Super
Mål: en liten NVIDIA Jetson som kjører lokal AI til hobbybruk. Denne siden er et skjelett — ikke en ferdig, målt guide.
Sist oppdatert:
Ingen målinger ennå. Tokens/s, støy og strøm er «ikke målt ennå». Ikke stol på forum-tall som om de var våre.
Hva du bygger
En Jetson Orin Nano Super-node med lagring nok til noen GGUF-modeller, kjøling som tåler stua, og en runtime (typisk Ollama eller llama.cpp) som faktisk bruker GPU-en.
Deleliste (BOM)
| Del | Hvorfor | Lenke | Pris |
|---|---|---|---|
| Jetson Orin Nano Super Developer Kit (eller Super-modul + carrier) | Compute med GPU / unified memory for lokal inferens | NVIDIA Jetson Orin | ukjent |
| microSD eller NVMe (anbefalt til modeller) | OS + modellfiler; NVMe er raskere til store GGUF | ukjent — velg etter kit-variant | ukjent |
| Strømforsyning som kit krever | Stabil drift under last | Følg kit-docs | ukjent |
| Valgfri: aktiv kjøling / kabinett | Støy og temperatur i stua | ukjent | ukjent |
Steg utkast
- Noter kit-variant, JetPack/L4T-versjon og lagringsvalg før du flasher.
- Installer OS/JetPack etter NVIDIAs anvisning for din variant.
- Sett opp lagring (helst NVMe) og flytt modellkatalogen dit.
- Installer runtime (Ollama eller bygg llama.cpp med riktig CUDA/sm_*).
- Start med en liten modell (3B–4B-klassen i Q4). Ikke hopp til store vekter.
- Skriv ned tokens/s, minnebruk, støy og om GPU-stien faktisk er aktiv.
Målinger
ikke målt ennå
- Tokens/s (3B Q4): ikke målt ennå
- Tokens/s (7B Q4): ikke målt ennå
- Minne under last: ikke målt ennå
- Støy / vifter: ikke målt ennå
Kommentarer
Kommentarene lastes først når du klikker. De lagres i GitHub Discussions (USA) via Giscus. Se personvern.
Giscus er ikke koblet ennå. Repo, kategori-ID og mapping er plassholdere — ingen tredjepartsskript lastes.