Ollama Linux: Eseguire LLM in Locale in 10 Minuti (2026)

RISPOSTA DIRETTA

Ollama permette di eseguire Large Language Models (LLM) come Llama 3 e Mistral direttamente sul tuo server Linux, garantendo il controllo completo sui dati e riducendo i costi, con un setup che richiede meno di 10 minuti per essere operativo.

Snippet Rapido: Installazione e Primo Avvio

# Installazione Ollama
curl -fsSL https://ollama.com/install.sh | sh

# Scarica Llama 3
ollama pull llama3

# Avvia Llama 3 e inizia a chattare
ollama run llama3

Intro narrativa

Ho assistito a troppi scenari in cui la fretta di adottare soluzioni di Intelligenza Artificiale ha portato a gravi compromessi sulla sicurezza dei dati. Ricordo un cliente, un’organizzazione con migliaia di endpoint, che stava inviando dati sensibili tramite API a un LLM di terze parti. Ogni singola query, anche la più innocua, potenzialmente esponeva informazioni riservate al provider esterno. La soluzione? Eseguire l’LLM in locale. Con Ollama, abbiamo portato Llama 3 su un server Linux con GPU dedicato, ottenendo la stessa qualità di risposta con zero data leakage. Il tutto è stato operativo in meno di 10 minuti. Questo articolo ti guiderà passo passo per replicare lo stesso setup, garantendo privacy, controllo e costi ridotti per le tue esigenze di AI.

Prerequisiti / Ambiente di test

Per seguire questa guida, avrai bisogno di un sistema Linux (Ubuntu, Debian, Fedora, Arch Linux o derivate) con accesso a internet. È consigliato un hardware con almeno 8 GB di RAM per i modelli più piccoli (come Mistral) e idealmente una GPU con driver aggiornati per performance ottimali, anche se Ollama può funzionare in modalità CPU per test o modelli molto piccoli. Ho testato questa procedura su una VM Ubuntu 24.04 LTS e un server fisico con Debian 12 e una NVIDIA RTX 3060.

Perché eseguire un LLM in locale — privacy, costi, latenza

L’adozione degli LLM ha rivoluzionato molti settori, ma l’utilizzo di servizi cloud di terze parti solleva preoccupazioni significative, specialmente per le organizzazioni che gestiscono dati sensibili. Eseguire un LLM in locale offre vantaggi inestimabili:

• Privacy e Sicurezza dei Dati: Questa è la ragione principale. Quando un LLM gira on-premise, i tuoi dati non lasciano mai la tua infrastruttura. Non c’è rischio di data leakage a terze parti, il che è cruciale per la conformità a normative come il GDPR o la NIS2. Un sondaggio del 2024 ha rivelato che il 68% delle aziende è preoccupato per la privacy dei dati quando usa LLM basati su cloud (Fonte: IBM AI Adoption Index 2024).
• Costi: L’uso di API LLM a consumo può diventare estremamente costoso, soprattutto con carichi di lavoro elevati. Eseguendo un modello localmente, i costi si limitano all’hardware e all’energia, eliminando le spese ricorrenti per le API esterne. Questo garantisce prevedibilità finanziaria.
• Latenza: Le query processate localmente eliminano la latenza di rete. Le risposte sono quasi istantanee, migliorando l’esperienza utente in applicazioni real-time e l’efficienza dei processi automatizzati.
• Controllo e Personalizzazione: Hai il controllo completo sul modello, potendo scegliere versioni specifiche, ottimizzarle per i tuoi dataset (fine-tuning) e integrarle profondamente con le tue applicazioni esistenti senza dipendere da specifiche API di terze parti.

Installazione Ollama su Linux (Ubuntu/Debian/Arch)

L’installazione di Ollama è sorprendentemente semplice e richiede una singola riga di comando. Ollama si occupa di rilevare il tuo sistema operativo e installare i binari corretti, inclusi i driver necessari per le GPU supportate (NVIDIA e AMD).

Apri un terminale e esegui il seguente comando:

curl -fsSL https://ollama.com/install.sh | sh

Questo script scaricherà e installerà Ollama nel tuo sistema. Una volta completato, Ollama sarà disponibile come comando da terminale. Puoi verificarne l’installazione e la versione con ollama --version.

Scaricare e avviare il primo modello (Llama 3, Mistral, Gemma)

Con Ollama installato, il passo successivo è scaricare un modello LLM. Ollama offre un’ampia libreria di modelli popolari. Per iniziare, ti consiglio Llama 3, uno dei modelli più performanti e versatili disponibili.

Per scaricare Llama 3 (versione 8B, ottimizzata per sistemi con risorse limitate ma comunque potente):

ollama pull llama3

Il download potrebbe richiedere alcuni minuti a seconda della tua connessione e della dimensione del modello (Llama 3 8B è di circa 4.7 GB). Una volta scaricato, puoi avviare una sessione di chat interattiva con il modello:

ollama run llama3

Ora puoi interagire con Llama 3 direttamente dal tuo terminale. Per uscire, digita /bye o premi Ctrl+D.

Puoi listare i modelli scaricati con:

ollama list

Per avviare Ollama come servizio in background, utile per le integrazioni API:

ollama serve &

API REST Ollama — integrarla in script Python e Bash

Uno dei punti di forza di Ollama è la sua API RESTful, che permette di integrare facilmente gli LLM in applicazioni e script personalizzati. L’API è compatibile con le specifiche OpenAI, rendendo la migrazione da servizi cloud a soluzioni locali molto agevole.

Per fare una query di esempio a Llama 3 tramite l’API, assicurati che Ollama sia in esecuzione in modalità serve (come mostrato sopra) e poi usa curl:

curl http://localhost:11434/api/generate \n  -d '{"model": "llama3", "prompt": "Spiega cgroups in Linux in 20 parole"}'

Questa chiamata HTTP POST invierà un prompt al modello Llama 3 e riceverà una risposta JSON. Puoi facilmente integrare questo in script Python utilizzando la libreria requests o in script Bash per automatizzare compiti come la generazione di report, l’analisi di log o la creazione di riassunti.

Open WebUI — interfaccia ChatGPT-like per Ollama

Per chi preferisce un’interfaccia grafica per interagire con i propri LLM locali, Open WebUI è la soluzione ideale. È un’interfaccia utente open source che si connette a Ollama, fornendo un’esperienza simile a ChatGPT direttamente nel tuo browser. L’installazione è semplice, tipicamente tramite Docker.

Per installare Open WebUI (richiede Docker installato):

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Una volta avviato il container, puoi accedere a Open WebUI dal tuo browser all’indirizzo http://localhost:3000. Da qui, potrai selezionare i modelli Ollama disponibili e iniziare a chattare in un ambiente user-friendly.

Requisiti hardware: quanta RAM serve per ogni modello

I Large Language Models sono risorse intensive, specialmente per quanto riguarda la memoria RAM e la VRAM della GPU. La quantità di memoria necessaria dipende dalle dimensioni del modello (espresse in miliardi di parametri, ‘B’).

| Modello (Esempio) | Parametri | RAM/VRAM Minima Consigliata |

| :—————- | :——– | :————————— |

| TinyLlama | 1.1B | 4GB |

| Mistral / Llama 3 | 7B-8B | 8GB |

| Llama 3 | 70B | 64GB |

Un ambiente enterprise con 300+ VM e 2.000 endpoint spesso dispone di server con risorse adeguate, ma è fondamentale pianificare attentamente. Se non hai una GPU dedicata, Ollama utilizzerà la CPU, ma le performance saranno significativamente inferiori. Ho notato che un server con 32GB di RAM e una CPU moderna può gestire Llama 3 8B in CPU mode per compiti non critici, ma per carichi di lavoro intensi o latenza bassa, una GPU è indispensabile. NVIDIA (con CUDA) è attualmente la scelta più performante, ma il supporto AMD è in crescita.

Modelli consigliati per sysadmin (codice, analisi log, scripting)

Per un SysAdmin, gli LLM possono essere strumenti potentissimi per automatizzare, analizzare e debuggare. Ecco alcuni modelli che si sono dimostrati particolarmente utili:

• Llama 3 (8B/70B): Ottimo per la generazione di codice (Python, Bash, Ansible), l’analisi di output di comandi e la risoluzione di problemi generici. La versione 8B è un buon compromesso tra performance e requisiti hardware.
• Mistral (7B): Eccellente per compiti di programmazione e generazione di testo. È noto per essere molto efficiente e performante su hardware limitato, ideale per script e automazione.
• Code Llama (7B/13B/34B): Specificamente addestrato per la generazione e comprensione del codice. Indispensabile per scrivere script complessi, refactoring o debugging.
• Gemma (2B/7B): Un modello leggero di Google, molto rapido e adatto per task di generazione di testo e riassunti, utile per documentare configurazioni o analizzare log di piccole dimensioni.

Eseguire Ollama come servizio systemd

In un ambiente di produzione, è fondamentale che Ollama venga eseguito come servizio di sistema, gestito da systemd. Questo garantisce che Ollama si avvii automaticamente all’avvio del sistema e che sia monitorato e riavviato in caso di crash.

L’installazione tramite lo script curl di Ollama dovrebbe già configurare un servizio systemd. Puoi verificarne lo stato con:

systemctl status ollama

Se non fosse attivo o abilitato, puoi farlo manualmente:

systemctl enable ollama
systemctl start ollama

Questo garantirà che Ollama sia sempre disponibile per le tue applicazioni e API, anche dopo un riavvio del server. Per approfondire la gestione dei servizi systemd, puoi consultare la documentazione ufficiale.

Errori comuni e troubleshooting

• Problemi di memoria: Se il modello non si carica o crasha, controlla i requisiti di RAM/VRAM. ollama run di solito mostra un errore esplicito se la memoria è insufficiente. Potrebbe essere necessario scaricare un modello più piccolo o aggiungere RAM/GPU.
• Driver GPU: Su sistemi Linux, assicurati che i driver della GPU siano correttamente installati e aggiornati. nvidia-smi (per NVIDIA) o rocminfo (per AMD) possono aiutare a diagnosticare problemi con la GPU.
• Conflitti di porta: Se l’API REST di Ollama (porta 11434) non è accessibile, verifica che non ci siano altri servizi in ascolto sulla stessa porta con sudo lsof -i :11434. Potrebbe essere necessario riavviare il servizio Ollama o modificarne la porta, anche se non è un’opzione di configurazione diretta di Ollama ma del sistema.
• Permessi: Lo script di installazione di Ollama gestisce i permessi, ma in casi rari, problemi sui permessi della directory di installazione o dei modelli (~/.ollama) possono causare errori. sudo chown -R $USER:$USER ~/.ollama può risolvere in alcuni casi.

FAQ — Domande Frequenti

Come posso aggiornare Ollama all’ultima versione?

Per aggiornare Ollama, puoi eseguire nuovamente lo script di installazione: curl -fsSL https://ollama.com/install.sh | sh. Questo scaricherà e installerà l’ultima versione disponibile, mantenendo i tuoi modelli esistenti. È buona pratica controllare periodicamente gli aggiornamenti per beneficiare delle ultime ottimizzazioni e funzionalità.

Posso eseguire più modelli contemporaneamente con Ollama?

Sì, Ollama supporta l’esecuzione di più modelli contemporaneamente, a patto che il tuo hardware abbia sufficiente RAM/VRAM per caricarli. Ogni modello caricato consumerà una parte delle risorse disponibili. Puoi avviare sessioni separate con ollama run e ollama run oppure interagire con diversi modelli tramite l’API.

Qual è la differenza tra ollama run e ollama serve?

ollama run avvia una sessione di chat interattiva con un modello specifico nel terminale corrente. ollama serve avvia il server Ollama in background, esponendo l’API REST sulla porta 11434, senza avviare una sessione di chat. Questo è il modo per rendere Ollama disponibile per applicazioni esterne o interfacce web come Open WebUI.

È possibile eseguire Ollama su Windows o macOS?

Sì, Ollama offre installatori nativi anche per Windows e macOS, permettendo di eseguire gli LLM in locale anche su questi sistemi operativi. L’esperienza d’uso e le funzionalità sono simili alla versione Linux, con gli stessi vantaggi in termini di privacy e controllo. Puoi trovare i download direttamente sul sito ufficiale di Ollama.

Conclusioni con takeaway operativi

L’esecuzione di LLM in locale tramite Ollama rappresenta un cambio di paradigma per le organizzazioni che cercano di sfruttare l’Intelligenza Artificiale senza compromettere la privacy dei dati o affrontare costi imprevedibili. L’installazione è banale, l’integrazione flessibile e il controllo totale. Ti consiglio di iniziare con Llama 3 8B, un modello robusto e versatile, e di esplorare l’integrazione tramite API REST per automatizzare i tuoi flussi di lavoro. Questo non è solo un risparmio economico, ma un investimento nella sicurezza e nell’autonomia della tua infrastruttura IT. Non lasciare che i tuoi dati sensibili finiscano nel cloud di qualcun altro quando puoi avere la stessa potenza computazionale in casa, con pieno controllo.

Leggi anche

Leggi anche: Hardening Linux Server Produzione: Checklist Completa (2026)

Leggi anche: Prometheus Grafana Linux: Monitoraggio Completo Server (2026)

Leggi anche: Cgroups Linux: Limitare Risorse CPU e RAM (2026)

Aggiornato: maggio 2026