Local AI: come girare modelli potenti sul proprio PC nel 2025

Grazie a tecniche di quantizzazione, modelli da 70 miliardi di parametri che richiedevano cluster GPU da centinaia di migliaia di euro girano oggi su una RTX 4090 consumer. La qualità non eguaglia GPT-4, ma per molti use case è sufficiente.

Ollama è lo strumento più facile per iniziare: un singolo comando scarica e avvia Llama 3, Mistral o Gemma. LM Studio offre un'interfaccia grafica intuiti...