LLM fine-tuning in locale con Ollama: la mia esperienza

Ho passato il weekend a fare fine-tuning di Mistral 7B in locale per un task specifico. Risultati misti ma interessanti. Setup usato: - Ollama per il serving - Unsloth per il fine-tuning (4x più veloce di HuggingFace vanilla) - Dataset sintetico generato con GPT-4o - RTX 4070 (12GB VRAM) — giusto al limite Il modello fine-tunato batte GPT-3.5 sul task specifico ma perde su generalizzazione. Esattamente come ci si aspetta. Qualcuno ha fatto cose simili? 🤖