Fine-Tuning

Fine-Tuning ist ein Verfahren, bei dem ein vortrainiertes LLM mit eigenen Daten weitertrainiert wird. Das Modell lernt dadurch domainspezifische Sprache, gewuenschten Stil oder spezifische Aufgabenmuster - Dinge, die sich durch Prompt Engineering allein nicht zuverlaessig erreichen lassen.

Wann Fine-Tuning sinnvoll ist

Spezifische Tonalitaet und Stil: Das Modell soll konsistent im Ton Ihrer Marke antworten - ueber tausende Interaktionen hinweg, ohne dass der Stil per Prompt "erzwungen" werden muss.

Domainspezifische Fachsprache: Medizinische, juristische oder technische Terminologie, die in allgemeinen Modellen unterrepresentiert ist.

Konsistentes Output-Format: Wenn die Ausgabe immer einem exakten Schema folgen muss (z.B. strukturierte Datenextraktion), ist Fine-Tuning zuverlaessiger als Prompting.

Latenz-Anforderungen: Fine-Tuned Modelle brauchen keinen Retrieval-Schritt. Bei zeitkritischen Anwendungen kann das entscheidend sein.

Wann Fine-Tuning NICHT sinnvoll ist

Zugriff auf aktuelle Daten: Fine-Tuning "friert" Wissen ein. Fuer aktuelle Informationen ist RAG die bessere Wahl.

Wenig Trainingsdaten: Unter 100-200 qualitativ hochwertigen Beispielen ist Fine-Tuning selten effektiv.

Einfache Anpassungen: Wenn Prompt Engineering oder Few-Shot das Problem loest, ist Fine-Tuning Overkill.

Schnelle Iteration: Fine-Tuning braucht Datenaufbereitung, Training und Evaluation. Fuer schnelle Experimente ist das zu langsam.

Der Fine-Tuning-Prozess

1. Datenaufbereitung: Trainingsdaten als Input-Output-Paare erstellen. Qualitaet schlaegt Quantitaet - 500 hervorragende Beispiele sind besser als 5.000 mittelmassige.

2. Basismodell waehlen: GPT-4o mini, Llama 3, Mistral - je nach Use-Case, Budget und Datensouveraenitaet.

3. Training: Bei Cloud-Anbietern (OpenAI, Azure) dauert das Minuten bis Stunden. Bei Open-Source-Modellen braucht es GPU-Infrastruktur.

4. Evaluation: Systematisch testen mit Beispielen, die NICHT im Training waren. Automatisierte Metriken plus menschliche Bewertung.

5. Iteration: Selten funktioniert die erste Version perfekt. Trainingsdaten anpassen, erneut trainieren, wieder testen.

Kosten und Aufwand

Cloud Fine-Tuning (OpenAI, Azure): Training ab 10-500 Euro, Inference-Kosten aehnlich wie Basis-Modell. Geringer Infrastruktur-Aufwand.

Open-Source Fine-Tuning (Llama, Mistral): GPU-Kosten 100-1.000 Euro pro Trainingsrun. Dafuer volle Kontrolle und keine laufenden API-Kosten.

Der groesste Kostenblock: Nicht das Training selbst, sondern die Datenaufbereitung. Hochwertige Trainingsdaten zu erstellen dauert Tage bis Wochen.

Fine-Tuning vs. RAG

In den meisten Faellen ist RAG der bessere Startpunkt. Fine-Tuning kommt ins Spiel, wenn RAG an seine Grenzen stoesst - oder wenn beide Ansaetze kombiniert werden: Fine-Tuning fuer Stil und Format, RAG fuer aktuelles Faktenwissen.