{
"event": "PreToolUse",
"tool_name": "mcp__mcp-docs__docs_create",
"tool_input": {
"title": "Pipeline Qualitätsreport: LLM-Modellvergleich",
"slug": "pipeline-quality-report-llm-comparison",
"description": "Qualitätsvergleich von gemma3:4b-it-qat, gpt-oss:20b und Claude Opus für die Pipeline-Analyse",
"content": "<h1>Pipeline Qualitätsreport: LLM-Modellvergleich<\/h1>\n\n<p><strong>Datum:<\/strong> 2025-12-22<br>\n<strong>Testdokument:<\/strong> Lernunterlagen_Teamcoach-Ausbildung-2026_extrakt_auftragsklaerung.pdf<br>\n<strong>Dokumentgröße:<\/strong> 5 Seiten, 12 Chunks, 9.890 Zeichen<\/p>\n\n<h2>Getestete Modelle<\/h2>\n<table>\n<tr><th>Modell<\/th><th>Typ<\/th><th>Größe<\/th><th>Anbieter<\/th><\/tr>\n<tr><td>gemma3:4b-it-qat<\/td><td>Quantisiert<\/td><td>4 GB<\/td><td>Ollama (lokal)<\/td><\/tr>\n<tr><td>gpt-oss:20b<\/td><td>Full Precision<\/td><td>13 GB<\/td><td>Ollama (lokal)<\/td><\/tr>\n<tr><td>claude-opus-4-5-20251101<\/td><td>API<\/td><td>-<\/td><td>Anthropic<\/td><\/tr>\n<\/table>\n\n<h2>1. Entity Extraction<\/h2>\n\n<h3>Ergebnisübersicht<\/h3>\n<table>\n<tr><th>Modell<\/th><th>Entitäten<\/th><th>Zeit<\/th><th>Tokens<\/th><th>Qualität<\/th><\/tr>\n<tr><td>gemma3:4b-it-qat<\/td><td><strong>19<\/strong><\/td><td>17.2s<\/td><td>712<\/td><td>⭐⭐⭐⭐<\/td><\/tr>\n<tr><td>gpt-oss:20b<\/td><td>0<\/td><td>4.9s<\/td><td>74<\/td><td>❌ JSON-Fehler<\/td><\/tr>\n<tr><td>Claude Opus<\/td><td>12<\/td><td>9.7s<\/td><td>1899<\/td><td>⭐⭐⭐⭐⭐<\/td><\/tr>\n<\/table>\n\n<h3>Extrahierte Entitäten (Top 5 pro Modell)<\/h3>\n\n<h4>gemma3:4b-it-qat<\/h4>\n<ul>\n<li>Systemischer Teamcoach (CONCEPT)<\/li>\n<li>Teamentwicklung (CONCEPT)<\/li>\n<li>Konfliktklärung (CONCEPT)<\/li>\n<li>Entscheidungsfindung (CONCEPT)<\/li>\n<li>Teambuilding (CONCEPT)<\/li>\n<\/ul>\n<p><em>Bewertung: Sehr umfassend, findet auch implizite Konzepte<\/em><\/p>\n\n<h4>Claude Opus<\/h4>\n<ul>\n<li>Auftragsklärung (CONCEPT)<\/li>\n<li>Teambuilding (CONCEPT)<\/li>\n<li>Prozessbegleitung (CONCEPT)<\/li>\n<li>Teamentwicklung (CONCEPT)<\/li>\n<li>Teamcoaching (CONCEPT)<\/li>\n<\/ul>\n<p><em>Bewertung: Präzise, fokussiert auf Kernkonzepte<\/em><\/p>\n\n<h4>gpt-oss:20b<\/h4>\n<p>❌ <strong>Keine valide JSON-Ausgabe.<\/strong> Das Modell ignorierte die Formatierungsanweisung und produzierte Freitext.<\/p>\n\n<h2>2. Taxonomy Classification<\/h2>\n\n<table>\n<tr><th>Modell<\/th><th>Kategorien<\/th><th>Konfidenz<\/th><\/tr>\n<tr><td>gemma3:4b-it-qat<\/td><td>Theorie, Methoden, Praxis<\/td><td>0.95<\/td><\/tr>\n<tr><td>gpt-oss:20b<\/td><td>-<\/td><td>0<\/td><\/tr>\n<tr><td>Claude Opus<\/td><td>Organisation, Methoden, Kommunikation<\/td><td>0.85<\/td><\/tr>\n<\/table>\n\n<h3>Analyse<\/h3>\n<ul>\n<li><strong>gemma3:<\/strong> Betont den Lerncharakter (Theorie\/Praxis)<\/li>\n<li><strong>Claude Opus:<\/strong> Betont den prozessualen Charakter (Organisation\/Kommunikation)<\/li>\n<\/ul>\n<p>Beide Klassifikationen sind valide und zeigen unterschiedliche Perspektiven auf denselben Text.<\/p>\n\n<h2>3. Question Generation<\/h2>\n\n<h3>gemma3:4b-it-qat (3 Fragen, 3.7s)<\/h3>\n<ol>\n<li><strong>Was ist die zentrale Aussage bezüglich Auftragsklärung?<\/strong><br>\n→ Die Wichtigkeit einer guten Auftragsklärung kann gar nicht stark genug betont werden.<\/li>\n<li><strong>Welche Aussage wird getroffen, dass sich je nach Kontext ändert?<\/strong><br>\n→ Je nachdem, um was es geht, wirst du nicht nur einen anderen 'Hut' aufsetzen...<\/li>\n<li><strong>Welche beiden Fragen werden als Ausgangspunkt für die Auftragsklärung genannt?<\/strong><br>\n→ Worum genau geht es? Und worum geht es wirklich?<\/li>\n<\/ol>\n\n<h3>Claude Opus (3 Fragen, 6.7s)<\/h3>\n<ol>\n<li><strong>Warum ist die Auftragsklärung mehr als nur eine Serviceleistung?<\/strong><br>\n→ Die Auftragsklärung ist bereits eine erste Intervention, da sie den Prozess aktiviert...<\/li>\n<li><strong>Welche zwei zentralen Fragen sollten zu Beginn einer Auftragsklärung gestellt werden?<\/strong><br>\n→ 'Worum genau geht es?' und 'Und worum geht es wirklich?'<\/li>\n<li><strong>Warum beeinflusst die Art des Auftrags die Arbeitsweise des Coaches?<\/strong><br>\n→ Je nach Auftragsart nimmt der Coach eine andere Rolle ein...<\/li>\n<\/ol>\n\n<h3>Vergleich der Fragenqualität<\/h3>\n<table>\n<tr><th>Kriterium<\/th><th>gemma3<\/th><th>Claude Opus<\/th><\/tr>\n<tr><td>Klarheit<\/td><td>⭐⭐⭐⭐<\/td><td>⭐⭐⭐⭐⭐<\/td><\/tr>\n<tr><td>Tiefgang<\/td><td>⭐⭐⭐<\/td><td>⭐⭐⭐⭐⭐<\/td><\/tr>\n<tr><td>Antwortqualität<\/td><td>⭐⭐⭐⭐<\/td><td>⭐⭐⭐⭐⭐<\/td><\/tr>\n<tr><td>Geschwindigkeit<\/td><td>⭐⭐⭐⭐⭐<\/td><td>⭐⭐⭐<\/td><\/tr>\n<\/table>\n\n<h2>Gesamtbewertung<\/h2>\n\n<table>\n<tr><th>Modell<\/th><th>Gesamt-Zeit<\/th><th>JSON-Compliance<\/th><th>Qualität<\/th><th>Kosten<\/th><th>Empfehlung<\/th><\/tr>\n<tr><td>gemma3:4b-it-qat<\/td><td>23.0s<\/td><td>✅ 100%<\/td><td>⭐⭐⭐⭐<\/td><td>Kostenlos<\/td><td><strong>⭐ Beste Wahl für Pipeline<\/strong><\/td><\/tr>\n<tr><td>gpt-oss:20b<\/td><td>10.6s<\/td><td>❌ 0%<\/td><td>-<\/td><td>Kostenlos<\/td><td>Nicht geeignet<\/td><\/tr>\n<tr><td>Claude Opus<\/td><td>20.3s<\/td><td>✅ 100%<\/td><td>⭐⭐⭐⭐⭐<\/td><td>~$0.05\/Anfrage<\/td><td>Beste Qualität, aber teuer<\/td><\/tr>\n<\/table>\n\n<h2>Empfehlungen<\/h2>\n\n<h3>Für die Pipeline (Massenverarbeitung)<\/h3>\n<p><strong>→ gemma3:4b-it-qat<\/strong><\/p>\n<ul>\n<li>Exzellente JSON-Compliance<\/li>\n<li>Gute Balance aus Geschwindigkeit und Qualität<\/li>\n<li>Kostenlos und lokal<\/li>\n<li>Findet mehr Entitäten als Claude Opus<\/li>\n<\/ul>\n\n<h3>Für Premium-Analyse<\/h3>\n<p><strong>→ Claude Opus<\/strong><\/p>\n<ul>\n<li>Höchste Antwortqualität<\/li>\n<li>Bessere Begründungen und Tiefgang<\/li>\n<li>Für wichtige Dokumente oder Qualitätskontrolle<\/li>\n<\/ul>\n\n<h3>Nicht empfohlen<\/h3>\n<p><strong>❌ gpt-oss:20b<\/strong><\/p>\n<ul>\n<li>Ignoriert JSON-Formatierungsanweisungen<\/li>\n<li>Für strukturierte Ausgabe ungeeignet<\/li>\n<li>Möglicherweise für freie Textgenerierung geeignet<\/li>\n<\/ul>\n\n<h2>Konfigurationsempfehlung<\/h2>\n<pre><code>\n# config.py\nDEFAULT_ANALYSIS_MODEL = \"gemma3:4b-it-qat\" # Lokal, schnell, zuverlässig\nPREMIUM_ANALYSIS_MODEL = \"claude-opus-4-5-20251101\" # Für wichtige Dokumente\n\n# Pipeline Steps\nsteps:\n - vision_analyze: minicpm-v:latest # Vision bleibt bei MiniCPM\n - entity_extraction: gemma3:4b-it-qat\n - taxonomy_classification: gemma3:4b-it-qat\n - question_generation: gemma3:4b-it-qat # Oder Claude für Premium\n<\/code><\/pre>\n",
"status": "published"
}
}
{
"tool_response": [
{
"type": "text",
"text": "{\n \"success\": true,\n \"doc\": {\n \"id\": 89,\n \"parent_id\": null,\n \"slug\": \"pipeline-quality-report-llm-comparison\",\n \"path\": \"\/pipeline-quality-report-llm-comparison\",\n \"title\": \"Pipeline Qualitätsreport: LLM-Modellvergleich\",\n \"description\": \"Qualitätsvergleich von gemma3:4b-it-qat, gpt-oss:20b und Claude Opus für die Pipeline-Analyse\",\n \"content\": \"<h1>Pipeline Qualitätsreport: LLM-Modellvergleich<\/h1>\\n\\n<p><strong>Datum:<\/strong> 2025-12-22<br>\\n<strong>Testdokument:<\/strong> Lernunterlagen_Teamcoach-Ausbildung-2026_extrakt_auftragsklaerung.pdf<br>\\n<strong>Dokumentgröße:<\/strong> 5 Seiten, 12 Chunks, 9.890 Zeichen<\/p>\\n\\n<h2>Getestete Modelle<\/h2>\\n<table>\\n<tr><th>Modell<\/th><th>Typ<\/th><th>Größe<\/th><th>Anbieter<\/th><\/tr>\\n<tr><td>gemma3:4b-it-qat<\/td><td>Quantisiert<\/td><td>4 GB<\/td><td>Ollama (lokal)<\/td><\/tr>\\n<tr><td>gpt-oss:20b<\/td><td>Full Precision<\/td><td>13 GB<\/td><td>Ollama (lokal)<\/td><\/tr>\\n<tr><td>claude-opus-4-5-20251101<\/td><td>API<\/td><td>-<\/td><td>Anthropic<\/td><\/tr>\\n<\/table>\\n\\n<h2>1. Entity Extraction<\/h2>\\n\\n<h3>Ergebnisübersicht<\/h3>\\n<table>\\n<tr><th>Modell<\/th><th>Entitäten<\/th><th>Zeit<\/th><th>Tokens<\/th><th>Qualität<\/th><\/tr>\\n<tr><td>gemma3:4b-it-qat<\/td><td><strong>19<\/strong><\/td><td>17.2s<\/td><td>712<\/td><td>⭐⭐⭐⭐<\/td><\/tr>\\n<tr><td>gpt-oss:20b<\/td><td>0<\/td><td>4.9s<\/td><td>74<\/td><td>❌ JSON-Fehler<\/td><\/tr>\\n<tr><td>Claude Opus<\/td><td>12<\/td><td>9.7s<\/td><td>1899<\/td><td>⭐⭐⭐⭐⭐<\/td><\/tr>\\n<\/table>\\n\\n<h3>Extrahierte Entitäten (Top 5 pro Modell)<\/h3>\\n\\n<h4>gemma3:4b-it-qat<\/h4>\\n<ul>\\n<li>Systemischer Teamcoach (CONCEPT)<\/li>\\n<li>Teamentwicklung (CONCEPT)<\/li>\\n<li>Konfliktklärung (CONCEPT)<\/li>\\n<li>Entscheidungsfindung (CONCEPT)<\/li>\\n<li>Teambuilding (CONCEPT)<\/li>\\n<\/ul>\\n<p><em>Bewertung: Sehr umfassend, findet auch implizite Konzepte<\/em><\/p>\\n\\n<h4>Claude Opus<\/h4>\\n<ul>\\n<li>Auftragsklärung (CONCEPT)<\/li>\\n<li>Teambuilding (CONCEPT)<\/li>\\n<li>Prozessbegleitung (CONCEPT)<\/li>\\n<li>Teamentwicklung (CONCEPT)<\/li>\\n<li>Teamcoaching (CONCEPT)<\/li>\\n<\/ul>\\n<p><em>Bewertung: Präzise, fokussiert auf Kernkonzepte<\/em><\/p>\\n\\n<h4>gpt-oss:20b<\/h4>\\n<p>❌ <strong>Keine valide JSON-Ausgabe.<\/strong> Das Modell ignorierte die Formatierungsanweisung und produzierte Freitext.<\/p>\\n\\n<h2>2. Taxonomy Classification<\/h2>\\n\\n<table>\\n<tr><th>Modell<\/th><th>Kategorien<\/th><th>Konfidenz<\/th><\/tr>\\n<tr><td>gemma3:4b-it-qat<\/td><td>Theorie, Methoden, Praxis<\/td><td>0.95<\/td><\/tr>\\n<tr><td>gpt-oss:20b<\/td><td>-<\/td><td>0<\/td><\/tr>\\n<tr><td>Claude Opus<\/td><td>Organisation, Methoden, Kommunikation<\/td><td>0.85<\/td><\/tr>\\n<\/table>\\n\\n<h3>Analyse<\/h3>\\n<ul>\\n<li><strong>gemma3:<\/strong> Betont den Lerncharakter (Theorie\/Praxis)<\/li>\\n<li><strong>Claude Opus:<\/strong> Betont den prozessualen Charakter (Organisation\/Kommunikation)<\/li>\\n<\/ul>\\n<p>Beide Klassifikationen sind valide und zeigen unterschiedliche Perspektiven auf denselben Text.<\/p>\\n\\n<h2>3. Question Generation<\/h2>\\n\\n<h3>gemma3:4b-it-qat (3 Fragen, 3.7s)<\/h3>\\n<ol>\\n<li><strong>Was ist die zentrale Aussage bezüglich Auftragsklärung?<\/strong><br>\\n→ Die Wichtigkeit einer guten Auftragsklärung kann gar nicht stark genug betont werden.<\/li>\\n<li><strong>Welche Aussage wird getroffen, dass sich je nach Kontext ändert?<\/strong><br>\\n→ Je nachdem, um was es geht, wirst du nicht nur einen anderen 'Hut' aufsetzen...<\/li>\\n<li><strong>Welche beiden Fragen werden als Ausgangspunkt für die Auftragsklärung genannt?<\/strong><br>\\n→ Worum genau geht es? Und worum geht es wirklich?<\/li>\\n<\/ol>\\n\\n<h3>Claude Opus (3 Fragen, 6.7s)<\/h3>\\n<ol>\\n<li><strong>Warum ist die Auftragsklärung mehr als nur eine Serviceleistung?<\/strong><br>\\n→ Die Auftragsklärung ist bereits eine erste Intervention, da sie den Prozess aktiviert...<\/li>\\n<li><strong>Welche zwei zentralen Fragen sollten zu Beginn einer Auftragsklärung gestellt werden?<\/strong><br>\\n→ 'Worum genau geht es?' und 'Und worum geht es wirklich?'<\/li>\\n<li><strong>Warum beeinflusst die Art des Auftrags die Arbeitsweise des Coaches?<\/strong><br>\\n→ Je nach Auftragsart nimmt der Coach eine andere Rolle ein...<\/li>\\n<\/ol>\\n\\n<h3>Vergleich der Fragenqualität<\/h3>\\n<table>\\n<tr><th>Kriterium<\/th><th>gemma3<\/th><th>Claude Opus<\/th><\/tr>\\n<tr><td>Klarheit<\/td><td>⭐⭐⭐⭐<\/td><td>⭐⭐⭐⭐⭐<\/td><\/tr>\\n<tr><td>Tiefgang<\/td><td>⭐⭐⭐<\/td><td>⭐⭐⭐⭐⭐<\/td><\/tr>\\n<tr><td>Antwortqualität<\/td><td>⭐⭐⭐⭐<\/td><td>⭐⭐⭐⭐⭐<\/td><\/tr>\\n<tr><td>Geschwindigkeit<\/td><td>⭐⭐⭐⭐⭐<\/td><td>⭐⭐⭐<\/td><\/tr>\\n<\/table>\\n\\n<h2>Gesamtbewertung<\/h2>\\n\\n<table>\\n<tr><th>Modell<\/th><th>Gesamt-Zeit<\/th><th>JSON-Compliance<\/th><th>Qualität<\/th><th>Kosten<\/th><th>Empfehlung<\/th><\/tr>\\n<tr><td>gemma3:4b-it-qat<\/td><td>23.0s<\/td><td>✅ 100%<\/td><td>⭐⭐⭐⭐<\/td><td>Kostenlos<\/td><td><strong>⭐ Beste Wahl für Pipeline<\/strong><\/td><\/tr>\\n<tr><td>gpt-oss:20b<\/td><td>10.6s<\/td><td>❌ 0%<\/td><td>-<\/td><td>Kostenlos<\/td><td>Nicht geeignet<\/td><\/tr>\\n<tr><td>Claude Opus<\/td><td>20.3s<\/td><td>✅ 100%<\/td><td>⭐⭐⭐⭐⭐<\/td><td>~$0.05\/Anfrage<\/td><td>Beste Qualität, aber teuer<\/td><\/tr>\\n<\/table>\\n\\n<h2>Empfehlungen<\/h2>\\n\\n<h3>Für die Pipeline (Massenverarbeitung)<\/h3>\\n<p><strong>→ gemma3:4b-it-qat<\/strong><\/p>\\n<ul>\\n<li>Exzellente JSON-Compliance<\/li>\\n<li>Gute Balance aus Geschwindigkeit und Qualität<\/li>\\n<li>Kostenlos und lokal<\/li>\\n<li>Findet mehr Entitäten als Claude Opus<\/li>\\n<\/ul>\\n\\n<h3>Für Premium-Analyse<\/h3>\\n<p><strong>→ Claude Opus<\/strong><\/p>\\n<ul>\\n<li>Höchste Antwortqualität<\/li>\\n<li>Bessere Begründungen und Tiefgang<\/li>\\n<li>Für wichtige Dokumente oder Qualitätskontrolle<\/li>\\n<\/ul>\\n\\n<h3>Nicht empfohlen<\/h3>\\n<p><strong>❌ gpt-oss:20b<\/strong><\/p>\\n<ul>\\n<li>Ignoriert JSON-Formatierungsanweisungen<\/li>\\n<li>Für strukturierte Ausgabe ungeeignet<\/li>\\n<li>Möglicherweise für freie Textgenerierung geeignet<\/li>\\n<\/ul>\\n\\n<h2>Konfigurationsempfehlung<\/h2>\\n<pre><code>\\n# config.py\\nDEFAULT_ANALYSIS_MODEL = \\\"gemma3:4b-it-qat\\\" # Lokal, schnell, zuverlässig\\nPREMIUM_ANALYSIS_MODEL = \\\"claude-opus-4-5-20251101\\\" # Für wichtige Dokumente\\n\\n# Pipeline Steps\\nsteps:\\n - vision_analyze: minicpm-v:latest # Vision bleibt bei MiniCPM\\n - entity_extraction: gemma3:4b-it-qat\\n - taxonomy_classification: gemma3:4b-it-qat\\n - question_generation: gemma3:4b-it-qat # Oder Claude für Premium\\n<\/code><\/pre>\\n\",\n \"status\": \"published\",\n \"sort_order\": 0,\n \"depth\": 0,\n \"created_at\": \"2025-12-22T21:34:49\",\n \"updated_at\": \"2025-12-22T21:34:49\"\n },\n \"message\": \"Dokument 'Pipeline Qualitätsreport: LLM-Modellvergleich' erstellt mit ID 89\"\n}"
}
]
}