{
"tool_response": [
{
"type": "text",
"text": "{\n \"success\": true,\n \"doc\": {\n \"id\": 112,\n \"parent_id\": 100,\n \"slug\": \"chunking\",\n \"path\": \"\/prozesse\/rag-prozess\/chunking\",\n \"title\": \"Chunking\",\n \"description\": \"Texte in semantische Einheiten zerlegen mit Overlap\",\n \"content\": \"\\n<p class=\\\"doc-meta\\\"><strong>Erstellt:<\/strong> 2025-12-24 | <strong>Aktualisiert:<\/strong> 2025-12-24<\/p>\\n<h2>Chunking (Phase 2-3)<\/h2>\\n\\n<h3>Ziel<\/h3>\\n<p>Der gespeicherte Volltext wird in explizite Struktureinheiten zerlegt und daraus technisch handhabbare Verarbeitungseinheiten (Chunks) erzeugt. Chunking ist eine technische Maßnahme, keine semantische Interpretation.<\/p>\\n\\n<h3>Phase 2: Strukturelle Zerlegung<\/h3>\\n\\n<h4>Seitenzerlegung<\/h4>\\n<ul>\\n <li>Text wird in Seiten zerlegt (sofern Ursprungsformat Seiten kennt)<\/li>\\n <li>Eindeutige und stabile Seitenreihenfolge<\/li>\\n <li>Jede Seite erhält: Seiten-ID, Position, Dokument-Referenz<\/li>\\n<\/ul>\\n\\n<h4>Semantische Abschnitte<\/h4>\\n<ul>\\n <li>Kapitel und Überschriftenbereiche<\/li>\\n <li>Logisch zusammenhängende Sinnblöcke<\/li>\\n <li>Erkennung über explizite Überschriftenstrukturen und formale Marker<\/li>\\n<\/ul>\\n\\n<h3>Phase 3: Chunk-Erzeugung<\/h3>\\n\\n<h4>Chunking-Regeln<\/h4>\\n<table>\\n <thead><tr><th>Parameter<\/th><th>Wert<\/th><th>Beschreibung<\/th><\/tr><\/thead>\\n <tbody>\\n <tr><td>chunk_size<\/td><td>500-800 Token<\/td><td>Zielgröße pro Chunk<\/td><\/tr>\\n <tr><td>overlap<\/td><td>50-100 Token<\/td><td>Überlappung für Kontextstabilisierung<\/td><\/tr>\\n <tr><td>max_embed_chars<\/td><td>800 Zeichen<\/td><td>Limit für mxbai-embed-large<\/td><\/tr>\\n <\/tbody>\\n<\/table>\\n\\n<h4>Erzeugungsregeln<\/h4>\\n<ul>\\n <li>Jeder Chunk entsteht aus genau einem Abschnitt<\/li>\\n <li>Ein Abschnitt kann mehrere Chunks erzeugen<\/li>\\n <li>Kein Chunk überschreitet Abschnittsgrenzen<\/li>\\n <li>Erhalt vollständiger Sätze<\/li>\\n<\/ul>\\n\\n<h4>Semantische Rolle<\/h4>\\n<p>Jedem Chunk wird eine semantische Rolle zugewiesen:<\/p>\\n<ul>\\n <li>Fließtext<\/li>\\n <li>Definition<\/li>\\n <li>Aufzählung<\/li>\\n <li>Beispiel<\/li>\\n <li>Sonstiges<\/li>\\n<\/ul>\\n\\n<h3>Chunk-Metadaten<\/h3>\\n<ul>\\n <li>Stabile Chunk-ID (unabhängig von Speicherung in anderen Systemen)<\/li>\\n <li>Referenz auf Dokumenten-ID und Abschnitts-ID<\/li>\\n <li>Positionsangabe innerhalb des Abschnitts<\/li>\\n <li>Vollständiger Chunk-Text<\/li>\\n <li>Token-Count und Heading-Path<\/li>\\n<\/ul>\\n\\n<h3>Beteiligte Komponenten<\/h3>\\n<table>\\n <thead><tr><th>Komponente<\/th><th>Pfad<\/th><th>Funktion<\/th><\/tr><\/thead>\\n <tbody>\\n <tr><td>chunk_document()<\/td><td><code>pipeline\/chunk.py<\/code><\/td><td>Chunking-Logik<\/td><\/tr>\\n <tr><td>chunks-Tabelle<\/td><td><code>ki_content.chunks<\/code><\/td><td>Chunk-Speicherung (SQL = Source of Truth)<\/td><\/tr>\\n <\/tbody>\\n<\/table>\\n\\n<h3>Datenbank-Schema<\/h3>\\n<pre>\\nchunks:\\n id, document_id, section_id, chunk_index, content,\\n token_count, heading_path, semantic_role, metadata,\\n qdrant_id, created_at\\n<\/pre>\\n\\n<h3>Prüfbedingungen für Supervision<\/h3>\\n<ul>\\n <li>Jeder Chunk ist exakt einem Abschnitt zugeordnet<\/li>\\n <li>Kein Chunk überschreitet Abschnittsgrenzen<\/li>\\n <li>Chunk-Erzeugung ist reproduzierbar bei identischem Input<\/li>\\n <li>Alle Chunks sind in der SQL-Datenbank vollständig gespeichert (nicht nur in Qdrant!)<\/li>\\n<\/ul>\",\n \"status\": \"published\",\n \"sort_order\": 2,\n \"depth\": 2,\n \"created_at\": \"2025-12-24T09:59:21\",\n \"updated_at\": \"2025-12-27T15:58:19\"\n }\n}"
}
]
}