{
"event": "PreToolUse",
"tool_name": "mcp__mcp-tasks__tasks_create",
"tool_input": {
"title": "Pipeline: document_pages Integration",
"type": "ai_task",
"description": "## Ziel\nIntegration der Seiten-Ebene in die Document-Pipeline. Nach PDF-Extraktion sollen einzelne Seiten in `document_pages` gespeichert werden.\n\n## Ist-Zustand\n- `documents` Tabelle: 1 Dokument ✓\n- `document_pages` Tabelle: 0 Zeilen ✗ (nicht befüllt)\n- `chunks` Tabelle: 4 Zeilen ✓\n\n## Soll-Zustand\nDrei-Ebenen-Hierarchie:\n1. **Dokument** → `documents` (Gesamtdokument)\n2. **Seiten** → `document_pages` (pro PDF-Seite)\n3. **Chunks** → `chunks` (semantische Abschnitte)\n\n## Technischer Kontext\n\n### Datenbank-Schema `document_pages` (ki_content)\n```sql\nid INT AUTO_INCREMENT PRIMARY KEY\ndocument_id INT NOT NULL (FK → documents.id)\npage_number INT NOT NULL\nimage_path VARCHAR(500) -- optional: Seiten-Bild für Vision\ntext_content TEXT -- extrahierter Text dieser Seite\nvision_analysis LONGTEXT -- JSON: Vision-Analyse (optional)\nocr_applied TINYINT DEFAULT 0\ntoken_count INT\ncreated_at DATETIME DEFAULT CURRENT_TIMESTAMP\n```\n\n### Existierende Code-Basis\n\n**1. `\/var\/www\/scripts\/pipeline\/step_extract.py`**\n- Extrahiert PDF-Seiten, gibt `extraction[\"content\"]` als Liste zurück\n- Zählt bereits `total_pages` (Zeile 79-81)\n- **Integration hier:** Nach Extraktion Seiten in `document_pages` speichern\n\n**2. `\/var\/www\/scripts\/pipeline\/vision.py`**\n- Enthält bereits `pdf_to_images()` für Seiten-Bilder\n- Enthält INSERT-Code für `document_pages` (Zeile 235-247)\n- **Kann als Vorlage dienen**\n\n**3. `\/var\/www\/scripts\/pipeline\/enrich.py`**\n- Liest bereits aus `document_pages` (Zeile 26-28)\n- Erwartet `document_pages.text_content` für Chunk-Anreicherung\n\n### Pipeline-Architektur\n```\nCLAUDE.md: \/var\/www\/CLAUDE.md\nProjekt-Root: \/var\/www\/dev.campus.systemische-tools.de\/\nPipeline: \/var\/www\/scripts\/pipeline\/\n\nPipeline-Steps:\n1. step_extract.py → Text extrahieren\n2. step_transform.py → Chunking\n3. step_embed.py → Embeddings\n4. (NEU) → document_pages befüllen\n```\n\n### MCP-Tools (Pflicht für DB-Zugriff)\n- `db_insert(table, data, database=\"ki_content\")` - Zeilen einfügen\n- `db_select(query, database)` - Lesen\n- `db_describe(table, database)` - Schema prüfen\n\n## Implementierungsplan\n\n### Option A: In step_extract.py integrieren\nNach erfolgreicher Extraktion (Zeile 85-91):\n```python\n# Store pages for PDFs\nif extraction[\"file_type\"] == \".pdf\" and isinstance(extraction.get(\"content\"), list):\n for i, page_content in enumerate(extraction[\"content\"]):\n # Insert into document_pages\n db.execute(\n \"\"\"INSERT INTO document_pages \n (document_id, page_number, text_content, token_count, created_at)\n VALUES (%s, %s, %s, %s, NOW())\"\"\",\n (document_id, i + 1, page_content[\"text\"], len(page_content[\"text\"].split()))\n )\n db.commit()\n```\n\n### Option B: Eigener Step `step_pages.py`\nSeparater Pipeline-Step nach Extraktion, vor Chunking.\n\n## Abhängigkeiten\n- `document_id` muss vor Page-Insert existieren → in `step_load.py` erstellt\n- Chunks referenzieren später Seiten über `metadata.page`\n\n## Qualitätskriterien\n1. Alle PDF-Seiten in `document_pages` gespeichert\n2. `text_content` enthält Seiten-Text\n3. `page_number` korrekt (1-basiert)\n4. Provenance-Logging\n5. `\/var\/www\/scripts\/php-check.sh` muss bestehen (wenn PHP berührt)\n\n## Testfall\nNach Pipeline-Lauf für 1 PDF mit 4 Seiten:\n- `SELECT COUNT(*) FROM document_pages WHERE document_id = 1` → 4"
}
}
{
"tool_response": [
{
"type": "text",
"text": "{\n \"success\": true,\n \"task\": {\n \"id\": 419,\n \"uuid\": \"a7e1ec77-01ae-4454-a8bf-84521bc565ce\",\n \"title\": \"Pipeline: document_pages Integration\",\n \"description\": \"## Ziel\\nIntegration der Seiten-Ebene in die Document-Pipeline. Nach PDF-Extraktion sollen einzelne Seiten in `document_pages` gespeichert werden.\\n\\n## Ist-Zustand\\n- `documents` Tabelle: 1 Dokument ✓\\n- `document_pages` Tabelle: 0 Zeilen ✗ (nicht befüllt)\\n- `chunks` Tabelle: 4 Zeilen ✓\\n\\n## Soll-Zustand\\nDrei-Ebenen-Hierarchie:\\n1. **Dokument** → `documents` (Gesamtdokument)\\n2. **Seiten** → `document_pages` (pro PDF-Seite)\\n3. **Chunks** → `chunks` (semantische Abschnitte)\\n\\n## Technischer Kontext\\n\\n### Datenbank-Schema `document_pages` (ki_content)\\n```sql\\nid INT AUTO_INCREMENT PRIMARY KEY\\ndocument_id INT NOT NULL (FK → documents.id)\\npage_number INT NOT NULL\\nimage_path VARCHAR(500) -- optional: Seiten-Bild für Vision\\ntext_content TEXT -- extrahierter Text dieser Seite\\nvision_analysis LONGTEXT -- JSON: Vision-Analyse (optional)\\nocr_applied TINYINT DEFAULT 0\\ntoken_count INT\\ncreated_at DATETIME DEFAULT CURRENT_TIMESTAMP\\n```\\n\\n### Existierende Code-Basis\\n\\n**1. `\/var\/www\/scripts\/pipeline\/step_extract.py`**\\n- Extrahiert PDF-Seiten, gibt `extraction[\\\"content\\\"]` als Liste zurück\\n- Zählt bereits `total_pages` (Zeile 79-81)\\n- **Integration hier:** Nach Extraktion Seiten in `document_pages` speichern\\n\\n**2. `\/var\/www\/scripts\/pipeline\/vision.py`**\\n- Enthält bereits `pdf_to_images()` für Seiten-Bilder\\n- Enthält INSERT-Code für `document_pages` (Zeile 235-247)\\n- **Kann als Vorlage dienen**\\n\\n**3. `\/var\/www\/scripts\/pipeline\/enrich.py`**\\n- Liest bereits aus `document_pages` (Zeile 26-28)\\n- Erwartet `document_pages.text_content` für Chunk-Anreicherung\\n\\n### Pipeline-Architektur\\n```\\nCLAUDE.md: \/var\/www\/CLAUDE.md\\nProjekt-Root: \/var\/www\/dev.campus.systemische-tools.de\/\\nPipeline: \/var\/www\/scripts\/pipeline\/\\n\\nPipeline-Steps:\\n1. step_extract.py → Text extrahieren\\n2. step_transform.py → Chunking\\n3. step_embed.py → Embeddings\\n4. (NEU) → document_pages befüllen\\n```\\n\\n### MCP-Tools (Pflicht für DB-Zugriff)\\n- `db_insert(table, data, database=\\\"ki_content\\\")` - Zeilen einfügen\\n- `db_select(query, database)` - Lesen\\n- `db_describe(table, database)` - Schema prüfen\\n\\n## Implementierungsplan\\n\\n### Option A: In step_extract.py integrieren\\nNach erfolgreicher Extraktion (Zeile 85-91):\\n```python\\n# Store pages for PDFs\\nif extraction[\\\"file_type\\\"] == \\\".pdf\\\" and isinstance(extraction.get(\\\"content\\\"), list):\\n for i, page_content in enumerate(extraction[\\\"content\\\"]):\\n # Insert into document_pages\\n db.execute(\\n \\\"\\\"\\\"INSERT INTO document_pages \\n (document_id, page_number, text_content, token_count, created_at)\\n VALUES (%s, %s, %s, %s, NOW())\\\"\\\"\\\",\\n (document_id, i + 1, page_content[\\\"text\\\"], len(page_content[\\\"text\\\"].split()))\\n )\\n db.commit()\\n```\\n\\n### Option B: Eigener Step `step_pages.py`\\nSeparater Pipeline-Step nach Extraktion, vor Chunking.\\n\\n## Abhängigkeiten\\n- `document_id` muss vor Page-Insert existieren → in `step_load.py` erstellt\\n- Chunks referenzieren später Seiten über `metadata.page`\\n\\n## Qualitätskriterien\\n1. Alle PDF-Seiten in `document_pages` gespeichert\\n2. `text_content` enthält Seiten-Text\\n3. `page_number` korrekt (1-basiert)\\n4. Provenance-Logging\\n5. `\/var\/www\/scripts\/php-check.sh` muss bestehen (wenn PHP berührt)\\n\\n## Testfall\\nNach Pipeline-Lauf für 1 PDF mit 4 Seiten:\\n- `SELECT COUNT(*) FROM document_pages WHERE document_id = 1` → 4\",\n \"type\": \"ai_task\",\n \"status\": \"pending\",\n \"created_by\": \"mcp-tasks\",\n \"created_by_type\": \"ai\",\n \"parent_task_id\": null,\n \"due_date\": null,\n \"created_at\": \"2025-12-26T23:41:02.893552\",\n \"updated_at\": \"2025-12-26T23:41:02.893554\",\n \"completed_at\": null,\n \"metadata\": {}\n },\n \"message\": \"Task #419 created\"\n}"
}
]
}