Protokoll #10597

{
    "event": "UserPromptSubmit",
    "prompt": "ja implementieren, aber: denke tief und umsichtig. denke an die Konsequenzen der konsequenzen. mach eine dependency analyse eine impact analyse mit https:\/\/dev.campus.systemische-tools.de\/docs\/code\/ zbw. https:\/\/dev.campus.systemische-tools.de\/docs\/code\/539 . verstehst du das system? gib mir erst eine antwort."
}

{
    "assistant_response": "**Ja, ich verstehe das System.** Hier meine Analyse:\n\n---\n\n## Architektur-Übersicht\n\n```\n┌─────────────────────────────────────────────────────────────┐\n│ PHP Layer (Web UI)                                          │\n│  ContentPipelineController → RunPipelineUseCase             │\n│       │                            │                        │\n│       │ HTTP                       │ exec()                 │\n│       ↓                            ↓                        │\n│  PipelineRunStatusUseCase    nohup python pipeline.py       │\n│       │                                                     │\n│       │ poll                                                │\n└───────┼─────────────────────────────────────────────────────┘\n        ↓\n┌─────────────────────────────────────────────────────────────┐\n│ ki_content.pipeline_runs                                    │\n│  - status, current_step, current_document                   │\n│  - documents_processed, log_tail                            │\n└───────┬─────────────────────────────────────────────────────┘\n        ↑\n┌───────┴─────────────────────────────────────────────────────┐\n│ Python Layer (Processing)                                   │\n│  pipeline.py (Orchestrator)                                 │\n│       ↓                                                     │\n│  detect → extract → vision → chunk → embed → analyze        │\n│       │                                                     │\n│  PipelineProgress.is_cancelled() ← nur zwischen Dokumenten  │\n└─────────────────────────────────────────────────────────────┘\n```\n\n---\n\n## Dependency-Analyse\n\n| Ebene | Komponente | Abhängigkeit | Resume-Relevanz |\n|-------|------------|--------------|-----------------|\n| PHP | RunPipelineUseCase | pipeline_runs.status | Setzt `cancelled` |\n| Python | pipeline.py | db.py, alle Module | Liest `is_cancelled()` |\n| Python | PipelineProgress | pipeline_runs | Schreibt Fortschritt |\n| DB | pipeline_queue | run_id | Verknüpft Files mit Run |\n| DB | documents | status | `done` = verarbeitet |\n| DB | chunks | qdrant_id | NULL = nicht embedded |\n| Qdrant | documents collection | chunk IDs | Duplikat-Risiko |\n\n---\n\n## Impact-Analyse: Konsequenzen der Konsequenzen\n\n### Szenario A: Einfaches Resume (Skip done documents)\n```\nÄnderung: documents WHERE status='done' überspringen\n```\n| Impact | Risiko | Konsequenz |\n|--------|--------|------------|\n| ✅ Simpel | Niedrig | 5 Zeilen Code |\n| ⚠️ Partial docs | Mittel | status='processing' → Schritt unklar |\n| ⚠️ Qdrant-Duplikate | Hoch | Embed lief teilweise → doppelte Vektoren |\n\n### Szenario B: Step-Level Checkpoints\n```\nÄnderung: documents.last_completed_step Spalte\n```\n| Impact | Risiko | Konsequenz |\n|--------|--------|------------|\n| DB Schema | ALTER TABLE | Migration nötig |\n| PHP Code | PipelineRepository | Neue Spalte lesen |\n| Python Code | Jeder Step prüft | 6 Module ändern |\n| Komplexität | Hoch | Mehr Fehlerquellen |\n\n### Szenario C: Vollständiges Resume (mit Qdrant-Check)\n```\nÄnderung: Vor embed prüfen ob qdrant_id existiert\n```\n| Impact | Risiko | Konsequenz |\n|--------|--------|------------|\n| Keine Duplikate | ✅ | Saubere Daten |\n| Aber langsamer | ⚠️ | Extra DB-Query pro Chunk |\n\n---\n\n## Kritische Fragen\n\n1. **Was passiert bei Vision-Abbruch Seite 50\/100?**\n   - Aktuell: Kein Checkpoint → 50 Seiten verloren\n   - Fix: `document_pages.vision_done` Flag?\n\n2. **Was passiert bei parallelen Runs?**\n   - Aktuell: Nichts verhindert 2 Runs auf gleicher Pipeline\n   - Fix: Lock-Mechanismus oder run_id pro Queue-Item\n\n3. **Qdrant-Konsistenz?**\n   - Aktuell: `chunks.qdrant_id` zeigt an was embedded ist\n   - Aber: Kein Rollback bei Fehler → Orphan-Vektoren möglich\n\n---\n\n## Empfehlung\n\n**Minimaler sicherer Ansatz:**\n\n1. Skip `documents WHERE status='done'`\n2. Skip `chunks WHERE qdrant_id IS NOT NULL`\n3. `is_cancelled()` nach jedem Step, nicht nur nach Dokument\n4. Keine Schema-Änderung nötig\n\n**Kein Daten-Risiko, ~30 Zeilen Code.**\n\nSoll ich diesen Ansatz implementieren?"
}