{
"event": "UserPromptSubmit",
"prompt": "wir brauchen einen leistungsfähigen web crawler für unsere externe website https:\/\/campus-am-see.de\/ . es soll jede url erfasst werden, in der mariadb mit allen wichtigen werten gespeichert werden damit wir seo-analysen machen können. bestätige erstmal, was du verstehst."
}
{
"assistant_response": "Mein Verständnis:\n\n- **Ziel:** Crawler für externe Site `https:\/\/campus-am-see.de\/`\n- **Scope:** Alle erreichbaren URLs der Domain vollständig erfassen (komplette Sitemap via Link-Discovery)\n- **Speicherung:** MariaDB (vermutlich `ki_content` oder neue DB\/Tabelle)\n- **Zweck:** SEO-Analysen\n- **Ort:** `\/var\/www\/dev.campus.systemische-tools.de\/crawler`\n\n**Offene Punkte, die ich vor der Umsetzung klären muss:**\n\n1. **Scope-Grenzen:** Nur `campus-am-see.de` + Subdomains? Externe Links nur als Referenz (outbound) mitloggen oder ignorieren?\n2. **SEO-Felder – welche genau?** Standard-Set wäre: URL, HTTP-Status, Title, Meta-Description, H1-H6, Canonical, Robots-Meta, Open Graph, Hreflang, Wortanzahl, Ladezeit, Content-Type, Content-Length, Last-Modified, Redirect-Chain, interne\/externe Links, Bilder (+alt), strukturierte Daten (JSON-LD\/Schema.org). → Welche davon sind Pflicht, welche optional?\n3. **Technologie:** Python (passt zu bestehender Pipeline unter `\/var\/www\/scripts\/pipeline\/`) oder PHP?\n4. **Rendering:** Nur HTML parsen oder auch JS-gerenderte Inhalte (Playwright\/Headless)?\n5. **Robots.txt & Rate-Limiting:** `robots.txt` respektieren? Crawl-Delay \/ Requests pro Sekunde?\n6. **Zielschema:** Neue Tabelle(n) in `ki_content` oder eigene DB? Historie (mehrere Crawls über Zeit) oder nur aktueller Stand?\n7. **Trigger:** Manueller Start (CLI) oder geplant (Cron)?\n\nBitte die Punkte beantworten, dann lege ich einen Plan vor."
}