{
"event": "PreToolUse",
"tool_name": "Bash",
"tool_input": {
"command": "\/var\/www\/scripts\/pipeline\/venv\/bin\/python -c \"\nimport mysql.connector, sys\nsys.path.insert(0,'\/var\/www\/scripts\/pipeline')\nfrom config import DB_CONFIG\nconn = mysql.connector.connect(host=DB_CONFIG['host'], user=DB_CONFIG['user'], password=DB_CONFIG['password'], database='crawler')\ncur = conn.cursor()\ncur.execute('SELECT u.url FROM urls u JOIN pages p ON p.url_id=u.id WHERE p.crawl_id=2')\nurls = sorted({r[0].rstrip('\/') for r in cur.fetchall()})\nwith open('\/tmp\/crawled_urls.txt','w') as f:\n f.write('\\n'.join(urls))\nprint(len(urls))\n\"\necho \"---\"\nsort -u \/tmp\/sitemap_urls.txt | sed 's:\/$::' > \/tmp\/sitemap_norm.txt\nwc -l \/tmp\/sitemap_norm.txt \/tmp\/crawled_urls.txt\necho \"--- Sitemap-URLs NICHT im Crawl: ---\"\ncomm -23 \/tmp\/sitemap_norm.txt \/tmp\/crawled_urls.txt | head -30\necho \"--- Gesamt fehlend: ---\"\ncomm -23 \/tmp\/sitemap_norm.txt \/tmp\/crawled_urls.txt | wc -l",
"description": "Compare sitemap vs crawl coverage"
}
}
{
"tool_response": {
"stdout": "104\n---\n 176 \/tmp\/sitemap_norm.txt\n 103 \/tmp\/crawled_urls.txt\n 279 total\n--- Sitemap-URLs NICHT im Crawl: ---\ncomm: file 2 is not in sorted order\nhttps:\/\/campus-am-see.de\/agb\nhttps:\/\/campus-am-see.de\/ausbildungsstart\nhttps:\/\/campus-am-see.de\/coaching-ausbildung-anmeldung\nhttps:\/\/campus-am-see.de\/teilnahmebedingungen-weiterbildungen\nhttps:\/\/campus-am-see.de\/ueberblick\nhttps:\/\/campus-am-see.de\/ufaq\nhttps:\/\/campus-am-see.de\/ufaq\/abschluss-in-der-tasche-und-dann\nhttps:\/\/campus-am-see.de\/ufaq\/abschluss-in-der-tasche-und-dann-2\nhttps:\/\/campus-am-see.de\/ufaq\/abschluss-in-der-tasche-und-was-dann\nhttps:\/\/campus-am-see.de\/ufaq\/ab-wann-kann-ich-anfangen-zu-coachen\nhttps:\/\/campus-am-see.de\/ufaq\/brauche-ich-fuer-die-change-ausbildung-vorerfahrungen-als-coach\nhttps:\/\/campus-am-see.de\/ufaq\/brauche-ich-fuer-die-teamcoach-ausbildung-vorerfahrungen-als-coach\nhttps:\/\/campus-am-see.de\/ufaq\/fallen-stornogebuehren-an-wenn-ja-in-welcher-hoehe\nhttps:\/\/campus-am-see.de\/ufaq\/fallen-stornogebuehren-an-wenn-ja-in-welcher-hoehe-2\nhttps:\/\/campus-am-see.de\/ufaq\/fallen-stornogebuehren-an-wenn-ja-in-welcher-hoehe-3\nhttps:\/\/campus-am-see.de\/ufaq\/fuer-wen-ist-die-systemische-change-ausbildung-gedacht\nhttps:\/\/campus-am-see.de\/ufaq\/fuer-wen-ist-die-systemische-coaching-ausbildung-geeignet\nhttps:\/\/campus-am-see.de\/ufaq\/fuer-wen-ist-die-systemische-teamcoach-ausbildung-geeignet\nhttps:\/\/campus-am-see.de\/ufaq\/gibt-es-eine-anwesenheitspflicht\nhttps:\/\/campus-am-see.de\/ufaq\/gibt-es-eine-anwesenheitspflicht-2\nhttps:\/\/campus-am-see.de\/ufaq\/gibt-es-eine-mindestteilnehmerzahl-was-passiert-wenn-die-mindestteilnehmerzahl-nicht-erreicht-wird\nhttps:\/\/campus-am-see.de\/ufaq\/gibt-es-eine-mindestteilnehmerzahl-was-passiert-wenn-die-mindestteilnehmerzahl-nicht-erreicht-wird-2\nhttps:\/\/campus-am-see.de\/ufaq\/gibt-es-eine-mindestteilnehmerzahl-was-passiert-wenn-die-mindestteilnehmerzahl-nicht-erreicht-wird-3\nhttps:\/\/campus-am-see.de\/ufaq\/gibt-es-einen-anmeldeschluss\nhttps:\/\/campus-am-see.de\/ufaq\/gibt-es-ergaenzende-leistungen-die-nicht-im-preis-enthalten-sind\nhttps:\/\/campus-am-see.de\/ufaq\/gibt-es-foerdermoeglichkeiten\nhttps:\/\/campus-am-see.de\/ufaq\/gibt-es-foerdermoeglichkeiten-2\nhttps:\/\/campus-am-see.de\/ufaq\/gibt-es-in-der-ausbildung-einen-ausblick-aufs-thema-selbststaendigkeit\nhttps:\/\/campus-am-see.de\/ufaq\/ich-kann-an-dem-webinar-nicht-teilnehmen-wird-die-session-aufgezeichnet\nhttps:\/\/campus-am-see.de\/ufaq\/ich-kann-an-der-online-supervision-nicht-teilnehmen-wird-die-session-aufgezeichnet\n--- Gesamt fehlend: ---\ncomm: file 2 is not in sorted order\ncomm: input is not in sorted order\n91",
"stderr": "",
"interrupted": false,
"isImage": false,
"noOutputExpected": false
}
}