Import Pipeline
Wissenschaftliche Pipeline v1
11-Phasen-Pipeline mit korrekter wissenschaftlicher Reihenfolge: Semantik VOR Embedding. Textsemantik (WIE) und Wissenssemantik (WAS) werden analysiert bevor Vektoren erzeugt werden.
Pipeline-Schritte
Detect
Aktiv
Dateien scannen
phase: Existenz
→
hash
Aktiv
phase: Existenz
→
duplicate_check
Aktiv
phase: Existenz
abort_on_duplicate: ja
→
doc_create
Aktiv
phase: Existenz
→
page_split
Aktiv
phase: Normalisierung
→
rotation
Aktiv
phase: Normalisierung
→
Extract
Aktiv
Text extrahieren
phase: Normalisierung
→
page_store
Aktiv
phase: Normalisierung
→
vision
Aktiv
phase: Normalisierung
model: minicpm-v:latest
provider: ollama
→
structure
Aktiv
phase: Textstruktur
→
segment
Aktiv
phase: Textstruktur
→
Chunk
Aktiv
Semantisch teilen
phase: Textstruktur
max_tokens: 512
overlap: 50
→
chunk_store
Aktiv
phase: Textstruktur
→
text_semantic_analyze
Aktiv
phase: Textsemantik
model: gemma3:27b-it-qat
analyze:
Warning: Array to string conversion in /var/www/dev.campus.systemische-tools.de/src/View/content-pipeline/import.php on line 52
Array
Warning: Array to string conversion in /var/www/dev.campus.systemische-tools.de/src/View/content-pipeline/import.php on line 52
Array
→
text_semantic_store
Aktiv
phase: Textsemantik
target_table: chunk_text_semantics
→
entity_extract
Aktiv
phase: Entitaeten
model: gemma3:27b-it-qat
→
entity_store
Aktiv
phase: Entitaeten
→
entity_normalize
Aktiv
phase: Entitaeten
→
knowledge_semantic_analyze
Aktiv
phase: Wissenssemantik
model: gemma3:27b-it-qat
analyze:
Warning: Array to string conversion in /var/www/dev.campus.systemische-tools.de/src/View/content-pipeline/import.php on line 52
Array
Warning: Array to string conversion in /var/www/dev.campus.systemische-tools.de/src/View/content-pipeline/import.php on line 52
Array
→
knowledge_semantic_store
Aktiv
phase: Wissenssemantik
target_table: entity_knowledge_semantics
→
relation_extract
Aktiv
phase: Relationen
model: gemma3:27b-it-qat
→
relation_store
Aktiv
phase: Relationen
→
ontology_classify
Aktiv
phase: Ontologie
model: gemma3:27b-it-qat
→
ontology_store
Aktiv
phase: Ontologie
→
taxonomy_build
Aktiv
phase: Taxonomie
model: gemma3:27b-it-qat
provider: ollama
→
chunk_taxonomy
Aktiv
phase: Taxonomie
→
entity_taxonomy
Aktiv
phase: Taxonomie
→
Embed
Aktiv
Vektorisieren
phase: Retrieval
model: nomic-embed-text
→
qdrant_store
Aktiv
phase: Retrieval
collection: documents
→
index_optimize
Aktiv
phase: Retrieval
→
status_update
Aktiv
phase: Abschluss
status: completed
→
finalize
Aktiv
phase: Abschluss
→
enrich
Aktiv
phase: Entity-Enrichment
model: gemma3:27b-it-qat