Erstellt: 2025-12-24 | Aktualisiert: 2025-12-24

Embedding-Generierung

Funktion

• Text-Chunks in numerische Vektorrepräsentationen umwandeln
• Semantische Bedeutung in 1536-dimensionalem Vektor kodieren
• Ermöglicht Ähnlichkeitssuche via Cosine-Similarity

Eingabe

• Chunk-Text aus chunks-Tabelle
• Maximal 800 Zeichen pro Chunk (Modell-Limit)

Ausgabe

• Vektor mit 1536 Float-Werten
• Normalisiert für Cosine-Similarity

Embedding-Modell

Beteiligte Komponenten

Ablauf

1. Chunk-Text laden
2. Text bereinigen (Punktfolgen reduzieren)
3. Auf 800 Zeichen truncaten falls nötig
4. POST an Ollama /api/embeddings
5. Vektor aus Response extrahieren
6. Weiter an Vektorspeicherung

Code-Beispiel

# pipeline/embed.py
def get_embedding(text):
    response = requests.post(
        f"{OLLAMA_HOST}/api/embeddings",
        json={"model": EMBEDDING_MODEL, "prompt": text},
        timeout=60
    )
    return response.json().get("embedding")

Fehlerbehandlung

• Leerer Text → None zurückgeben, überspringen
• Timeout → Logging, Retry
• Ollama nicht erreichbar → Fehler loggen, Chunk als pending belassen