Beschreibung

In dieser Rolle analysierst und optimierst du kontinuierlich den F1-Score von KI-Systemen. Du identifizierst Fehler, verbesserst die Qualität und entwickelst Evaluations-Frameworks, um die Systeme verlässlich und präzise zu gestalten.

Anforderungen

• •Abgeschlossenes Studium in Informatik, Data Science, Computational Linguistics oder vergleichbar
• •Fundiertes Verständnis von Machine Learning, NLP und modernen LLMs
• •Praktische Erfahrung mit Retrieval-, Search- und RAG-Architekturen
• •Vertrautheit mit Agenten-Frameworks, Federated Learning, Fine-Tuning oder LoRA
• •Routiniert im Umgang mit Evaluationsmethoden
• •Fähigkeit, qualitative Ergebnisse in messbare Kriterien zu übersetzen
• •Sicher im Umgang mit Python für Datenanalyse
• •Praktische Erfahrung mit Prompt-Design und typischen LLM-Herausforderungen
• •Hands-on, produktnah und iterativ

Aufgaben

• •F1-Score kontinuierlich analysieren und optimieren
• •Typische Fehler von LLMs erkennen
• •Verlässliche und reproduzierbare Arbeitsweise der Systeme sicherstellen
• •Precision und Recall der Systeme anpassen
• •Qualität von Dokument-Ranking, Chunking-Strategien und Embeddings bewerten
• •End-to-End-F1-Score unter Einbindung des RAGs verbessern
• •Trade-off zwischen Vollständigkeit und Präzision steuern
• •Evaluations-Frameworks entwickeln
• •Prompts für LLMs testen und optimieren
• •User-Fragen und Modellantworten analysieren
• •Ursachen für unerwünschte LLM-Antworten identifizieren
• •Zusammenhänge verständlich erklären

Tools & Technologien

Benefits