Skip to content
Neuer Job?Nejo!

Dein persönlicher KI-Karriere-Agent

Zurück
WOWolters Kluwer Tax & Accounting Deutschland GmbH

AI-Agent Quality & Ops Engineer(m/w/x)

Ludwigsburg
Vollzeitmit HomeofficeBerufserfahren
AI/ML
Jetzt bewerben

Sicherstellung der Qualität und des Betriebs von KI-Agenten-Workflows für einen globalen Anbieter von Business-Software. Erfahrung mit Evaluationsstrategien für LLM-basierte Systeme und Kotlin/Java/Python erforderlich. 30 Tage Urlaub, flexible Arbeitszeiten und mobile Arbeit möglich.

Anforderungen

  • Solider Software-Engineering-Hintergrund mit Erfahrung in Qualitätssicherung nicht-deterministischer Systeme
  • Erfahrung in Gestaltung von Evaluationsstrategien für LLM-/agentenbasierte Workflows mit Regression Detection über Prompt-/Modellversionen hinweg
  • Routinierter Umgang mit Kotlin/Java in JVM-Systemen und Python für Evaluation/Analyse
  • Erfahrung mit Observability-Tools (idealerweise Langfuse) zur Auswertung von KI-Verhalten
  • Metrisches und strukturiertes Denken, Erkennen von Drift-/Anomalie-Mustern, klare Kommunikation von Qualitätsrisiken
  • Bereitschaft zur Einarbeitung in Fachdomäne Tax & Accounting und Interaktion mit Fachexperten
  • Hervorragendes Deutsch und gutes Englisch

Aufgaben

  • Messbare Qualität sicherstellen
  • Kontrollierte Weiterentwicklung sicherstellen
  • Zuverlässigen Betrieb sicherstellen
  • KI-spezifische Betriebsschicht verantworten
  • Evaluationen durchführen
  • Qualitätsmetriken definieren und pflegen
  • Drift-Erkennung durchführen
  • Kontrollierte Releases von Prompts, Modellen und Tools verantworten
  • Observability des Agentenverhaltens verantworten
  • Qualitätskriterien für agentenbasierte Workflows definieren und pflegen
  • Evaluationssuiten bauen und betreiben
  • Golden Test Cases erstellen
  • Replay-basierte Evaluationen aus Produktionstraces durchführen
  • Failure-Scenario-Testing durchführen
  • Lifecycle-Management von Prompts, Modellen und Agent Tools verantworten
  • Klare Versionierung implementieren
  • Regression Protection implementieren
  • Kontrollierte Rollouts durchführen
  • Agent-Observability mit Langfuse betreiben
  • Traces überwachen
  • Tool-Usage-Patterns überwachen
  • Latenzverteilungen überwachen
  • Kosten pro Workflow überwachen
  • Anomaly Detection für Qualitätsdegradierung implementieren
  • Anomaly Detection für Kosten-/Token-Anomalien implementieren
  • Anomaly Detection für unerwartete Eskalationsmuster implementieren
  • KI-spezifische Release-Readiness-Kriterien definieren
  • Release-Entscheidungen unterstützen
  • KI-gestützte Entwicklungsworkflows nutzen
  • Einhaltung von DSGVO unterstützen
  • Einhaltung des EU AI Acts unterstützen
  • Einhaltung interner AI Governance unterstützen

Berufserfahrung

  • ca. 1 - 4 Jahre

Ausbildung

  • Abgeschlossene BerufsausbildungODER
  • Bachelor-AbschlussODER
  • Master-Abschluss

Sprachen

  • Deutsch – fließend
  • Englisch – verhandlungssicher

Tools & Technologien

  • Kotlin
  • Java
  • JVM
  • Python
  • Langfuse

Benefits

Sicherer Arbeitsplatz

  • Unbefristete Festanstellung

Betriebliche Altersvorsorge

  • Betriebliche Altersvorsorge mit persönlicher Beratung
  • Rentenberatung

Mehr Urlaubstage

  • 30 Tage Urlaub

Flexibles Arbeiten

  • Flexible Arbeitszeiten
  • Möglichkeit, mobil zu arbeiten

Workation & Sabbatical

  • Arbeiten im Ausland (bis zu 20 Tage/Jahr)

Mentoring & Coaching

  • Strukturiertes Onboarding

Weiterbildungsangebote

  • Learning on the Job
  • Weiterbildungen

Karriere- und Weiterentwicklung

  • Internationale Karriereoptionen

Sonstige Vorteile

  • JobRad

Mentale Gesundheitsförderung

  • Lebensberatung

Gemeinnützige Ausrichtung

  • Volunteer Day

Moderne Technikausstattung

  • Leistungsstarke IT-Ausstattung

Modernes Büro

  • Moderne Arbeitsplätze
  • Shared desk System

Snacks & Getränke

  • Kostenlose Getränke

Parkplatz & Pendelvorteile

  • Gut angebundene Bürogebäude

Team Events & Ausflüge

  • Mitarbeiterevents

Boni & Prämien

  • Mitarbeiterempfehlungsprogramm

Startup-Atmosphäre

  • Kurze Entscheidungswege
  • Raum für Ideen

Lockere Unternehmenskultur

  • Flache Hierarchien
Die Originalanzeige dieses Stellenangebotes in der aktuellsten Version findest du hier. Nejo hat diesen Job automatisch von der Website des Unternehmens Wolters Kluwer Tax & Accounting Deutschland GmbH erfasst und die Informationen auf Nejo mit Hilfe von KI für dich aufbereitet. Trotz sorgfältiger Analyse können einzelne Informationen unvollständig oder ungenau sein. Bitte prüfe immer alle Angaben in der Originalanzeige! Inhalte und Urheberrechte der Originalanzeige liegen beim ausschreibenden Unternehmen.

Gefällt dir diese Stelle?

Beta

Dein Career Agent findet täglich ähnliche Jobs für dich.

Noch nicht perfekt?

100+ Ähnliche Jobs in LudwigsburgAlle ansehen
  • Wolters Kluwer Tax & Accounting Deutschland GmbH

    AI-Agent Engineer(m/w/x)

    Vollzeitmit HomeofficeBerufserfahren
    Ludwigsburg
  • Mimacom Deutschland GmbH

    AI Solutions Engineer(m/w/x)

    Vollzeitmit HomeofficeBerufserfahren
    Stuttgart
  • Almato AG

    (Senior) Software Test Engineer(m/w/x)

    Vollzeitmit HomeofficeBerufserfahren
    Stuttgart
  • Sogeti

    Consultant AI(m/w/x)

    Vollzeitmit HomeofficeBerufserfahren
    Düsseldorf, München, Frankfurt am Main, Stuttgart, Hamburg, Nürnberg
  • Capgemini

    AI Platform Engineer(m/w/x)

    Vollzeit/Teilzeitmit HomeofficeSenior
    Berlin, Hamburg, München, Köln, Frankfurt am Main, Stuttgart, Dortmund, Hannover, Nürnberg, Karlsruhe
Alle 100+ ähnlichen Jobs ansehen
Jetzt bewerben