Skip to content
New Job?Nejo!

Your personal AI career agent

Back
WOWolters Kluwer Tax & Accounting Deutschland GmbH

AI-Agent Quality & Ops Engineer(m/w/x)

Ludwigsburg
Full-timeWith Home OfficeExperienced
AI/ML
Apply now

Sicherstellung der Qualität und des Betriebs von KI-Agenten-Workflows für einen globalen Anbieter von Business-Software. Erfahrung mit Evaluationsstrategien für LLM-basierte Systeme und Kotlin/Java/Python erforderlich. 30 Tage Urlaub, flexible Arbeitszeiten und mobile Arbeit möglich.

Requirements

  • Solider Software-Engineering-Hintergrund mit Erfahrung in Qualitätssicherung nicht-deterministischer Systeme
  • Erfahrung in Gestaltung von Evaluationsstrategien für LLM-/agentenbasierte Workflows mit Regression Detection über Prompt-/Modellversionen hinweg
  • Routinierter Umgang mit Kotlin/Java in JVM-Systemen und Python für Evaluation/Analyse
  • Erfahrung mit Observability-Tools (idealerweise Langfuse) zur Auswertung von KI-Verhalten
  • Metrisches und strukturiertes Denken, Erkennen von Drift-/Anomalie-Mustern, klare Kommunikation von Qualitätsrisiken
  • Bereitschaft zur Einarbeitung in Fachdomäne Tax & Accounting und Interaktion mit Fachexperten
  • Hervorragendes Deutsch und gutes Englisch

Tasks

  • Messbare Qualität sicherstellen
  • Kontrollierte Weiterentwicklung sicherstellen
  • Zuverlässigen Betrieb sicherstellen
  • KI-spezifische Betriebsschicht verantworten
  • Evaluationen durchführen
  • Qualitätsmetriken definieren und pflegen
  • Drift-Erkennung durchführen
  • Kontrollierte Releases von Prompts, Modellen und Tools verantworten
  • Observability des Agentenverhaltens verantworten
  • Qualitätskriterien für agentenbasierte Workflows definieren und pflegen
  • Evaluationssuiten bauen und betreiben
  • Golden Test Cases erstellen
  • Replay-basierte Evaluationen aus Produktionstraces durchführen
  • Failure-Scenario-Testing durchführen
  • Lifecycle-Management von Prompts, Modellen und Agent Tools verantworten
  • Klare Versionierung implementieren
  • Regression Protection implementieren
  • Kontrollierte Rollouts durchführen
  • Agent-Observability mit Langfuse betreiben
  • Traces überwachen
  • Tool-Usage-Patterns überwachen
  • Latenzverteilungen überwachen
  • Kosten pro Workflow überwachen
  • Anomaly Detection für Qualitätsdegradierung implementieren
  • Anomaly Detection für Kosten-/Token-Anomalien implementieren
  • Anomaly Detection für unerwartete Eskalationsmuster implementieren
  • KI-spezifische Release-Readiness-Kriterien definieren
  • Release-Entscheidungen unterstützen
  • KI-gestützte Entwicklungsworkflows nutzen
  • Einhaltung von DSGVO unterstützen
  • Einhaltung des EU AI Acts unterstützen
  • Einhaltung interner AI Governance unterstützen

Work Experience

  • approx. 1 - 4 years

Education

  • Vocational certificationOR
  • Bachelor's degreeOR
  • Master's degree

Languages

  • German – Native
  • English – Business Fluent

Tools & Technologies

  • Kotlin
  • Java
  • JVM
  • Python
  • Langfuse

Benefits

Job Security

  • Unbefristete Festanstellung

Retirement Plans

  • Betriebliche Altersvorsorge mit persönlicher Beratung
  • Rentenberatung

More Vacation Days

  • 30 Tage Urlaub

Flexible Working

  • Flexible Arbeitszeiten
  • Möglichkeit, mobil zu arbeiten

Workation & Sabbatical

  • Arbeiten im Ausland (bis zu 20 Tage/Jahr)

Mentorship & Coaching

  • Strukturiertes Onboarding

Learning & Development

  • Learning on the Job
  • Weiterbildungen

Career Advancement

  • Internationale Karriereoptionen

Other Benefits

  • JobRad

Mental Health Support

  • Lebensberatung

Social Impact

  • Volunteer Day

Modern Equipment

  • Leistungsstarke IT-Ausstattung

Modern Office

  • Moderne Arbeitsplätze
  • Shared desk System

Snacks & Drinks

  • Kostenlose Getränke

Parking & Commuter Benefits

  • Gut angebundene Bürogebäude

Team Events

  • Mitarbeiterevents

Bonuses & Incentives

  • Mitarbeiterempfehlungsprogramm

Startup Environment

  • Kurze Entscheidungswege
  • Raum für Ideen

Informal Culture

  • Flache Hierarchien
Find the original job posting in its most current version here. Nejo automatically captured this job from the website of Wolters Kluwer Tax & Accounting Deutschland GmbH and processed the information on Nejo with the help of AI for you. Despite careful analysis, some information may be incomplete or inaccurate. Please always verify all details in the original posting! Content and copyrights of the original posting belong to the advertising company.

Like this job?

Beta

Your Career Agent finds similar jobs for you every day.

Not a perfect match?

100+ Similar Jobs in LudwigsburgView all
  • Wolters Kluwer Tax & Accounting Deutschland GmbH

    AI-Agent Engineer(m/w/x)

    Full-timeWith HomeofficeExperienced
    Ludwigsburg
  • Mimacom Deutschland GmbH

    AI Solutions Engineer(m/w/x)

    Full-timeWith HomeofficeExperienced
    Stuttgart
  • Almato AG

    (Senior) Software Test Engineer(m/w/x)

    Full-timeWith HomeofficeExperienced
    Stuttgart
  • Sogeti

    Consultant AI(m/w/x)

    Full-timeWith HomeofficeExperienced
    Düsseldorf, München, Frankfurt am Main, Stuttgart, Hamburg, Nürnberg
  • Capgemini

    Senior Machine Learning Operation Engineer Public Sector(m/w/x)

    Full-timeWith HomeofficeSenior
    Berlin, Hamburg, Düsseldorf, Erfurt, Stuttgart, Köln, Nürnberg, Frankfurt am Main, Hannover, München
View all 100+ similar jobs
Apply now