Skip to content
Neuer Job?Nejo!

Dein persönlicher KI-Karriere-Agent

DYDynatraceLLC

Senior/Principal Engineer for Evaluations Generative AI(m/w/x)

Linz, Wien, Klagenfurt am Wörthersee, Graz
VollzeitVor OrtSenior
AI/ML
Nejo KI-Zusammenfassung

Researching Generative AI, designing systems for AI agent replay and stress-testing. Production LLM experience with agentic patterns required. Work with largest cloud providers, stock purchase options.

Deine Match-Analyse

von deinem Karriere-Agenten

Warum dieser Job zu dir passt

Mögliche Lücken

Tipps für deine Bewerbung

Anforderungen

  • 5+ years (Senior) or 10+ years (Principal) professional software engineering experience
  • Production system experience with LLMs (prompting, tool calling, evaluation, iteration)
  • Strong foundation in developer tooling, AI/ML engineering, or distributed systems
  • Hands-on experience with agentic patterns (planning, tool use, retrieval, memory)
  • Ability to evaluate and critique AI-generated output
  • Clear communication with cross-functional partners
  • Background in observability, APM, or infrastructure monitoring
  • Familiarity with engineering platforms at scale (CI/CD, developer portals, internal tooling)
  • Hands-on experience with LLMs (prompt engineering, evaluation, agent frameworks)

Aufgaben

  • Conduct research in Generative AI
  • Design systems for replaying and stress-testing AI Agents
  • Detect regressions in model versions, prompt changes, and data drift
  • Define trustworthy metrics, datasets, and judging strategies
  • Build infrastructure for simulating multi-turn, tool-using agents
  • Generate adversarial scenarios for AI Agents
  • Measure task completion, tool-use correctness, and failure modes
  • Develop CLIs for evaluating AI using Dynatrace AI Observability data
  • Configure trace ingestion, judge settings, and reporting
  • Prototype solutions quickly and run user feedback cycles
  • Ship prototypes to production
  • Define technical strategy for AI systems
  • Set architectural direction for the team
  • Mentor other engineers
  • Collaborate with product and design teams
  • Identify key developer problems to solve

Berufserfahrung

5 - 10 Jahre

Ausbildung

Bachelor-AbschlussODER
Master-Abschluss

Sprachen

Englischverhandlungssicher

Tools & Technologien

LLMsPrompt engineeringTool callingEvaluation frameworksAgent frameworksCI/CD systemsDeveloper portalsInternal toolingObservabilityAPMInfrastructure monitoring

Benefits

Attraktive Vergütung
  • Stock purchase options
  • Competitive compensation packages
Sonstige Vorteile
  • Culture of excellence
Abwechslungsreiche Aufgaben
  • Work with largest cloud providers
Startup-Atmosphäre
  • Work at forefront of innovation

Von Nejo automatisch aufbereitet

Nejo hat diesen Job automatisch von der Website des Unternehmens DynatraceLLC erfasst und die Informationen auf Nejo mit Hilfe von KI für dich aufbereitet. Trotz sorgfältiger Analyse können einzelne Informationen unvollständig oder ungenau sein. Bitte prüfe immer alle Angaben in der Originalanzeige! Inhalte und Urheberrechte der Originalanzeige liegen beim ausschreibenden Unternehmen.

Zur Originalanzeige bei DynatraceLLC

Über das Unternehmen

DY
ITLinz

The company is a one-product software company creating real value for the largest enterprises and millions of end customers globally.

?Note
Wie gut ist dein Lebenslauf?

Nejo bewertet ihn, und bringt ihn danach gemeinsam mit dir in Bestform.

Du hast noch keinen Lebenslauf?

Noch nicht perfekt?

  • Dynatrace LLC
    Senior Engineer for OpenIngest Generative AI(m/w/x)
    Vollzeitnur vor OrtManagement
    Linz, Wien, Klagenfurt am Wörthersee, Graz
  • Dynatrace LLC
    Senior Product Design Engineer(m/w/x)
    Vollzeitnur vor OrtSenior
    Linz
  • DynatraceLLC
    Senior II/Principal Product Experience Designer - Dashboards and Notebooks(m/w/x)
    Vollzeitnur vor OrtSenior
    Linz, Wien
    ab 74.000 - 112.000 / Jahr
  • Dynatrace LLC
    Senior Software Engineer - Feature Management(m/w/x)
    Vollzeitnur vor OrtSenior
    Klagenfurt am Wörthersee, Linz, Wien, Graz
    ab 61.000 - 76.000 / Jahr
  • KEBA Group
    AI Engineer(m/w/x)
    Vollzeitnur vor OrtBerufserfahren
    Linz