Dein persönlicher KI-Karriere-Agent
Senior/Principal Engineer for Evaluations Generative AI(m/w/x)
Researching Generative AI, designing systems for AI agent replay and stress-testing. Production LLM experience with agentic patterns required. Work with largest cloud providers, stock purchase options.
Deine Match-Analyse
Warum dieser Job zu dir passt
Mögliche Lücken
Tipps für deine Bewerbung
Anforderungen
- 5+ years (Senior) or 10+ years (Principal) professional software engineering experience
- Production system experience with LLMs (prompting, tool calling, evaluation, iteration)
- Strong foundation in developer tooling, AI/ML engineering, or distributed systems
- Hands-on experience with agentic patterns (planning, tool use, retrieval, memory)
- Ability to evaluate and critique AI-generated output
- Clear communication with cross-functional partners
- Background in observability, APM, or infrastructure monitoring
- Familiarity with engineering platforms at scale (CI/CD, developer portals, internal tooling)
- Hands-on experience with LLMs (prompt engineering, evaluation, agent frameworks)
Aufgaben
- Conduct research in Generative AI
- Design systems for replaying and stress-testing AI Agents
- Detect regressions in model versions, prompt changes, and data drift
- Define trustworthy metrics, datasets, and judging strategies
- Build infrastructure for simulating multi-turn, tool-using agents
- Generate adversarial scenarios for AI Agents
- Measure task completion, tool-use correctness, and failure modes
- Develop CLIs for evaluating AI using Dynatrace AI Observability data
- Configure trace ingestion, judge settings, and reporting
- Prototype solutions quickly and run user feedback cycles
- Ship prototypes to production
- Define technical strategy for AI systems
- Set architectural direction for the team
- Mentor other engineers
- Collaborate with product and design teams
- Identify key developer problems to solve
Berufserfahrung
Ausbildung
Sprachen
Tools & Technologien
Benefits
- Stock purchase options
- Competitive compensation packages
- Culture of excellence
- Work with largest cloud providers
- Work at forefront of innovation
Von Nejo automatisch aufbereitet
Nejo hat diesen Job automatisch von der Website des Unternehmens DynatraceLLC erfasst und die Informationen auf Nejo mit Hilfe von KI für dich aufbereitet. Trotz sorgfältiger Analyse können einzelne Informationen unvollständig oder ungenau sein. Bitte prüfe immer alle Angaben in der Originalanzeige! Inhalte und Urheberrechte der Originalanzeige liegen beim ausschreibenden Unternehmen.
Zur Originalanzeige bei DynatraceLLCÜber das Unternehmen
The company is a one-product software company creating real value for the largest enterprises and millions of end customers globally.
Nejo bewertet ihn, und bringt ihn danach gemeinsam mit dir in Bestform.
Noch nicht perfekt?
- Dynatrace LLCSenior Engineer for OpenIngest Generative AI(m/w/x)Vollzeitnur vor OrtManagementLinz, Wien, Klagenfurt am Wörthersee, Graz
- Dynatrace LLCSenior Product Design Engineer(m/w/x)Vollzeitnur vor OrtSeniorLinz
- DynatraceLLCSenior II/Principal Product Experience Designer - Dashboards and Notebooks(m/w/x)Vollzeitnur vor OrtSeniorLinz, Wienab 74.000 - 112.000 / Jahr
- Dynatrace LLCSenior Software Engineer - Feature Management(m/w/x)Vollzeitnur vor OrtSeniorKlagenfurt am Wörthersee, Linz, Wien, Grazab 61.000 - 76.000 / Jahr
- KEBA GroupAI Engineer(m/w/x)Vollzeitnur vor OrtBerufserfahrenLinz