AutoScout24
Principal GenAI Data Scientist(m/w/x)
Vollzeitnur vor OrtBerufserfahren
München
Neuer Job?Nejo!
Die KI-Suchmaschine für Jobs
REResaro
Senior AI Scientist, LLM(m/w/x)
München
VollzeitVor OrtSenior
AI/ML
Data Science
Nejo KI-Zusammenfassung
Designing evaluation frameworks for generative AI systems, benchmarking large language models for AI assurance. First principles thinking essential. Work on novel AI evaluation challenges.
Anforderungen
- Ability to think from first principles
- Leadership by example
- Open and respectful communication
- Ability to thrive in a fast-paced environment
- Willingness to navigate uncertainty
- Extensive experience in deploying LLMs
- Strong experience in evaluating LLMs
- Proven track record with large language datasets
- Excellent written and verbal communication skills
- Solid programming skills in Python
- Passion for applied research in AI
- Published research in generative AI (nice to have)
- Hands-on experience with model explainability tools (nice to have)
- Familiarity with cloud-based platforms (nice to have)
Aufgaben
- Lead the design and implementation of evaluation frameworks for generative AI systems
- Establish and refine metrics for model quality, including fidelity and bias detection
- Perform technical evaluations and benchmarking on large language models
- Design custom evaluation approaches based on client needs and scientific research
- Develop technical AI evaluation frameworks and tools with the product management team
- Define metrics for evaluating model performance, such as accuracy and coherence
- Curate and manage high-quality datasets for evaluating large language models
- Mentor junior data scientists on best practices for LLM evaluation
- Stay updated on advancements in NLP and LLM evaluation methods
Berufserfahrung
- 5 - 8 Jahre
Ausbildung
- Master-Abschluss
Sprachen
- Englisch – verhandlungssicher
Tools & Technologien
- Python
- AWS
- GCP
Die Originalanzeige dieses Stellenangebotes in der aktuellsten Version findest du hier. Nejo hat diesen Job automatisch von der Website des Unternehmens Resaro erfasst und die Informationen auf Nejo mit Hilfe von KI für dich aufbereitet. Trotz sorgfältiger Analyse können einzelne Informationen unvollständig oder ungenau sein. Bitte prüfe immer alle Angaben in der Originalanzeige! Inhalte und Urheberrechte der Originalanzeige liegen beim ausschreibenden Unternehmen.
Noch nicht perfekt?
- Agile Robots
Senior LLM / AI Engineer Predictive Maintenance Agent(m/w/x)
Vollzeitnur vor OrtSeniorMünchen - Cobrainer GmbH
Senior AI/ML Platform Engineer(m/w/x)
Vollzeitnur vor OrtSeniorMünchen - SAP
Staff/Principal AI Scientist for Mixture-of-Architecture Foundation Models(m/w/x)
Vollzeitnur vor OrtSeniorGarching bei München, Walldorf, Berlin, Potsdam - Resaro
Solution Architect - Defence and Security(m/w/x)
Vollzeitnur vor OrtSeniorMünchen
REResaro
Senior AI Scientist, LLM(m/w/x)
München
VollzeitVor OrtSenior
AI/ML
Data Science
Nejo KI-Zusammenfassung
Designing evaluation frameworks for generative AI systems, benchmarking large language models for AI assurance. First principles thinking essential. Work on novel AI evaluation challenges.
Anforderungen
- Ability to think from first principles
- Leadership by example
- Open and respectful communication
- Ability to thrive in a fast-paced environment
- Willingness to navigate uncertainty
- Extensive experience in deploying LLMs
- Strong experience in evaluating LLMs
- Proven track record with large language datasets
- Excellent written and verbal communication skills
- Solid programming skills in Python
- Passion for applied research in AI
- Published research in generative AI (nice to have)
- Hands-on experience with model explainability tools (nice to have)
- Familiarity with cloud-based platforms (nice to have)
Aufgaben
- Lead the design and implementation of evaluation frameworks for generative AI systems
- Establish and refine metrics for model quality, including fidelity and bias detection
- Perform technical evaluations and benchmarking on large language models
- Design custom evaluation approaches based on client needs and scientific research
- Develop technical AI evaluation frameworks and tools with the product management team
- Define metrics for evaluating model performance, such as accuracy and coherence
- Curate and manage high-quality datasets for evaluating large language models
- Mentor junior data scientists on best practices for LLM evaluation
- Stay updated on advancements in NLP and LLM evaluation methods
Berufserfahrung
- 5 - 8 Jahre
Ausbildung
- Master-Abschluss
Sprachen
- Englisch – verhandlungssicher
Tools & Technologien
- Python
- AWS
- GCP
Die Originalanzeige dieses Stellenangebotes in der aktuellsten Version findest du hier. Nejo hat diesen Job automatisch von der Website des Unternehmens Resaro erfasst und die Informationen auf Nejo mit Hilfe von KI für dich aufbereitet. Trotz sorgfältiger Analyse können einzelne Informationen unvollständig oder ungenau sein. Bitte prüfe immer alle Angaben in der Originalanzeige! Inhalte und Urheberrechte der Originalanzeige liegen beim ausschreibenden Unternehmen.
Über das Unternehmen
Resaro
Branche
IT
Beschreibung
The company is a global AI Assurance company, pioneering the field of AI testing and evaluation.
Noch nicht perfekt?
- AutoScout24
Principal GenAI Data Scientist(m/w/x)
Vollzeitnur vor OrtBerufserfahrenMünchen - Agile Robots
Senior LLM / AI Engineer Predictive Maintenance Agent(m/w/x)
Vollzeitnur vor OrtSeniorMünchen - Cobrainer GmbH
Senior AI/ML Platform Engineer(m/w/x)
Vollzeitnur vor OrtSeniorMünchen - SAP
Staff/Principal AI Scientist for Mixture-of-Architecture Foundation Models(m/w/x)
Vollzeitnur vor OrtSeniorGarching bei München, Walldorf, Berlin, Potsdam - Resaro
Solution Architect - Defence and Security(m/w/x)
Vollzeitnur vor OrtSeniorMünchen