Thomson Reuters
Lead Applied Scientist I(m/w/x)
Vollzeit
mit Homeoffice
Senior
Keine Angabe
Zug
TH
Thomson Reuters2 Monate
Applied Scientist I(m/w/x)
Vollzeit
mit Homeoffice
Berufserfahren
AI/ML Job
Data Science
Keine Angabe
Zug
Nejo KI-Zusammenfassung
In this role, you will focus on designing evaluation pipelines for large language models, collaborating with experts to enhance model performance, and championing best practices in AI evaluation to ensure reliability and ethical standards.
Lass KI die perfekten Jobs für dich finden!
Lade deinen CV hoch und die Nejo-KI findet passende Stellenangebote für dich.
Anforderungen
- •PhD in Computer Science, Artificial Intelligence, Machine Learning, or related field
- •Research or hands-on experience with large language models, NLP evaluation, or agent-based AI systems
- •Strong understanding of LLM performance measurement, prompt evaluation, and reliability testing
- •Proficiency in Python and familiarity with ML libraries such as PyTorch, Transformers, and LangChain
- •Comfort with experimental design, data analysis, and communicating technical findings clearly
- •Experience with LLM evaluation frameworks (e.g., OpenAI Evals, HELM, LM Harness, or custom auto-eval tools)
- •Familiarity with retrieval-augmented generation (RAG), tool-using agents, or agentic evaluation methodologies
- •Experience in cloud-based ML development (AWS, Azure, or GCP)
- •Record of publications or preprints in top-tier venues (e.g., NeurIPS, ACL, EMNLP, ICLR) or equivalent research contributions
- •Interest in Responsible AI, fairness, and interpretability research
Doktor / Ph.D.
ODER
Master-Abschluss
Berufserfahrung
ca. 1 – 4 Jahre
Deine Aufgaben
- •Design and execute evaluation pipelines for LLMs and agentic systems
- •Assess reasoning, factual accuracy, and alignment
- •Build tools for automatic evaluation and synthetic dataset creation
- •Implement LLM-as-a-judge workflows and continuous benchmarking systems
- •Collaborate with applied scientists, ML engineers, and product managers
- •Translate evaluation results into model improvements and product insights
- •Prototype new evaluation metrics and contribute to internal reports
- •Support publications and presentations on evaluation methods
- •Promote reproducibility, transparency, and ethical AI evaluation
Tools & Technologien
PythonPyTorchTransformersLangChainOpenAI EvalsHELMLM HarnessAWSAzureGCP
Sprachen
Englisch – verhandlungssicher
Deine Vorteile
Flexibles Arbeiten
- •Flexible hybrid working environment
- •Flexible work arrangements
Sonstige Vorteile
- •Supportive workplace policies
- •Comprehensive benefit plans
Mehr Urlaubstage
- •Flexible vacation
- •Paid volunteer days off
Mentale Gesundheitsförderung
- •Mental Health Days off
- •Access to Headspace app
- •Resources for mental wellbeing
Betriebliche Altersvorsorge
- •Retirement savings
Sonstige Zulagen
- •Tuition reimbursement
- •Resources for financial wellbeing
Boni & Prämien
- •Employee incentive programs
Gesundheits- & Fitnessangebote
- •Resources for physical wellbeing
Gemeinnützige Ausrichtung
- •Pro-bono consulting opportunities
Fokus auf Nachhaltigkeit
- •Environmental, Social, and Governance initiatives
Die Originalanzeige dieses Stellenangebotes in der aktuellsten Version findest du hier. Nejo hat diesen Job automatisch von der Website des Unternehmens Thomson Reuters erfasst und die Informationen auf Nejo mit Hilfe von KI für dich aufbereitet. Trotz sorgfältiger Analyse können einzelne Informationen unvollständig oder ungenau sein. Bitte prüfe immer alle Angaben in der Originalanzeige! Inhalte und Urheberrechte der Originalanzeige liegen beim ausschreibenden Unternehmen.
Ähnliche Jobs direkt in deine Inbox?
Noch nicht perfekt?