Apertus Engineer: Evaluations

Apertus Engineer: Evaluations # 100%, Zurich, befristet #### print Drucken  Wir suchen einen versierten Engineer, um das Apertus Evaluation-Team zu unterstützen. Der ideale Kandidat wird die Evaluation-Codebase und die Pipelines aufbauen und betreiben, die unsere Trainings- und Release-Entscheidungen informieren und sicherstellen, dass die Ergebnisse zwischen Training und Serving konsistent bleiben. Diese Rolle erfordert fundierte Python-Engineering-Kenntnisse, praktische Erfahrung in der LLM-Evaluation und die Fähigkeit, in einem forschungsorientierten Umfeld kollaborativ zu arbeiten. Projektgrundlagen ## Wir trainieren offene Foundation Models mit Hunderten von Milliarden Parametern auf Tausenden von GPUs auf einem der größten KI-fähigen Supercomputer in Europa. Das Team besteht aus mehr als einem Dutzend Vollzeit-Engineers, die mit führenden Forschern der EPFL und ETH Zürich zusammenarbeiten, hat die Modelle Apertus 1 und Apertus 1.5 veröffentlicht und arbeitet mit über dreißig akademischen Partnern zusammen, um voll offene (Open Source), verantwortungsbewusst trainierte, mehrsprachige und multimodale KI-Modelle für Forschung und Industrie bereitzustellen. Apertus wird auf Alps trainiert und entwickelt, der Supercomputing-Infrastruktur des Swiss National Supercomputing Centre (CSCS). Die Rolle erfordert jemanden, der gerne in einer HPC-Umgebung arbeitet und mit Forschern sowie Infrastruktur-Engineers zusammenarbeitet. Jobbeschreibung ## Der Engineer übernimmt die Verantwortung für die Evaluation-Codebase und die Pipelines, die Trainingsentscheidungen und Releases informieren. Evaluations-Infrastruktur • Aufbau und Wartung der Evaluation-Codebase und Pipelines für Apertus-Modelle, von Checkpoints während des Trainings bis hin zu veröffentlichten Modellen • Sicherstellung eines schnellen und skalierbaren Ablaufs der Evaluationen: parallele Ausführung auf Alps, effiziente Nutzung von Inference-Backends, Caching und Result-Tracking • Reduzierung von Diskrepanzen zwischen Evaluationen während des Trainings und während des Servings: konsistente Tokenisierung, Chat-Templates, Prompting und Sampling über Evaluation-Harnesses und Inference-Engines hinweg • Debugging von Evaluationsfehlern, Regressionen und Inkonsistenzen über verschiedene Backends hinweg Benchmark-Abdeckung • Integration und Durchführung der relevanten Projekt-Evaluationen. Das Design neuer Evaluationen liegt in der Verantwortung der kooperierenden Forscher und Engineers; diese Rolle stellt sicher, dass sie zuverlässig und skalierbar laufen • Abdeckung von Bild- und Audio-Evaluationen neben Text innerhalb derselben Pipeline • Integration neuer Benchmarks im Zuge der Feldentwicklung, in Zusammenarbeit mit unseren akademischen Partnern zur Einbindung der von ihnen erstellten Benchmarks sowie zur Validierung, dass Metriken und Harness-Implementierungen vertrauenswürdig sind Vergleichende und Third-Party-Evaluation • Evaluierung von Drittanbieter-Diensten und anderen offenen sowie geschlossenen Modellen gegen dieselbe Benchmark-Suite, um direkt vergleichbare und reproduzierbare Ergebnisse zu erzielen • Bereitstellung von Evaluationsergebnissen, Berichten und Dashboards, die Trainingsentscheidungen (Data Mixtures, Ablations) und Release-Entscheidungen unterstützen • Enge Zusammenarbeit mit den Engineers, die sich auf Safety, Deployment und Community-Bedürfnisse konzentrieren, und Integration der von ihnen erstellten Evaluationen in die gemeinsame Pipeline Profil ## Essenziell • MSc oder PhD in Informatik, Data Science, Künstliche Intelligenz, Maschinelles Lernen oder einem verwandten Bereich. Außerordentlich • BSc-Kandidaten mit starker Engineering-Erfahrung werden ebenfalls in Betracht gezogen • Starke Python- und Software-Engineering-Kenntnisse, einschließlich Erfahrung beim Aufbau robuster Daten- oder Evaluations-Pipelines • Erfahrung mit LLM-Evaluation: etablierte Harnesses (z. B. lm-evaluation-harness) oder maßgeschneiderte Benchmark-Tools • Starke Kollaborations- und Kommunikationsfähigkeiten sowie die Fähigkeit, über Forschungs- und Engineering-Teams hinweg zu arbeiten • Vorherige praktische Erfahrung in den Kernbereichen dieser Rolle ist erforderlich. Dies kann auf Projekt- oder Studienbasis sein; formelle Berufserfahrung wird bevorzugt • Ein hohes Maß an Flexibilität: Prioritäten, Tools und tägliche Aufgaben verschieben sich mit Trainingsplänen, Releases und einem sich schnell entwickelnden Feld • Erfahrung im skalierbaren Ausführen von Evaluationen auf GPU-Clustern (Slurm oder ähnlich) und mit Inference-Engines wie vLLM oder SGLang • Vertrautheit mit agentischer Evaluation und agentischen Harnesses: Tool-Nutzung, Sandbox-Ausführungsumgebungen, Benchmarks wie SWE-bench oder ähnlich • Erfahrung mit der Evaluation multimodaler (Bild oder Audio) Modelle Sehr erwünscht • Ein Auge für statistische Strenge: Varianz zwischen Durchläufen, Prompt-Sensitivität, Signifikanz von Unterschieden zwischen Modellen Von Vorteil • Veröffentlichte Forschung in den für diese Rolle relevanten Bereichen oder Vertrautheit mit kürzlich veröffentlichter Forschung zu diesen Themen • Erfahrung mit LLM-as-judge-Pipelines und deren Kalibrierung • Vertrautheit mit Methoden zur Erkennung und Dekontamination von Benchmark-Contamination • Erfahrung in der Visualisierung und Kommunikation von Evaluationsergebnissen an Forschungsteams Arbeitsort ## Arbeitsort ## Wir bieten ## • Ein anregendes akademisches Umfeld an einer der weltweit führenden technischen Universitäten • Zugang zu Alps, einem der größten KI-fähigen Supercomputer in Europa • Die Möglichkeit, mit führenden Forschern auf diesem Gebiet zusammenzuarbeiten und sich mit ihnen zu vernetzen • Zusammenarbeit mit Spitzenforschern und Engineers von der EPFL, ETH Zürich, CSCS und anderen Schweizer Institutionen • Attraktive Beschäftigungsbedingungen und umfassende Zusatzleistungen, einschließlich der Pensionskassen der ETH Zürich/EPFL • Flexible Arbeitszeitmodelle, einschließlich O