Apertus Engineer: Post-training

Wir suchen einen versierten Engineer, um das Apertus Post-training Vorhaben zu unterstützen. Der ideale Kandidat wird die SFT- und Reinforcement Learning Pipelines entwickeln, ausführen und evaluieren, die eingesetzt werden, um Apertus Base Models in leistungsfähige Assistenten zu verwandeln. Diese Rolle erfordert einen starken Hintergrund in LLM Post-training, fundierte Software Engineering Fähigkeiten und die Fähigkeit, kollaborativ in einem forschungsorientierten HPC-Umfeld zu arbeiten. Projekt-Hintergrund Wir trainieren offene Foundation Models mit hunderten Milliarden von Parametern auf tausenden GPUs auf einem der grössten KI-bereiten Supercomputer in Europa. Das Team umfasst mehr als ein Dutzend Vollzeit-Engineers, die Seite an Seite mit führenden Forschern der EPFL und ETH Zürich arbeiten, hat die Apertus 1 und Apertus 1.5 Modelle veröffentlicht und arbeitet mit über dreissig akademischen Kooperationspartnern zusammen, um vollständig offene (Open Source), verantwortungsbewusst trainierte, mehrsprachige, multimodale KI-Modelle für Forschung und Industrie bereitzustellen. Apertus wird auf Alps trainiert und entwickelt, der Supercomputing-Infrastruktur des Swiss National Supercomputing Centre. Die Rolle erfordert jemanden, der sich in einer HPC-Umgebung wohlfühlt und mit Forschern sowie Infrastructure Engineers zusammenarbeitet. Jobbeschreibung Der Engineer wird zur Entwicklung, Ausführung und Evaluierung skalierbarer Post-training Workflows für Apertus beitragen. Infrastructure und Systems Engineering • Aufbau und Wartung von containerisierten Umgebungen für LLM Post-training und RL Workloads • Anpassung von Containern und Abhängigkeiten für die Ausführung auf der Alps / CSCS Infrastruktur • Ausführung und Überwachung von Slurm-basierten Trainings- und Evaluations-Jobs • Debugging von Fehlern im Zusammenhang mit verteilter Ausführung, Checkpointing, Filesystem-Performance, Networking und GPU-Auslastung • Unterstützung bei der Wartung von reproduzierbaren Trainings-Recipes, Konfigurationsdateien, Launch-Skripten und Dokumentationen • Zusammenarbeit mit Forschern und CSCS Engineers zur Verbesserung der Zuverlässigkeit und Performance von groß angelegten Experimenten LLM Post-training und Reinforcement Learning • Unterstützung von SFT, Preference Optimisation und Reinforcement Learning Workflows • Aufbau und Ausführung von RL-Umgebungen für Aufgaben mit verifizierbaren Ergebnissen, wie Mathematik, Code, Tool-use und Reasoning • Implementierung und Ausführung von Reward Modelling, Reward Calibration und Verifier-based Training • Generierung und Validierung von synthetischen oder Gym-Trainingsaufgaben • Durchführung von Ablation Studies zum Vergleich von Algorithmen, Reward Functions, Data Mixtures, Hyperparametern und Infrastructure Settings • Evaluierung des Modellverhaltens über Reasoning, Coding, Mathematik, Instruction-following, Mehrsprachigkeit, Tool-use und Safety Benchmarks hinweg • Debugging gängiger Post-training Probleme, einschliesslich Optimierungsinstabilität, Reward Hacking, Regressionen und Evaluationsfehler Profil Essentiell • MSc oder PhD in Computer Science, Data Science, Artificial Intelligence, Machine Learning oder einem verwandten Bereich • Herausragende BSc-Kandidaten mit starker Engineering-Erfahrung werden ebenfalls berücksichtigt • Erfahrung in KI und neuronalen Netzwerkarchitekturen • Starke Kollaborations- und Kommunikationsfähigkeiten sowie die Fähigkeit, über Forschungs- und Engineering-Teams hinweg zu arbeiten • Vorherige praktische Erfahrung in den Kernbereichen dieser Rolle ist erforderlich • Dies kann projekt- oder studienbasierte Erfahrung sein; formale Berufserfahrung wird bevorzugt • Ein hohes Mass an Flexibilität: Prioritäten, Tools und tägliche Aufgaben ändern sich mit Trainingsplänen, Releases und einem schnelllebigen Feld • Hands-on Erfahrung mit LLM Post-training, sei es Alignment (SFT, Preference Optimisation) oder Reinforcement Learning • Dies bedeutet Erfahrung mit Frameworks wie veRL, slime, Megatron-LM, DeepSpeed, TRL, vLLM, SGLang oder ähnlichen Tools Hoch bevorzugt • Vertrautheit mit verteilten Trainingskonzepten wie Data Parallelism, Tensor Parallelism, Pipeline Parallelism, Checkpointing und GPU-Kommunikation • Erfahrung mit Slurm oder einem anderen HPC Workload Manager • Erfahrung im Aufbau oder der Anpassung von Containern für HPC oder GPU-Cluster Nice to have • Veröffentlichte Forschung in den für diese Rolle relevanten Bereichen oder Vertrautheit mit kürzlich veröffentlichter Forschung zu diesen Themen • Erfahrung in der Erstellung verifizierbarer Aufgaben für Mathematik, Code, Reasoning oder Tool Use • Vertrautheit mit Low-Level GPU/Distributed Libraries wie NCCL, Transformer Engine, FlashAttention oder Communication Backends • Erfahrung mit groß angelegten Evaluations-Pipelines Wir bieten • Ein anregendes akademisches Umfeld an einer der weltweit führenden technischen Universitäten • Die Möglichkeit, mit modernster Supercomputing-Infrastruktur und wegweisender KI-Forschung zu arbeiten • Zusammenarbeit mit Top-Forschern und Engineers von der EPFL, ETH Zürich, CSCS und anderen Schweizer Institutionen • Flexible Arbeitsmodelle, einschliesslich Optionen für Remote Work • Möglichkeiten zur beruflichen Weiterentwicklung, einschliesslich Konferenzteilnahmen und spezialisierter Trainings • Die Chance, zu Open-Source-Projekten mit globaler Wirkung beizutragen • Zugang zum breiteren Schweizer akademischen Ökosystem und zu Industriepartnerschaften • Teil der souveränen Schweizer KI-Entwicklung zu sein und an Technologie von nationaler Bedeutung zu arbeiten • Die Rolle kann entweder in Lausanne an der EPFL oder in Zürich an der ETH Zürich angesiedelt sein Wir schätzen Diversität und Nachhaltigkeit Im Einklang mit unseren Werten fördert die ETH Zürich eine inklusive Kultur. Wir fördern die Chancengleichheit, schätzen Diversität und pflegen ein Arbeits- und Lernumfeld, in dem die Rechte und die Würde aller unserer Mitarbeitenden und