Ingénieur Apertus : Post-training

Ingénieur Apertus : Post-training # 100%, Zurich, durée déterminée #### print Drucken  Nous recherchons un ingénieur qualifié pour rejoindre l'effort de post-training d'Apertus. Le candidat idéal développera, exécutera et évaluera les pipelines de SFT et d'apprentissage par renforcement utilisés pour transformer les modèles de base Apertus en assistants capables. Ce rôle nécessite une solide expérience dans le post-training des LLM, de solides compétences en ingénierie logicielle et la capacité de travailler de manière collaborative dans un environnement HPC axé sur la recherche. Contexte du projet ## Nous entraînons des modèles de fondation ouverts avec des centaines de milliards de paramètres sur des milliers de GPU sur l'un des plus grands supercalculateurs prêts pour l'IA en Europe. L'équipe compte plus d'une douzaine d'ingénieurs à plein temps travaillant aux côtés de chercheurs de premier plan de l'EPFL et de l'ETH Zürich, a publié les modèles Apertus 1 et Apertus 1.5, et collabore avec plus de trente collaborateurs académiques pour fournir des modèles d'IA multilingues, multimodaux, entièrement ouverts (open source) et entraînés de manière responsable pour la recherche et l'industrie. Apertus est entraîné et développé sur Alps, l'infrastructure de calcul haute performance du Centre national suisse de calcul (CSCS). Le rôle nécessite une personne à l'aise avec le travail dans un environnement HPC et la collaboration avec des chercheurs et des ingénieurs en infrastructure. Description du poste ## L'ingénieur contribuera au développement, à l'exécution et à l'évaluation de flux de travail de post-training évolutifs pour Apertus. Ingénierie des infrastructures et des systèmes • Construire et maintenir des environnements conteneurisés pour les charges de travail de post-training de LLM et de RL • Adapter les conteneurs et les dépendances pour l'exécution sur l'infrastructure Alps / CSCS • Exécuter et surveiller les tâches d'entraînement et d'évaluation basées sur Slurm • Déboguer les échecs liés à l'exécution distribuée, au checkpointing, aux performances du système de fichiers, au réseau et à l'utilisation des GPU • Aider à maintenir des recettes d'entraînement reproductibles, des fichiers de configuration, des scripts de lancement et la documentation • Travailler avec des chercheurs et des ingénieurs du CSCS pour améliorer la fiabilité et la performance des expériences à grande échelle Post-training de LLM et apprentissage par renforcement • Soutenir les flux de travail de SFT, d'optimisation des préférences et d'apprentissage par renforcement • Construire et exécuter des environnements de RL pour des tâches avec des résultats vérifiables, telles que les mathématiques, le code, l'utilisation d'outils et le raisonnement • Implémenter et exécuter la modélisation de récompense, le calibrage de récompense et l'entraînement basé sur des vérificateurs • Générer et valider des tâches d'entraînement synthétiques ou de type gym • Exécuter des études d'ablation comparant les algorithmes, les fonctions de récompense, les mélanges de données, les hyperparamètres et les paramètres d'infrastructure • Évaluer le comportement du modèle à travers les benchmarks de raisonnement, de codage, de mathématiques, de respect des instructions, de multilinguisme, d'utilisation d'outils et de sécurité • Déboguer les problèmes courants de post-training, y compris l'instabilité de l'optimisation, le reward hacking, les régressions et les échecs d'évaluation Profil ## Essentiel • MSc ou PhD en informatique, science des données, intelligence artificielle, apprentissage automatique ou un domaine connexe  • Les candidats exceptionnels de niveau BSc avec une solide expérience en ingénierie seront également considérés • Expérience en IA et en architectures de réseaux neuronaux • Fortes compétences en collaboration et en communication et capacité à travailler entre les équipes de recherche et d'ingénierie • Une expérience pratique préalable dans les domaines de base de ce rôle est requise  • Cela peut être une expérience basée sur des projets ou des études ; une expérience professionnelle formelle est préférée • Un haut degré de flexibilité : les priorités, les outils et les tâches quotidiennes changent selon les calendriers d'entraînement, les publications et un domaine en évolution rapide • Expérience pratique du post-training de LLM, qu'il s'agisse d'alignement (SFT, optimisation des préférences) ou d'apprentissage par renforcement • Cela signifie une expérience avec des frameworks tels que veRL, slime, Megatron-LM, DeepSpeed, TRL, vLLM, SGLang ou des outils similaires Fortement préféré • Familiarité avec les concepts d'entraînement distribué tels que le parallélisme de données, le parallélisme de tenseurs, le parallélisme de pipeline, le checkpointing et la communication GPU • Expérience avec Slurm ou un autre gestionnaire de charge de travail HPC • Expérience dans la construction ou l'adaptation de conteneurs pour les clusters HPC ou GPU Atout • Recherche publiée dans les domaines pertinents pour ce rôle, ou familiarité avec la recherche récemment publiée sur ces sujets • Expérience dans la création de tâches vérifiables pour les mathématiques, le code, le raisonnement ou l'utilisation d'outils • Familiarité avec les bibliothèques GPU/distribuées de bas niveau telles que NCCL, Transformer Engine, FlashAttention ou les backends de communication • Expérience avec les pipelines d'évaluation à grande échelle Lieu de travail ## Lieu de travail ## Nous offrons ## • Un environnement académique stimulant dans l'une des plus grandes universités techniques au monde • L'opportunité de travailler avec une infrastructure de supercalcul à la pointe de la technologie et une recherche en IA de pointe • Collaboration avec des chercheurs et ingénieurs de premier plan de l'EPFL, l'ETH Zürich, le CSCS et d'autres institutions suisses • Des modalités de travail flexibles, y compris des optio