Apertus Engineer: Evaluations

Apertus Engineer: Evaluations # 100%, Zurich, fixed-term #### print Drucken  Nous recherchons un ingénieur qualifié pour rejoindre l'effort d'évaluation d'Apertus. Le candidat idéal construira et exploitera la base de code et les pipelines d'évaluation qui orientent nos décisions d'entraînement et de publication, en maintenant la cohérence des résultats entre l'entraînement et le service (serving). Ce rôle exige de solides compétences en ingénierie Python, une expérience pratique de l'évaluation des LLM et la capacité de travailler de manière collaborative dans un environnement axé sur la recherche. Contexte du projet ## Nous entraînons des modèles de fondation ouverts avec des centaines de milliards de paramètres sur des milliers de GPU sur l'un des plus grands supercalculateurs prêts pour l'IA en Europe. L'équipe compte plus d'une douzaine d'ingénieurs à temps plein travaillant aux côtés de chercheurs de premier plan de l'EPFL et de l'ETH Zürich, a publié les modèles Apertus 1 et Apertus 1.5, et collabore avec plus de trente collaborateurs académiques pour fournir des modèles d'IA multilingues et multimodaux, entièrement ouverts (open source) et entraînés de manière responsable pour la recherche et l'industrie. Apertus est entraîné et développé sur Alps, l'infrastructure de supercalcul du Centre national suisse de calcul haute performance (CSCS). Le rôle nécessite une personne à l'aise avec le travail dans un environnement HPC et la collaboration avec des chercheurs et des ingénieurs en infrastructure. Description du poste ## L'ingénieur sera responsable de la base de code et des pipelines d'évaluation qui orientent les décisions d'entraînement et de publication. Infrastructure d'évaluation • Construire et maintenir la base de code et les pipelines d'évaluation pour les modèles Apertus, des checkpoints pendant l'entraînement jusqu'aux modèles publiés • Faire en sorte que les évaluations s'exécutent rapidement et à grande échelle : exécution parallèle sur Alps, utilisation efficace des backends d'inférence, mise en cache et suivi des résultats • Réduire l'incohérence entre les évaluations pendant l'entraînement et pendant le service : tokenisation cohérente, templates de chat, prompting et échantillonnage à travers les harnais d'évaluation et les moteurs d'inférence • Déboguer les échecs d'évaluation, les régressions et les incohérences entre les backends Couverture des benchmarks • Intégrer et exécuter les évaluations qui intéressent le projet. La conception de nouvelles évaluations est assurée par les chercheurs et ingénieurs collaborateurs ; ce rôle consiste à les faire fonctionner de manière fiable et à grande échelle • Couvrir les évaluations d'images et d'audio aux côtés du texte au sein du même pipeline • Intégrer de nouveaux benchmarks à mesure que le domaine évolue, en travaillant avec nos collaborateurs académiques pour intégrer les benchmarks qu'ils créent, et en validant que les métriques et les implémentations de harnais sont dignes de confiance Évaluation comparative et tierce partie • Évaluer les services tiers et d'autres modèles ouverts et fermés par rapport à la même suite de benchmarks, en produisant des résultats directement comparables et reproductibles • Fournir des résultats d'évaluation, des rapports et des tableaux de bord qui soutiennent les décisions d'entraînement (mélanges de données, ablations) et les décisions de publication • Travailler en étroite collaboration avec les ingénieurs axés sur la sécurité, le déploiement et les besoins de la communauté, et intégrer les évaluations qu'ils créent dans le pipeline partagé Profil ## Essentiel • MSc ou PhD en informatique, science des données, intelligence artificielle, machine learning ou un domaine connexe. Exceptionnel • Les candidats titulaires d'un BSc avec une solide expérience en ingénierie seront également considérés • Solides compétences en Python et en ingénierie logicielle, y compris l'expérience de la construction de pipelines de données ou d'évaluation robustes • Expérience de l'évaluation des LLM : harnais établis (ex. lm-evaluation-harness) ou outils de benchmark personnalisés • Solides compétences en collaboration et en communication et capacité à travailler entre les équipes de recherche et d'ingénierie • Une expérience pratique préalable dans les domaines clés de ce rôle est requise. Cela peut être une expérience basée sur des projets ou des études ; une expérience professionnelle formelle est préférée • Un haut degré de flexibilité : les priorités, les outils et les tâches quotidiennes changent selon les calendriers d'entraînement, les publications et un domaine en évolution rapide • Expérience de l'exécution d'évaluations à grande échelle sur des clusters GPU (Slurm ou similaire) et avec des moteurs d'inférence tels que vLLM ou SGLang • Familiarité avec l'évaluation agentique et les harnais agentiques : utilisation d'outils, environnements d'exécution sandboxés, benchmarks tels que SWE-bench ou similaires • Expérience de l'évaluation de modèles multimodaux (image ou audio) Fortement préféré • Un œil pour la rigueur statistique : variance entre les exécutions, sensibilité au prompt, signification des différences entre les modèles Atout • Recherche publiée dans les domaines pertinents pour ce rôle, ou familiarité avec la recherche récemment publiée sur ces sujets • Expérience avec les pipelines LLM-as-judge et leur calibration • Familiarité avec la détection de contamination des benchmarks et les pratiques de décontamination • Expérience de la visualisation et de la communication des résultats d'évaluation aux équipes de recherche Lieu de travail ## Lieu de travail ## Nous offrons ## • Un environnement académique stimulant au sein de l'une des universités techniques les plus importantes au monde • L'accès à Alps, l'un des plus grands supercalculateurs prêts pour l'IA en Europe • L'opportunité de travailler aux côtés et d'interagir avec des chercheurs de premier