Apertus Engineer: Deployment

Apertus Engineer: Deployment # 100%, Zurich, fixed-term #### print Drucken  Nous recherchons un ingénieur qualifié pour prendre en charge le processus de publication technique des modèles Apertus. Le candidat idéal intégrera Apertus dans l'écosystème d'inférence open-source, produira des variantes quantifiées et s'assurera que chaque version est opérationnelle immédiatement pour la communauté. Ce rôle nécessite de solides compétences en Python et en ingénierie logicielle, une expérience des piles d'inférence LLM et une expérience avérée de contributions open-source. Contexte du projet ## Nous entraînons des modèles de fondation ouverts avec des centaines de milliards de paramètres sur des milliers de GPU sur l'un des plus grands supercalculateurs prêts pour l'IA en Europe. L'équipe compte plus d'une douzaine d'ingénieurs à plein temps travaillant aux côtés de chercheurs de premier plan de l'EPFL et de l'ETH Zürich, a publié les modèles Apertus 1 et Apertus 1.5, et travaille avec plus de trente collaborateurs académiques pour fournir des modèles d'IA entièrement ouverts (open source), entraînés de manière responsable, multilingues et multimodaux pour la recherche et l'industrie. Apertus est entraîné et développé sur Alps, l'infrastructure de calcul haute performance du Centre national suisse de calcul scientifique (CSCS). Ce rôle se situe à l'interface entre l'équipe d'entraînement et la communauté open-source : le volet social de l'engagement communautaire est géré par notre community manager, tandis que ce rôle est responsable du processus de publication technique. Description du poste ## L'ingénieur fera en sorte que les versions d'Apertus soient opérationnelles immédiatement à travers l'écosystème LLM open-source, de l'inférence de classe serveur au déploiement personnel. Intégration en amont et ingénierie de publication • Gérer le processus de publication technique des modèles Apertus entraînés : conversion des checkpoints et préparation des artefacts de publication (poids, configurations, tokeniseurs, model cards) en collaboration avec l'équipe d'entraînement • Implémenter et assurer le support en amont pour les architectures de modèles Apertus dans les bibliothèques communautaires telles que Hugging Face Transformers, vLLM, SGLang et llama.cpp, et accompagner ces contributions à travers la revue de code pour garantir le support de la communauté • Vérifier la compatibilité "day-0" des nouvelles versions avec les principaux moteurs d'inférence et formats de modèles • Coordonner le calendrier de publication et les documents techniques avec le community manager Quantification • Produire des variantes quantifiées des modèles publiés (par exemple FP8, INT4/AWQ/GPTQ, GGUF) adaptées au déploiement sur serveur et personnel • Valider les variantes quantifiées par rapport aux benchmarks d'évaluation pour s'assurer que la qualité est préservée Documentation et exemples • Fournir des scripts d'exemple et des configurations de référence montrant comment servir et utiliser les modèles Apertus avec vLLM, SGLang et Transformers • Soutenir les écosystèmes de déploiement personnels et locaux tels que LM Studio, Ollama et llama.cpp • Maintenir la documentation de déploiement et les guides de dépannage pour la communauté Profil ## Essentiel • MSc ou PhD en informatique, science des données, intelligence artificielle, apprentissage automatique ou un domaine connexe  • Les candidats exceptionnels titulaires d'un BSc avec une solide expérience en ingénierie seront également considérés • Solides compétences en Python et en ingénierie logicielle, y compris une expérience des flux de travail de contribution open-source (pull requests, revue de code, CI) • Expérience avec les piles d'inférence LLM telles que Hugging Face Transformers, vLLM ou SGLang • Fortes capacités de collaboration et de communication et aptitude à travailler avec des équipes de recherche, d'ingénierie et de gestion de communauté • Une expérience pratique préalable dans les domaines de base de ce rôle est requise  • Il peut s'agir d'une expérience basée sur des projets ou des études ; une expérience professionnelle formelle est préférée • Un haut degré de flexibilité : les priorités, les outils et les tâches quotidiennes évoluent en fonction des programmes d'entraînement, des publications et d'un domaine en évolution rapide • Un historique de contributions fusionnées dans des bibliothèques de ML ou d'inférence (par exemple Transformers, vLLM, SGLang, llama.cpp) Fortement préféré • Expérience de conversion de modèles entre formats et frameworks (par exemple checkpoints Megatron-LM, safetensors, GGUF) • Familiarité avec les outils de déploiement personnels et locaux tels que LM Studio, Ollama ou llama.cpp • Expérience de la rédaction de documentation destinée aux développeurs et de code d'exemple Atout • Recherche publiée dans les domaines pertinents pour ce rôle, ou familiarité avec la recherche récemment publiée sur ces sujets • Expérience de la quantification de modèles sans dégradation des performances (FP8, INT4, AWQ, GPTQ) et de l'évaluation de modèles quantifiés • Expérience avec les harnais d'évaluation LLM et les pipelines de benchmark • Familiarité avec l'optimisation des performances d'inférence GPU et le service à grande échelle • Expérience avec Apple Silicon / MLX ou d'autres cibles d'inférence sur matériel grand public Lieu de travail ## Lieu de travail ## Nous offrons ## • Un environnement académique stimulant dans l'une des plus grandes universités techniques au monde • L'accès à Alps, l'un des plus grands supercalculateurs prêts pour l'IA en Europe • L'opportunité de travailler aux côtés et d'interagir avec des chercheurs de premier plan dans le domaine • Une collaboration avec des chercheurs et ingénieurs de haut niveau de l'EPFL, l'ETH Zürich, le CSCS et d'autres institutions suisses • Des conditions d'emploi attractives et des avantages complets, y compris les plans de prévoy