Apertus Engineer: Deployment

Apertus Engineer: Deployment # 100%, Zurich, befristet #### print Drucken  Wir suchen einen versierten Engineer, der den technischen Release-Pfad von Apertus-Modellen verantwortet. Der ideale Kandidat wird Apertus in das Open-Source-Inference-Ökosystem integrieren, quantisierte Varianten erstellen und sicherstellen, dass jeder Release für die Community sofort einsatzbereit („out of the box“) funktioniert. Diese Rolle erfordert ausgeprägte Python- und Software-Engineering-Fähigkeiten, Erfahrung mit LLM-Inference-Stacks und eine nachweisbare Erfolgsbilanz bei Open-Source-Beiträgen. Projekt-Hintergrund ## Wir trainieren offene Foundation-Modelle mit Hunderten von Milliarden von Parametern auf Tausenden von GPUs auf einem der grössten KI-fähigen Supercomputer in Europa. Das Team besteht aus mehr als einem Dutzend Vollzeit-Engineers, die neben führenden Forschern der EPFL und ETH Zürich arbeiten, hat die Apertus 1 und Apertus 1.5 Modelle veröffentlicht und arbeitet mit über dreissig akademischen Kooperationspartnern zusammen, um vollständig offene (Open Source), verantwortungsbewusst trainierte, mehrsprachige, multimodale KI-Modelle für Forschung und Industrie bereitzustellen. Apertus wird auf Alps trainiert und entwickelt, der Supercomputing-Infrastruktur des Schweizerischen Nationalen Supercomputing-Zentrums (CSCS). Diese Rolle befindet sich an der Schnittstelle zwischen dem Trainings-Team und der Open-Source-Community: Die soziale Seite des Community-Engagements wird von unserem Community Manager verantwortet, während diese Rolle den technischen Release-Pfad verantwortet. Jobbeschreibung ## Der Engineer wird sicherstellen, dass Apertus-Releases im gesamten Open-Source-LLM-Ökosystem sofort einsatzbereit sind, von der Inference auf Server-Ebene bis hin zum persönlichen Deployment. Upstream-Integration und Release Engineering • Verwaltung des technischen Release-Pfads der trainierten Apertus-Modelle: Checkpoint-Konvertierung und Vorbereitung von Release-Artefakten (Weights, Konfigurationen, Tokeniser, Model Cards) zusammen mit dem Trainings-Team • Implementierung und Upstream-Support für Apertus-Modellarchitekturen in Community-Bibliotheken wie Hugging Face Transformers, vLLM, SGLang und llama.cpp sowie Begleitung dieser Beiträge durch den Review-Prozess, um die Community-Unterstützung sicherzustellen • Verifizierung der Day-0-Kompatibilität neuer Releases mit den wichtigsten Inference-Engines und Modellformaten • Koordination des Release-Zeitplans und der technischen Materialien mit dem Community Manager Quantisierung • Erstellung quantisierter Varianten der veröffentlichten Modelle (z. B. FP8, INT4/AWQ/GPTQ, GGUF), die für den Server- und persönlichen Einsatz geeignet sind • Validierung quantisierter Varianten gegen Evaluations-Benchmarks, um sicherzustellen, dass die Qualität erhalten bleibt Dokumentation und Beispiele • Bereitstellung von Beispiel-Skripten und Referenzkonfigurationen, die zeigen, wie Apertus-Modelle mit vLLM, SGLang und Transformers bereitgestellt und genutzt werden können • Unterstützung von persönlichen und lokalen Deployment-Ökosystemen wie LM Studio, Ollama und llama.cpp • Pflege der Deployment-Dokumentation und Troubleshooting-Guides für die Community Profil ## Essentiell • MSc oder PhD in Informatik, Data Science, Künstliche Intelligenz, Maschinelles Lernen oder einem verwandten Bereich  • Herausragende BSc-Kandidaten mit starker Engineering-Erfahrung werden ebenfalls in Betracht gezogen • Starke Python- und Software-Engineering-Fähigkeiten, einschliesslich Erfahrung mit Open-Source-Contribution-Workflows (Pull Requests, Code Review, CI) • Erfahrung mit LLM-Inference-Stacks wie Hugging Face Transformers, vLLM oder SGLang • Starke Kollaborations- und Kommunikationsfähigkeiten sowie die Fähigkeit, über Forschungs-, Engineering- und Community-nahe Teams hinweg zu arbeiten • Vorherige praktische Erfahrung in den Kernbereichen dieser Rolle ist erforderlich  • Dies kann projekt- oder studienbasierte Erfahrung sein; formelle Berufserfahrung wird bevorzugt • Ein hohes Mass an Flexibilität: Prioritäten, Tools und tägliche Aufgaben verschieben sich mit Trainingsplänen, Releases und einem sich schnell entwickelnden Feld • Eine nachweisbare Erfolgsbilanz von gemergten Beiträgen zu ML- oder Inference-Bibliotheken (z. B. Transformers, vLLM, SGLang, llama.cpp) Stark bevorzugt • Erfahrung bei der Konvertierung von Modellen zwischen Formaten und Frameworks (z. B. Megatron-LM Checkpoints, safetensors, GGUF) • Vertrautheit mit persönlichen und lokalen Deployment-Tools wie LM Studio, Ollama oder llama.cpp • Erfahrung im Schreiben von Entwickler-orientierter Dokumentation und Beispielcode Schön zu haben • Veröffentlichte Forschung in den für diese Rolle relevanten Bereichen oder Vertrautheit mit kürzlich veröffentlichter Forschung zu diesen Themen • Erfahrung in der Quantisierung von Modellen ohne Leistungsverlust (FP8, INT4, AWQ, GPTQ) und in der Evaluation quantisierter Modelle • Erfahrung mit LLM-Evaluation-Harnesses und Benchmark-Pipelines • Vertrautheit mit GPU-Inference-Performance-Tuning und Serving im grossen Massstab • Erfahrung mit Apple Silicon / MLX oder anderen Consumer-Hardware-Inference-Targets Arbeitsplatz ## Arbeitsplatz ## Wir bieten ## • Ein anregendes akademisches Umfeld an einer der weltweit führenden technischen Universitäten • Zugang zu Alps, einem der grössten KI-fähigen Supercomputer in Europa • Die Möglichkeit, mit führenden Forschern auf diesem Gebiet zusammenzuarbeiten und sich mit ihnen zu vernetzen • Zusammenarbeit mit Top-Forschern und Engineers von der EPFL, ETH Zürich, CSCS und anderen Schweizer Institutionen • Attraktive Arbeitsbedingungen und umfassende Sozialleistungen, einschliesslich der ETH Zürich/EPFL Pensionskassen • Flexible Arbeitszeitmodelle, einschliesslich Optionen für Remote Work • Möglichkeiten zur beruflichen Weiterentwicklung, einschliesslich Konferenzteilnahmen und spezialisierter Trainings • Die Chance,