Apertus Engineer: Post-training

Apertus Engineer: Post-training # 100%, Zurich, fixed-term #### print Drucken  Cerchiamo un ingegnere esperto da inserire nello sforzo di post-training di Apertus. Il candidato ideale svilupperà, eseguirà e valuterà le pipeline di SFT e di reinforcement learning utilizzate per trasformare i modelli base di Apertus in assistenti capaci. Questo ruolo richiede un solido background nel post-training di LLM, ottime capacità di software engineering e la capacità di lavorare in modo collaborativo in un ambiente HPC orientato alla ricerca. Project background ## Addestriamo modelli foundation open con centinaia di miliardi di parametri su migliaia di GPU su uno dei più grandi supercomputer pronti per l'AI in Europa. Il team conta più di una dozzina di ingegneri full-time che lavorano accanto a ricercatori leader di EPFL ed ETH Zürich, ha rilasciato i modelli Apertus 1 e Apertus 1.5, e collabora con oltre trenta collaboratori accademici per fornire modelli AI multilingue, multimodali, completamente open (open source) e addestrati responsabilmente per la ricerca e l'industria. Apertus è addestrato e sviluppato su Alps, l'infrastruttura di supercalcolo del Swiss National Supercomputing Centre. Il ruolo richiede una persona che si senta a proprio agio nel lavorare in un ambiente HPC e nel collaborare con ricercatori e ingegneri dell'infrastruttura. Job description ## L'ingegnere contribuirà allo sviluppo, l'esecuzione e la valutazione di workflow di post-training scalabili per Apertus. Infrastructure and systems engineering • Costruire e mantenere ambienti containerizzati per carichi di lavoro di post-training LLM e RL • Adattare container e dipendenze per l'esecuzione sull'infrastruttura Alps / CSCS • Eseguire e monitorare job di addestramento e valutazione basati su Slurm • Debuggare guasti relativi all'esecuzione distribuita, checkpointing, prestazioni del file system, networking e utilizzo della GPU • Aiutare a mantenere ricette di addestramento riproducibili, file di configurazione, script di lancio e documentazione • Lavorare con ricercatori e ingegneri CSCS per migliorare l'affidabilità e le prestazioni di esperimenti su larga scala LLM post-training and reinforcement learning • Supportare i workflow di SFT, ottimizzazione delle preferenze e reinforcement learning • Costruire ed eseguire ambienti RL per task con risultati verificabili, come matematica, codice, uso di tool e ragionamento • Implementare ed eseguire reward modelling, reward calibration e training basato su verifier • Generare e validare task di addestramento sintetici o gym • Eseguire studi di ablazione confrontando algoritmi, funzioni di reward, miscele di dati, iperparametri e impostazioni dell'infrastruttura • Valutare il comportamento del modello attraverso benchmark di ragionamento, coding, matematica, instruction-following, multilinguismo, uso di tool e sicurezza • Debuggare comuni problemi di post-training, inclusa l'instabilità dell'ottimizzazione, reward hacking, regressioni e fallimenti della valutazione Profile ## Essential • MSc o PhD in Computer Science, Data Science, Artificial Intelligence, Machine Learning o un campo correlato  • Saranno presi in considerazione anche candidati BSc eccezionali con una forte esperienza ingegneristica • Esperienza in AI e architetture di reti neurali • Forti capacità di collaborazione e comunicazione e capacità di lavorare tra team di ricerca e ingegneria • È richiesta una precedente esperienza pratica nei domini core di questo ruolo  • Questa può essere un'esperienza basata su progetti o studi; l'esperienza lavorativa formale è preferibile • Un alto grado di flessibilità: priorità, strumenti e compiti quotidiani cambiano con i programmi di addestramento, i rilasci e un campo in rapida evoluzione • Esperienza pratica con il post-training di LLM, sia esso alignment (SFT, ottimizzazione delle preferenze) o reinforcement learning • Ciò significa esperienza con framework come veRL, slime, Megatron-LM, DeepSpeed, TRL, vLLM, SGLang o strumenti simili Strongly preferred • Familiarità con i concetti di addestramento distribuito come data parallelism, tensor parallelism, pipeline parallelism, checkpointing e comunicazione GPU • Esperienza con Slurm o un altro gestore di carichi di lavoro HPC • Esperienza nella costruzione o adattamento di container per cluster HPC o GPU Nice to have • Ricerca pubblicata nei domini rilevanti per questo ruolo, o familiarità con ricerche pubblicate recentemente su questi argomenti • Esperienza nella creazione di task verificabili per matematica, codice, ragionamento o uso di tool • Familiarità con librerie GPU/distribuite di livello inferiore come NCCL, Transformer Engine, FlashAttention o backend di comunicazione • Esperienza con pipeline di valutazione su larga scala Workplace ## Workplace ## Offriamo ## • Un ambiente accademico stimolante presso una delle università tecniche leader al mondo • L'opportunità di lavorare con infrastrutture di supercalcolo all'avanguardia e ricerca AI di punta • Collaborazione con ricercatori e ingegneri di alto livello da EPFL, ETH Zürich, CSCS e altre istituzioni svizzere • Soluzioni di lavoro flessibili, incluse opzioni per il lavoro remoto • Opportunità di sviluppo professionale, inclusi la partecipazione a conferenze e formazione specializzata • La possibilità di contribuire a progetti open-source con impatto globale • Accesso al più ampio ecosistema accademico svizzero e alle partnership industriali • Far parte dello sviluppo dell'AI sovrana della Svizzera, lavorando su tecnologie di rilevanza nazionale • Il ruolo può avere sede sia a Lausanne presso EPFL che a Zürich presso ETH Zürich chevron\_right Working, teaching and research at ETH Zurich We value diversity and sustainability ## In linea con i nostri valori, ETH Zurich incoraggia una cultura inclusiva. Promuoviamo l'uguaglianza di opportunità, valorizziamo la diversità e coltiviamo un ambiente di lavoro e di apprendiment