Apertus Engineer: Evaluations

Apertus Engineer: Evaluations # 100%, Zurich, fixed-term #### print Drucken  Siamo alla ricerca di un ingegnere esperto da inserire nell'impegno di valutazione di Apertus. Il candidato ideale costruirà e gestirà il codebase e le pipeline di valutazione che guidano le nostre decisioni di addestramento e rilascio, mantenendo la coerenza dei risultati tra l'addestramento e il serving. Questo ruolo richiede solide competenze di ingegneria Python, esperienza pratica nella valutazione di LLM e la capacità di lavorare in modo collaborativo in un ambiente orientato alla ricerca. Contesto del progetto ## Addestriamo modelli foundation open con centinaia di miliardi di parametri su migliaia di GPU su uno dei più grandi supercomputer pronti per l'IA in Europa. Il team conta più di una dozzina di ingegneri full-time che lavorano accanto a ricercatori leader di EPFL e ETH Zürich, ha rilasciato i modelli Apertus 1 e Apertus 1.5 e collabora con oltre trenta collaboratori accademici per fornire modelli AI multilingue e multimodali, completamente open (open source) e addestrati in modo responsabile, per la ricerca e l'industria. Apertus è addestrato e sviluppato su Alps, l'infrastruttura di supercalcolo del Swiss National Supercomputing Centre (CSCS). Il ruolo richiede una persona che si senta a proprio agio nel lavorare in un ambiente HPC e nel collaborare con ricercatori e ingegneri dell'infrastruttura. Descrizione del lavoro ## L'ingegnere sarà responsabile del codebase e delle pipeline di valutazione che informano le decisioni di addestramento e i rilasci. Infrastruttura di valutazione • Costruire e mantenere il codebase e le pipeline di valutazione per i modelli Apertus, dai checkpoint durante l'addestramento ai modelli rilasciati • Rendere le valutazioni rapide e su larga scala: esecuzione parallela su Alps, uso efficiente di backend di inferenza, caching e tracciamento dei risultati • Ridurre la discrepanza tra le valutazioni durante l'addestramento e durante il serving: tokenizzazione coerente, chat template, prompting e campionamento tra harness di valutazione e motori di inferenza • Debug di fallimenti di valutazione, regressioni e inconsistenze tra i backend Copertura dei benchmark • Integrare ed eseguire le valutazioni di interesse per il progetto. La progettazione di nuove valutazioni è responsabilità di ricercatori e ingegneri collaboratori; questo ruolo le rende affidabili e scalabili • Coprire le valutazioni di immagini e audio insieme al testo all'interno della stessa pipeline • Integrare nuovi benchmark man mano che il settore evolve, lavorando con i nostri collaboratori accademici per integrare i benchmark da loro creati e convalidare che le metriche e le implementazioni degli harness siano affidabili Valutazione comparativa e di terze parti • Valutare servizi di terze parti e altri modelli open e closed rispetto alla stessa suite di benchmark, producendo risultati direttamente comparabili e riproducibili • Fornire risultati di valutazione, report e dashboard che supportino le decisioni di addestramento (data mixtures, ablazioni) e le decisioni di rilascio • Lavorare a stretto contatto con gli ingegneri focalizzati sulla sicurezza, il deployment e le esigenze della community, e integrare le valutazioni da loro create nella pipeline condivisa Profilo ## Essenziale • MSc o PhD in Computer Science, Data Science, Artificial Intelligence, Machine Learning o un campo correlato. Eccezionale • Saranno presi in considerazione anche candidati con BSc e una forte esperienza ingegneristica • Forti competenze in Python e ingegneria del software, inclusa l'esperienza nella costruzione di pipeline robuste di dati o valutazione • Esperienza con la valutazione di LLM: harness stabiliti (ad es. lm-evaluation-harness) o strumenti di benchmark personalizzati • Forti capacità di collaborazione e comunicazione e capacità di lavorare tra team di ricerca e ingegneria • È richiesta una precedente esperienza pratica nei domini principali di questo ruolo. Può trattarsi di esperienza basata su progetti o studi; è preferibile l'esperienza lavorativa formale • Un alto grado di flessibilità: priorità, strumenti e compiti quotidiani cambiano in base ai programmi di addestramento, ai rilasci e a un settore in rapida evoluzione • Esperienza nell'esecuzione di valutazioni su larga scala su cluster GPU (Slurm o simili) e con motori di inferenza come vLLM o SGLang • Familiarità con l'agentic evaluation e gli agentic harness: uso di strumenti, ambienti di esecuzione sandbox, benchmark come SWE-bench o simili • Esperienza con la valutazione di modelli multimodali (immagine o audio) Fortemente preferito • Occhio per il rigore statistico: varianza tra le esecuzioni, sensibilità al prompt, significatività delle differenze tra i modelli Plus • Ricerca pubblicata nei domini rilevanti per questo ruolo, o familiarità con ricerche pubblicate recentemente su questi argomenti • Esperienza con pipeline LLM-as-judge e la loro calibrazione • Familiarità con le pratiche di rilevamento della contaminazione dei benchmark e decontaminazione • Esperienza nel visualizzare e comunicare i risultati della valutazione ai team di ricerca Luogo di lavoro ## Luogo di lavoro ## Offriamo ## • Un ambiente accademico stimolante presso una delle università tecniche leader al mondo • Accesso ad Alps, uno dei più grandi supercomputer pronti per l'IA in Europa • L'opportunità di lavorare fianco a fianco e intersecarsi con ricercatori leader nel settore • Collaborazione con ricercatori e ingegneri di alto livello provenienti da EPFL, ETH Zürich, CSCS e altre istituzioni svizzere • Condizioni di impiego attraenti e benefit completi, inclusi i piani pensionistici ETH Zürich/EPFL • Modalità di lavoro flessibili, incluse opzioni per il lavoro da remoto • Opportunità di sviluppo professionale, inclusa la partecipazione a conferenze e formazione specializzata • La possibilità di contribuire a progetti open-source con impatto glo