Apertus Engineer: Evaluations

Stiamo cercando un ingegnere esperto da inserire nell'impegno di valutazione di Apertus. Il candidato ideale costruirà e gestirà il codebase e le pipeline di valutazione che guidano le nostre decisioni di addestramento e rilascio, mantenendo la coerenza dei risultati tra l'addestramento e il servizio (serving). Questo ruolo richiede solide competenze di ingegneria Python, esperienza pratica nella valutazione di LLM e la capacità di lavorare in modo collaborativo in un ambiente orientato alla ricerca. Addestriamo modelli foundation open con centinaia di miliardi di parametri su migliaia di GPU su uno dei più grandi supercomputer pronti per l'IA in Europa. Il team conta più di una dozzina di ingegneri full-time che lavorano accanto a ricercatori leader dell'EPFL e dell'ETH Zürich, ha rilasciato i modelli Apertus 1 e Apertus 1.5 e collabora con oltre trenta collaboratori accademici per fornire modelli AI multilingue, multimodali, completamente open (open source) e addestrati responsabilmente per la ricerca e l'industria. Apertus è addestrato e sviluppato su Alps, l'infrastruttura di supercalcolo del Swiss National Supercomputing Centre (CSCS). Il ruolo richiede una persona che si senta a proprio agio nel lavorare in un ambiente HPC e nel collaborare con ricercatori e ingegneri dell'infrastruttura. L'ingegnere sarà responsabile del codebase e delle pipeline di valutazione che informano le decisioni di addestramento e i rilasci. Infrastruttura di valutazione Costruire e mantenere il codebase e le pipeline di valutazione per i modelli Apertus, dai checkpoint durante l'addestramento ai modelli rilasciati Far eseguire le valutazioni rapidamente e su larga scala: esecuzione parallela su Alps, uso efficiente di backend di inferenza, caching e tracciamento dei risultati Ridurre il disallineamento tra le valutazioni durante l'addestramento e durante il serving: tokenizzazione coerente, chat template, prompting e campionamento attraverso harness di valutazione e motori di inferenza Effettuare il debug di fallimenti di valutazione, regressioni e inconsistenze tra i backend Copertura dei benchmark Integrare ed eseguire le valutazioni di interesse per il progetto. La progettazione di nuove valutazioni è affidata a ricercatori e ingegneri collaboratori; questo ruolo le rende affidabili e scalabili Coprire le valutazioni di immagini e audio insieme al testo all'interno della stessa pipeline Integrare nuovi benchmark man mano che il campo evolve, lavorando con i nostri collaboratori accademici per integrare i benchmark che creano e convalidare che le metriche e le implementazioni degli harness siano affidabili Valutazione comparativa e di terze parti Valutare servizi di terze parti e altri modelli open e closed contro la stessa suite di benchmark, producendo risultati direttamente comparabili e riproducibili Fornire risultati di valutazione, report e dashboard che supportino le decisioni di addestramento (data mixtures, ablazioni) e le decisioni di rilascio Lavorare a stretto contatto con gli ingegneri focalizzati sulla sicurezza, il deployment e le necessità della community, e integrare le valutazioni che creano nella pipeline condivisa Requisiti essenziali MSc o PhD in Informatica, Data Science, Intelligenza Artificiale, Machine Learning o un campo correlato. Eccezionale Candidati con BSc e forte esperienza ingegneristica saranno presi in considerazione Forti competenze in Python e ingegneria del software, inclusa l'esperienza nella costruzione di pipeline di dati o di valutazione robuste Esperienza con la valutazione di LLM: harness stabiliti (ad es. lm-evaluation-harness) o strumenti di benchmark personalizzati Forti capacità di collaborazione e comunicazione e capacità di lavorare tra team di ricerca e ingegneria È richiesta una precedente esperienza pratica nei domini core di questo ruolo. Può trattarsi di esperienza basata su progetti o studi; l'esperienza lavorativa formale è preferibile Un alto grado di flessibilità: priorità, strumenti e compiti quotidiani cambiano con i programmi di addestramento, i rilasci e un campo in rapida evoluzione Esperienza nell'esecuzione di valutazioni su larga scala su cluster GPU (Slurm o simili) e con motori di inferenza come vLLM o SGLang Familiarità con la valutazione agentica e gli harness agentici: uso di strumenti, ambienti di esecuzione sandboxed, benchmark come SWE-bench o simili Esperienza con la valutazione di modelli multimodali (immagine o audio) Fortemente preferibili Occhio al rigore statistico: varianza tra le esecuzioni, sensibilità al prompt, significatività delle differenze tra i modelli Desiderabili Ricerca pubblicata nei domini rilevanti per questo ruolo, o familiarità con ricerche pubblicate di recente su questi argomenti Esperienza con pipeline LLM-as-judge e la loro calibrazione Familiarità con le pratiche di rilevamento e decontaminazione dei benchmark Esperienza nel visualizzare e comunicare i risultati di valutazione ai team di ricerca Un ambiente accademico stimolante presso una delle principali università tecniche al mondo Accesso ad Alps, uno dei più grandi supercomputer pronti per l'IA in Europa L'opportunità di lavorare accanto e intersecarsi con ricercatori leader nel campo Collaborazione con ricercatori e ingegneri di alto livello di EPFL, ETH Zürich, CSCS e altre istituzioni svizzere Condizioni di impiego attraenti e benefit completi, inclusi i piani pensionistici ETH Zürich/EPFL Disposizioni di lavoro flessibili, incluse opzioni per il lavoro remoto Opportunità di sviluppo professionale, inclusa la partecipazione a conferenze e formazione specializzata La possibilità di contribuire a progetti open-source con impatto globale Far parte dello sviluppo dell'IA sovrana della Svizzera, lavorando su tecnologie di importanza nazionale Il ruolo può avere sede sia a Losanna presso l'EPFL che a Zürich presso l'ETH Zürich Non vediamo l'ora di ricevere la vostra candidatura online con i seguenti documenti: CV/Resume Lettera di presen