Apertus Engineer: Deployment

Siamo alla ricerca di un ingegnere esperto che si occupi del percorso di rilascio tecnico dei modelli Apertus. Il candidato ideale integrerà Apertus nell'ecosistema di inferenza open-source, produrrà varianti quantizzate e si assicurerà che ogni rilascio sia pronto all'uso (out of the box) per la community. Questo ruolo richiede solide competenze in Python e software engineering, esperienza con gli stack di inferenza LLM e un track record di contributi open-source. Addestriamo modelli foundation open con centinaia di miliardi di parametri su migliaia di GPU su uno dei più grandi supercomputer pronti per l'IA in Europa. Il team conta più di una dozzina di ingegneri full-time che lavorano accanto a ricercatori leader di EPFL ed ETH Zürich, ha rilasciato i modelli Apertus 1 e Apertus 1.5 e collabora con oltre trenta collaboratori accademici per fornire modelli AI completamente open (open source), addestrati responsabilmente, multilingue e multimodali per la ricerca e l'industria. Apertus è addestrato e sviluppato su Alps, l'infrastruttura di supercalcolo del Swiss National Supercomputing Centre (CSCS). Questo ruolo si colloca all'interfaccia tra il team di addestramento e la community open-source: l'aspetto sociale dell'impegno con la community è gestito dal nostro community manager, mentre questo ruolo si occupa del percorso di rilascio tecnico. L'ingegnere renderà i rilasci di Apertus pronti all'uso in tutto l'ecosistema LLM open-source, dall'inferenza di classe server al deployment personale. Integrazione upstream e release engineering Gestire il percorso di rilascio tecnico dei modelli Apertus addestrati: conversione dei checkpoint e preparazione degli artefatti di rilascio (pesi, configurazioni, tokenizer, model cards) insieme al team di addestramento Implementare e fornire supporto upstream per le architetture dei modelli Apertus in librerie della community come Hugging Face Transformers, vLLM, SGLang e llama.cpp, e guidare questi contributi attraverso la revisione affinché il supporto della community sia garantito Verificare la compatibilità day-0 dei nuovi rilasci con i principali motori di inferenza e i formati dei modelli Coordinare la tempistica dei rilasci e i materiali tecnici con il community manager Quantizzazione Produrre varianti quantizzate dei modelli rilasciati (ad es. FP8, INT4/AWQ/GPTQ, GGUF) adatte al deployment server e personale Validare le varianti quantizzate rispetto ai benchmark di valutazione per garantire la conservazione della qualità Documentazione ed esempi Fornire script di esempio e configurazioni di riferimento che mostrino come servire e utilizzare i modelli Apertus con vLLM, SGLang e Transformers Supportare gli ecosistemi di deployment personale e locale come LM Studio, Ollama e llama.cpp Mantenere la documentazione di deployment e le guide alla risoluzione dei problemi per la community Essenziali MSc o PhD in Computer Science, Data Science, Artificial Intelligence, Machine Learning o un campo correlato Candidati BSc eccezionali con una forte esperienza ingegneristica saranno presi in considerazione Solide competenze in Python e software engineering, inclusa l'esperienza con i workflow di contributo open-source (pull requests, code review, CI) Esperienza con stack di inferenza LLM come Hugging Face Transformers, vLLM o SGLang Forti capacità di collaborazione e comunicazione e capacità di lavorare tra team di ricerca, ingegneria e team orientati alla community È richiesta una precedente esperienza pratica nei domini principali di questo ruolo Può trattarsi di esperienza basata su progetti o studi; l'esperienza lavorativa formale è preferibile Un alto grado di flessibilità: priorità, strumenti e compiti quotidiani cambiano con i programmi di addestramento, i rilasci e un campo in rapida evoluzione Un track record di contributi approvati (merged) a librerie ML o di inferenza (ad es. Transformers, vLLM, SGLang, llama.cpp) Fortemente preferiti Esperienza nella conversione di modelli tra formati e framework (ad es. checkpoint Megatron-LM, safetensors, GGUF) Familiarità con strumenti di deployment personale e locale come LM Studio, Ollama o llama.cpp Esperienza nella scrittura di documentazione per sviluppatori e codice di esempio Nice to have Ricerca pubblicata nei domini rilevanti per questo ruolo, o familiarità con ricerche pubblicate di recente su questi argomenti Esperienza nella quantizzazione di modelli senza degradazione delle prestazioni (FP8, INT4, AWQ, GPTQ) e valutazione di modelli quantizzati Esperienza con harness di valutazione LLM e pipeline di benchmark Familiarità con il tuning delle prestazioni di inferenza su GPU e il serving su scala Esperienza con Apple Silicon / MLX o altri target di inferenza su hardware consumer Un ambiente accademico stimolante presso una delle università tecniche leader al mondo Accesso ad Alps, uno dei più grandi supercomputer pronti per l'IA in Europa L'opportunità di lavorare accanto e intersecarsi con ricercatori leader nel settore Collaborazione con ricercatori e ingegneri di alto livello da EPFL, ETH Zürich, CSCS e altre istituzioni svizzere Condizioni di impiego attraenti e benefit completi, inclusi i piani pensionistici ETH Zürich/EPFL Modalità di lavoro flessibili, incluse opzioni per il lavoro da remoto Opportunità di sviluppo professionale, inclusa la partecipazione a conferenze e formazione specializzata La possibilità di contribuire a progetti open-source con impatto globale Far parte dello sviluppo dell'IA sovrana della Svizzera, lavorando su tecnologie di rilevanza nazionale Il ruolo può avere sede a Losanna presso EPFL o a Zürich presso ETH Zürich Non vediamo l'ora di ricevere la vostra candidatura online con i seguenti documenti: CV/Resume Lettera di presentazione che spieghi il vostro interesse e le vostre qualifiche Trascrizioni accademiche Informazioni di contatto per 2-3 referenze Link a repository GitHub o altri esempi del vostro lavoro di programmazione (se disponibili) Ulteriori in