LLM Application Engineer

Informazioni su A1 Oggi ci sono oltre 5 miliardi di utenti che utilizzano applicazioni di base come email, note, task che non sono AI-native. La nostra missione è costruire un assistente intelligente proattivo per gli utenti quotidiani per portare intelligenza nelle conversazioni, nelle commissioni, nell'organizzazione e nei flussi di lavoro, con un prompting minimo. Il nostro prodotto si concentra sul raggiungimento di un'alta affidabilità per workflow a lunga durata, contesto persistente e completamento di task nel mondo reale. Il sistema deve gestire il ragionamento multi-step, interagire con strumenti esterni e rimanere affidabile nonostante il comportamento non deterministico del modello. Il nostro obiettivo è aiutare gli utenti a completare i task quotidianamente in modo piacevole con un tempo ridotto di oltre ~90%*. Informazioni sul Ruolo Come LLM Application Engineer, costruirai lo strato di intelligenza che alimenta le esperienze AI di A1. Lavorerai all'intersezione tra LLM, software engineering e prodotto - progettando workflow di agenti, migliorando il comportamento del modello e trasformando le capacità dell'AI in esperienze utente affidabili. Ti occuperai dei problemi end-to-end, dalla comprensione delle esigenze degli utenti, alla progettazione di workflow Agentic, all'integrazione di modelli e strumenti, alla costruzione di sistemi di valutazione e al miglioramento continuo del comportamento dell'AI in produzione. Focus - Costruire e rilasciare applicazioni alimentate da LLM e workflow di agenti AI - Progettare sistemi per il ragionamento, la pianificazione, la memoria, l'uso di strumenti e l'esecuzione multi-step - Costruire pipeline di orchestrazione affidabili che trasformino gli output probabilistici dei modelli in azioni prevedibili, osservabili e sicure - Integrare LLM con API, database, ricerca, servizi interni e strumenti esterni. - Sviluppare prompting, context engineering, output strutturati, tool-calling e altre tecniche per migliorare il comportamento del modello - Costruire framework di valutazione e dataset per misurare la qualità dell'AI, l'affidabilità e le regressioni - Debugging di sistemi AI attraverso l'intero stack—dal comportamento del modello e prompt all'orchestrazione, ai servizi backend e alla UX del prodotto - Ottimizzare i sistemi AI per qualità, latenza e costo - Lavorare a stretto contatto con i team di prodotto e ingegneria per trasformare problemi di prodotto ambigui in soluzioni AI funzionanti - Stabilire pratiche di produzione per osservabilità, tracing, sperimentazione, valutazione e miglioramento continuo Tech Stack - Python - LLM APIs e fornitori di modelli, inclusi API compatibili con OpenAI e modelli open-weight - Framework di agenti e sistemi di orchestrazione - Vector databases e sistemi di retrieval - Servizi backend, API e sistemi distribuiti - PyTorch / JAX Esperienza Ideale - Solide basi di software engineering con esperienza nella costruzione di applicazioni alimentate da AI - Esperienza pratica con LLM, generative AI o sistemi basati su agenti - Esperienza nella progettazione di prompt, workflow, valutazioni o comportamento dell'AI - Capacità di scrivere codice pulito e di qualità per la produzione - Capacità di lavorare attraverso diversi strati di astrazione (modello → sistema → prodotto) - Forti capacità di problem-solving in ambienti ambigui e in rapida evoluzione - Propensione verso il rilascio, l'iterazione e il miglioramento continuo Risultati - Le funzionalità AI raggiungono la produzione rapidamente e forniscono un impatto misurabile sull'utente - I workflow alimentati da LLM sono affidabili, scalabili, osservabili e manutenibili - La qualità dell'AI migliora attraverso valutazione sistematica, sperimentazione e iterazione - I workflow AI diventano sempre più prevedibili, efficienti e convenienti - Le complesse capacità dell'AI vengono tradotte in esperienze utente semplici e intuitive