LLM Application Engineer

Informazioni su A1

Oggi ci sono oltre 5 miliardi di utenti che utilizzano applicazioni di base come email, note, task che non sono AI-native. La nostra missione è costruire un assistente intelligente proattivo per gli utenti quotidiani per portare intelligenza nelle conversazioni, nelle commissioni, nell'organizzazione e nei flussi di lavoro, con un prompting minimo.

Il nostro prodotto si concentra sul raggiungimento di un'alta affidabilità per workflow a lunga durata, contesto persistente e completamento di task nel mondo reale. Il sistema deve gestire il ragionamento multi-step, interagire con strumenti esterni e rimanere affidabile nonostante il comportamento non deterministico del modello. Il nostro obiettivo è aiutare gli utenti a completare i task quotidianamente in modo piacevole con un tempo ridotto di oltre ~90%*.

Informazioni sul Ruolo

Come LLM Application Engineer, costruirai lo strato di intelligenza che alimenta le esperienze AI di A1.

Lavorerai all'intersezione tra LLM, software engineering e prodotto - progettando workflow di agenti, migliorando il comportamento del modello e trasformando le capacità dell'AI in esperienze utente affidabili.

Ti occuperai dei problemi end-to-end, dalla comprensione delle esigenze degli utenti, alla progettazione di workflow Agentic, all'integrazione di modelli e strumenti, alla costruzione di sistemi di valutazione e al miglioramento continuo del comportamento dell'AI in produzione.

Focus

• Costruire e rilasciare applicazioni alimentate da LLM e workflow di agenti AI
• Progettare sistemi per il ragionamento, la pianificazione, la memoria, l'uso di strumenti e l'esecuzione multi-step
• Costruire pipeline di orchestrazione affidabili che trasformino gli output probabilistici dei modelli in azioni prevedibili, osservabili e sicure
• Integrare LLM con API, database, ricerca, servizi interni e strumenti esterni.
• Sviluppare prompting, context engineering, output strutturati, tool-calling e altre tecniche per migliorare il comportamento del modello
• Costruire framework di valutazione e dataset per misurare la qualità dell'AI, l'affidabilità e le regressioni
• Debugging di sistemi AI attraverso l'intero stack—dal comportamento del modello e prompt all'orchestrazione, ai servizi backend e alla UX del prodotto
• Ottimizzare i sistemi AI per qualità, latenza e costo
• Lavorare a stretto contatto con i team di prodotto e ingegneria per trasformare problemi di prodotto ambigui in soluzioni AI funzionanti
• Stabilire pratiche di produzione per osservabilità, tracing, sperimentazione, valutazione e miglioramento continuo

Tech Stack

• Python
• LLM APIs e fornitori di modelli, inclusi API compatibili con OpenAI e modelli open-weight
• Framework di agenti e sistemi di orchestrazione
• Vector databases e sistemi di retrieval
• Servizi backend, API e sistemi distribuiti
• PyTorch / JAX

Esperienza Ideale

• Solide basi di software engineering con esperienza nella costruzione di applicazioni alimentate da AI
• Esperienza pratica con LLM, generative AI o sistemi basati su agenti
• Esperienza nella progettazione di prompt, workflow, valutazioni o comportamento dell'AI
• Capacità di scrivere codice pulito e di qualità per la produzione
• Capacità di lavorare attraverso diversi strati di astrazione (modello → sistema → prodotto)
• Forti capacità di problem-solving in ambienti ambigui e in rapida evoluzione
• Propensione verso il rilascio, l'iterazione e il miglioramento continuo

Risultati

• Le funzionalità AI raggiungono la produzione rapidamente e forniscono un impatto misurabile sull'utente
• I workflow alimentati da LLM sono affidabili, scalabili, osservabili e manutenibili
• La qualità dell'AI migliora attraverso valutazione sistematica, sperimentazione e iterazione
• I workflow AI diventano sempre più prevedibili, efficienti e convenienti
• Le complesse capacità dell'AI vengono tradotte in esperienze utente semplici e intuitive