LLM Application Engineer

Über A1 Es gibt heute über 5 Milliarden Nutzer, die Basis-Anwendungen wie E-Mail, Notizen und Aufgaben verwenden, die nicht AI-nativ sind. Unsere Mission ist es, einen proaktiven smarten Assistenten für alltägliche Nutzer zu bauen, um Intelligenz in Gespräche, Besorgungen, Organisation und Workflows zu bringen, mit minimalem Prompting. Unser Produkt konzentriert sich darauf, eine hohe Zuverlässigkeit für langlaufende Workflows, persistenten Kontext und die Erledigung von Aufgaben in der realen Welt zu erreichen. Das System muss mehrstufiges Denken beherrschen, mit externen Tools interagieren und trotz nicht-deterministischen Modellverhaltens zuverlässig bleiben. Unser Ziel ist es, den Nutzern zu helfen, Aufgaben täglich mit über ~90%* reduzierter Zeit angenehm zu erledigen. Über die Rolle Als LLM Application Engineer werden Sie die Intelligenzschicht bauen, die die AI-Erlebnisse von A1 antreibt. Sie werden an der Schnittstelle von LLMs, Software Engineering und Produkt arbeiten – indem Sie Agent-Workflows entwerfen, das Modellverhalten verbessern und AI-Fähigkeiten in zuverlässige Nutzererlebnisse umwandeln. Sie werden Probleme End-to-End verantworten, vom Verständnis der Nutzerbedürfnisse über das Design von Agentic Workflows und die Integration von Modellen und Tools bis hin zum Aufbau von Evaluationssystemen und der kontinuierlichen Verbesserung des AI-Verhaltens in der Produktion. Fokus - Bau und Versand von LLM-gestützten Anwendungen und AI-Agent-Workflows - Design von Systemen für Reasoning, Planung, Gedächtnis, Tool-Nutzung und mehrstufige Ausführung - Bau zuverlässiger Orchestrierungs-Pipelines, die probabilistische Modellausgaben in vorhersehbare, beobachtbare und sichere Aktionen umwandeln - Integration von LLMs mit APIs, Datenbanken, Suche, internen Diensten und externen Tools - Entwicklung von Prompting, Context Engineering, strukturierten Ausgaben, Tool-Calling und anderen Techniken zur Verbesserung des Modellverhaltens - Bau von Evaluations-Frameworks und Datensätzen zur Messung von AI-Qualität, Zuverlässigkeit und Regressionen - Debugging von AI-Systemen über den gesamten Stack hinweg – vom Modellverhalten und Prompts bis hin zu Orchestrierung, Backend-Services und Produkt-UX - Optimierung von AI-Systemen hinsichtlich Qualität, Latenz und Kosten - Enge Zusammenarbeit mit Produkt- und Engineering-Teams, um mehrdeutige Produktprobleme in funktionierende AI-Lösungen zu verwandeln - Etablierung von Produktionspraktiken für Observability, Tracing, Experimentierung, Evaluation und kontinuierliche Verbesserung Tech Stack - Python - LLM APIs und Modell-Anbieter, einschließlich OpenAI-kompatibler APIs und Open-Weight-Modelle - Agent-Frameworks und Orchestrierungssysteme - Vektordatenbanken und Retrieval-Systeme - Backend-Services, APIs und verteilte Systeme - PyTorch / JAX Ideale Erfahrung - Starke Fundamente im Software Engineering mit Erfahrung im Bau von AI-gestützten Anwendungen - Hands-on-Erfahrung mit LLMs, Generative AI oder agentenbasierten Systemen - Erfahrung im Design von Prompts, Workflows, Evaluationen oder AI-Verhalten - Fähigkeit, sauberen Code in Produktionsqualität zu schreiben - Sicher im Arbeiten über Abstraktionsebenen hinweg (Modell → System → Produkt) - Starke Problemlösungsfähigkeiten in mehrdeutigen, schnelllebigen Umgebungen - Fokus auf Versand, Iteration und kontinuierliche Verbesserung Ergebnisse - AI-Features erreichen schnell die Produktion und liefern messbare Auswirkungen auf die Nutzer - LLM-gestützte Workflows sind zuverlässig, skalierbar, beobachtbar und wartbar - AI-Qualität verbessert sich durch systematische Evaluation, Experimentierung und Iteration - AI-Workflows werden zunehmend vorhersehbar, effizient und kosteneffektiv - Komplexe AI-Fähigkeiten werden in einfache, intuitive Nutzererlebnisse übersetzt