Engineering Manager - Streaming

P-1110

Bei Databricks sind wir leidenschaftlich daran interessiert, Datenteams zu befähigen, die schwierigsten Probleme der Welt zu lösen — von der Realisierung der nächsten Fortbewegungsart bis hin zur Beschleunigung der Entwicklung medizinischer Durchbrüche. Wir tun dies, indem wir die weltweit beste Daten- und KI-Infrastrukturplattform aufbauen und betreiben, damit unsere Kunden tiefe Dateneinblicke nutzen können, um ihr Geschäft zu verbessern.

Wir sind das „Spark™ Structured Streaming“-Team, das dafür verantwortlich ist, Stream-Processing-Funktionen in Spark™ und die Databricks Intelligence Platform zu integrieren. Stream Processing steckt noch in den Kinderschuhen, und wir sind hier, um nicht nur eine hochmoderne Stream-Processing-Technologie zu entwickeln, sondern auch ein erstklassiges Managed-Angebot für Kunden bereitzustellen, um ihre Stream-Processing-Workloads auszuführen.

Wir suchen eine engagierte Engineering-Führungskraft, um die Entwicklungsinitiativen für Spark™ Structured Streaming zu leiten, was sowohl Open-Source- als auch Databricks-spezifische Komponenten umfasst. Ihre primäre Mission wird es sein, Spark™ Structured Streaming zu einer hochmodernen Stream-Processing-Engine zu machen, indem Sie fortschrittliche Funktionen wie ein anspruchsvolles State Management, neue Operatoren hinzufügen und gleichzeitig die Performance der Engine sowohl in Bezug auf Latenz als auch Durchsatz durch eine Neugestaltung der Engine-Architektur verbessern.

Die Hauptverantwortlichkeiten umfassen:

• Leitung eines talentierten Engineering-Teams im Spark™ Structured Streaming-Team, das die Engine in OSS und der Databricks Data Intelligence Platform entwickelt und fördert
• Überwachung der kontinuierlichen Rekrutierung von Top-Talenten und die Weiterbildung der Talente im Team
• Implementierung robuster Prozesse zur effizienten Umsetzung der Produktvision, Strategie und Roadmap im Einklang mit den organisatorischen Zielen und Prioritäten
• Entwicklung von Software, die nicht nur von hoher Qualität, sondern auch einfach zu bedienen ist.
• Erzielung eines unternehmensweiten Impacts durch die Förderung der Einführung von Stream Processing über das gesamte Databricks-Produktportfolio hinweg
• Verwaltung technischer Schulden, einschließlich langfristiger technischer Architektur-Entscheidungen, und Abwägung der Produkt-Roadmap

Was wir suchen:

• Über 5 Jahre Erfahrung in der Arbeit mit verwandten Systemen, Streaming, Query Processing, Query Optimization, einschließlich Big-Data-Ecosystem, Apache Spark™ oder Datenbank-Internals
• Eine Leidenschaft für Datenbanksysteme, Speichersysteme, verteilte Systeme, Sprachdesign oder Performance-Optimierung
• Fähigkeit sicherzustellen, dass das Team hochwertige und zuverlässige Infrastrukturdienste aufbaut. Erfahrung in der Verantwortung für Tests, Qualität und SLAs eines Produkts. Vorherige Erfahrung im Aufbau und in der Leitung von Teams in einem komplexen technischen Bereich, wie z. B. verteilte Datensysteme oder Datenbank-Internals
• Fähigkeit, Ingenieure zu gewinnen, einzustellen und zu coachen, die den Databricks-Einstellungsstandards entsprechen. Fähigkeit, das bestehende Team durch die Einstellung erstklassiger Senior-Talente auf ein neues Level zu heben, Führungskräfte zu entwickeln und Mitglieder bei Schwierigkeiten zu unterstützen. Fähigkeit, das Vertrauen des Teams zu gewinnen und deren Karrieren zu leiten. Erfahrung in der Leitung verteilter Teams bevorzugt
• Komfortable Zusammenarbeit in funktionsübergreifenden Teams mit dem Produktmanagement und direkt mit Kunden; Fähigkeit, Produkte und Kunden-Personas tiefgreifend zu verstehen

Transparenz der Gehaltsspanne

Databricks setzt sich für faire und gerechte Vergütungspraktiken ein. Die Gehaltsspanne(n) für diese Rolle sind unten aufgeführt und stellt die erwartete Gehaltsspanne für nicht provisionsbasierte Rollen oder das Zielgehalt für provisionsbasierte Rollen dar. Die tatsächlichen Vergütungspakete basieren auf mehreren Faktoren, die für jeden Kandidaten einzigartig sind, einschließlich, aber nicht beschränkt auf berufsbezogene Fähigkeiten, Erfahrungstiefe, relevante Zertifizierungen und Schulungen sowie den spezifischen Arbeitsort. Basierend auf den oben genannten Faktoren erwartet Databricks, die gesamte Breite der Spanne auszuschöpfen. Das gesamte Vergütungspaket für diese Position kann auch die Berechtigung für einen jährlichen Leistungsbonus, Eigenkapital (Equity) und die oben aufgeführten Leistungen umfassen. Für weitere Informationen darüber, in welchem Bereich sich Ihr Standort befindet, besuchen Sie unsere Seite hier (https://www.databricks.com/sites/default/files/2024-08/us-pay-zone-mapping.pdf).

Lokale Gehaltsspanne

$181,000—$253,750 USD

Über Databricks

Databricks ist das Daten- und KI-Unternehmen. Mehr als 20.000 Organisationen weltweit — darunter adidas, AT&T, Bayer, Block, Mastercard, Rivian, Unilever und 70 % der Fortune 500 — verlassen sich auf die Databricks Data + AI Platform, um Daten- und KI-Anwendungen, Analysen und Agenten aufzubauen und zu skalieren. Mit Hauptsitz in San Francisco und über 30 Büros weltweit bietet Databricks eine einheitliche Plattform, die Genie, Lakebase, Agent Bricks, Lakeflow, Lakehouse und Unity Catalog umfasst. Um mehr zu erfahren, folgen Sie Databricks auf LinkedIn (https://www.linkedin.com/company/databricks), X (https://x.com/databricks), YouTube (https://www.youtube.com/@Databricks) und Instagram (https://www.instagram.com/databricksinc/?hl=en).

Benefits

Bei Databricks bemühen wir uns, umfassende Leistungen und Zusatzleistungen anzubieten, die den Bedürfnissen all unserer Mitarbeiter entsprechen. Für spezifische Details zu den in Ihrer Region angebotenen Leistungen klicken Sie hier (https://docs.google.com/document/d/154un3e8Xav4BceOSlcYFZRGEuQI54xMxVydRwQn54eQ/edit?usp=sharing).

Unser Engagement für Vielfalt und Inklusion

Bei Databricks setzen wir uns für die Förderung einer vielfältigen und inklusiven Kultur ein, in der jeder exzell