Staff Software Engineer - Backend

P-940

(Der Arbeitsort ist sowohl für unsere Büros in Seattle & Bellevue offen.)

Bei Databricks sind wir besessen davon, Datenteams zu ermöglichen, die schwierigsten Probleme der Welt zu lösen, von der Erkennung von Sicherheitsbedrohungen bis hin zur Entwicklung von Krebsmedikamenten. Wir tun dies, indem wir die weltweit beste Daten- und KI-Infrastrukturplattform aufbauen und betreiben, damit sich unsere Kunden auf die wertvollen Herausforderungen konzentrieren können, die für ihre eigenen Missionen zentral sind.

Databricks wurde 2013 von den ursprünglichen Schöpfern von Apache Spark™ gegründet und ist von einem winzigen Eckbüro in Berkeley, California, zu einer globalen Organisation mit über 1000 Mitarbeitern gewachsen. Tausende von Organisationen, von kleinen Unternehmen bis hin zu Fortune 100, vertrauen Databricks ihre missionskritischen Workloads an, was uns zu einem der am schnellsten wachsenden SaaS-Unternehmen der Welt macht.

Unsere Engineering-Teams entwickeln hochtechnische Produkte, die reale, wichtige Bedürfnisse in der Welt erfüllen. Wir verschieben ständig die Grenzen der Daten- und KI-Technologie und arbeiten gleichzeitig mit der Resilienz, Sicherheit und Skalierbarkeit, die entscheidend dafür ist, dass unsere Kunden auf unserer Plattform erfolgreich sind.

Wir entwickeln und betreiben eine der am größten dimensionierten Softwareplattformen. Die Flotte besteht aus Millionen von virtuellen Maschinen, die Terabytes an Logs generieren und Exabytes an Daten pro Tag verarbeiten. In unserem Maßstab beobachten wir regelmäßig Fehler in der Cloud-Hardware, im Netzwerk und im Betriebssystem, und unsere Software muss unsere Kunden sanft vor all dem schützen.

Als Software Engineer mit Backend-Fokus arbeiten Sie eng mit Ihrem Team und dem Produktmanagement zusammen, um Microservices für die Databricks-Plattform und das Produkt zu priorisieren, zu entwerfen, zu implementieren, zu testen und zu betreiben. Dies impliziert unter anderem das Schreiben von Software in Scala/Java, den Aufbau von Datenpipelines (Apache Spark™, Apache Kafka), die Integration mit Anwendungen von Drittanbietern und die Interaktion mit Cloud-APIs (AWS, Azure, CloudFormation, Terraform).

Nachfolgend sind einige Beispielteams, denen Sie beitreten können:

Data Science and Machine Learning Infrastructure: Aufbau von Diensten und Infrastruktur an der Schnittstelle von maschinellem Lernen und verteilten Systemen. Unsere Technologie unterstützt den Flaggschiff-Workspace für Zusammenarbeit, Notebooks, IDE-Integrationen und Produktmanagement. Wir ermöglichen auch maschinelles Lernen in großem Maßstab mit Tools für das Umgebungsmanagement, verteiltes Training und die Verwaltung des Machine Learning Lebenszyklus durch MLflow.

Compute Fabric: Aufbau der Ressourcenmanagement-Infrastruktur, die alle Big Data- und Machine Learning-Workloads auf der Databricks-Plattform auf robuste, flexible, sichere und cloud-agnostische Weise antreibt. Die Software verwaltet Millionen von virtuellen Maschinen.

Data Plane Storage: Bereitstellung zuverlässiger und hochperformanter Dienste und Client-Bibliotheken zum Speichern und Abrufen gewaltiger Datenmengen auf Cloud-Storage-Backends, z. B. AWS S3, Azure Blob Store.

Enterprise Platform: Angebot einer einfachen und leistungsstarken Erfahrung für das Onboarding und die Verwaltung aller Datenteams über 10ks von Benutzern auf der Databricks-Plattform hinweg. Wir tun dies durch den Aufbau zuverlässiger, skalierbarer Dienste und Infrastrukturen mit intuitiven UIs und durch die Bereitstellung von wirkungsvollen, bereichsübergreifenden Projekten, die die „Land and Expand“-Strategie für Unternehmenskunden vorantreiben.

Observability: Bereitstellung einer erstklassigen Plattform für Databricks-Ingenieure, um ihre Anwendungen und Dienste umfassend zu beobachten und zu inspizieren. Wir bauen skalierbare, datenintensive Infrastrukturen, die riesige Mengen an Logs und Telemetrie verarbeiten. Dadurch ermöglichen wir Teams, datengesteuerter zu werden und robuste Dienste aufzubauen.

Service Platform: Aufbau hochwertiger Dienste und Verwaltung der Dienste in allen Umgebungen auf eine einheitliche Weise. Wir stellen Ingenieuren Bibliotheken, Tools, Dienste und Leitfäden zur Entwicklung zuverlässiger, skalierbarer und sicherer Dienste zur Verfügung. Wir bauen eine einheitliche Plattform für Ingenieure, um ihre Dienste über verschiedene Clouds und Umgebungen hinweg bereitzustellen und zu aktualisieren.

Core Infra: Aufbau der Kerninfrastruktur, die Databricks antreibt, und deren Bereitstellung über alle geografischen Regionen und Cloud-Anbieter hinweg. Wir bauen hochverfügbare verteilte Systeme unter intensiver Nutzung von Cloud-Native-Projekten und tragen nach Möglichkeit zurück. Wir betreiben Tausende von Kubernetes-Clustern in allen Regionen und orchestrieren täglich Millionen von VMs.

Kompetenzen

• BS/MS/PhD in Informatik oder einem verwandten Bereich
• 10+ Jahre Erfahrung auf Produktionsebene in einer von: Java, Scala, C++ oder einer ähnlichen Sprache.
• Sicherer Umgang mit der Arbeit an einer mehrjährigen Vision mit inkrementellen Liefergegenständen.
• Erfahrung im Entwerfen, Entwickeln, Bereitstellen und Betreiben von groß angelegten verteilten Systemen.
• Erfahrung in der Arbeit auf einer SaaS-Plattform oder mit serviceorientierten Architekturen.
• Gute Kenntnisse in SQL.
• Erfahrung mit Softwaresicherheit und Systemen, die sensible Daten verarbeiten.
• Erfahrung mit Cloud-Technologien, z. B. AWS, Azure, GCP, Docker, Kubernetes.

Transparenz der Gehaltsspanne

Databricks setzt sich für faire und gerechte Vergütungspraktiken ein. Die Gehaltsspanne(n) für diese Rolle ist unten aufgeführt und stellt die erwartete Gehaltsspanne für nicht provisionsbasierte Rollen oder das Zielverdienst für provisionsbasierte Rollen dar. Die tatsächlichen Vergütungspakete basieren auf mehreren Faktoren, die für jeden Kandidaten einzigartig sind, einschließlich, aber nicht beschränkt auf jobbezogene Fähigkeiten, Erfa