Wenn du mit Databricks arbeitest, kommst du schnell an den Punkt, an dem du Zugangsdaten, API-Keys oder Datenbank-Credentials sicher speichern musst. Genau hier kommt Microsoft Azure Key Vault ins Spiel.
Statt sensible Daten direkt im Code oder Notebook zu speichern, lagerst du sie zentral und sicher im Key Vault aus. Das erhöht nicht nur die Sicherheit, sondern erleichtert auch die Verwaltung in größeren Data-Projekten.
Voraussetzungen für die Integration
Bevor du startest, solltest du Folgendes haben:
- Azure Subscription
- Ein aktiver Databricks Workspace
- Einen eingerichteten Azure Key Vault
- Berechtigungen für „Secret Management“
Optional, aber hilfreich:
- Grundverständnis von Databricks Secret Scopes
Schritt 1: Secret im Azure Key Vault anlegen
Im Microsoft Azure Key Vault legst du zuerst dein Secret an:
Beispiel:
- Name:
sql-password - Value: dein Passwort oder API Key
Damit ist das Secret zentral gespeichert und kann später in Databricks referenziert werden.
Schritt 2: Databricks Secret Scope erstellen
Jetzt verbindest du Databricks mit dem Key Vault über einen sogenannten Secret Scope.
Dazu nutzt du die Databricks CLI:
databricks secrets create-scope \
--scope my-keyvault-scope \
--scope-backend-type AZURE_KEYVAULT \
--resource-id /subscriptions/<sub-id>/resourceGroups/<rg>/providers/Microsoft.KeyVault/vaults/<kv-name> \
--dns-name https://<kv-name>.vault.azure.net/👉 Wichtig:
Der Scope ist die Brücke zwischen Databricks und Key Vault.
Schritt 3: Secret im Notebook verwenden
Sobald alles verbunden ist, kannst du das Secret direkt in deinem Notebook abrufen:
dbutils.secrets.get(scope="my-keyvault-scope", key="sql-password")Das Passwort wird dabei nicht angezeigt, sondern nur sicher intern verwendet.
Best Practice: Warum du niemals Secrets hardcoden solltest
Viele Einsteiger machen den Fehler, Passwörter direkt im Code zu speichern. Das solltest du unbedingt vermeiden:
❌ unsicher in Git Repos
❌ schwer wartbar
❌ nicht skalierbar
✔ zentrale Verwaltung im Key Vault
✔ Zugriffskontrolle über Azure AD
✔ sichere Nutzung in Pipelines und Notebooks
Typische Use Cases
Die Integration wird besonders oft genutzt für:
- SQL-Datenbank-Zugriffe
- API-Verbindungen (REST APIs)
- Storage Account Keys
- Service Principal Credentials
- Drittanbieter-Tools
Häufige Fehler (und Lösungen)
Fehler 1: Permission denied
→ Prüfe Access Policies im Key Vault
Fehler 2: Secret Scope nicht gefunden
→ Scope Name exakt prüfen (Groß-/Kleinschreibung!)
Fehler 3: Zugriff im Notebook schlägt fehl
→ Prüfe Workspace-Zuordnung und ACLs
Fazit
Die Verbindung zwischen Databricks und Microsoft Azure Key Vault ist ein zentraler Baustein für sichere Data-Engineering-Architekturen.
Wenn du mit produktiven Datenpipelines arbeitest, solltest du Secrets niemals lokal speichern, sondern immer über Key Vault und Secret Scopes verwalten.
📺 Mehr praxisnahe Data-Engineering Tutorials findest du hier:
https://www.youtube.com/@datenanalyst
📈 Weitere passende Beiträge: