Kategorie: Databricks
-
Was ist Partitionierung in Databricks?
Die Partitionierung ist eine Technik in Databricks, mit der große Tabellen in kleinere logische Bereiche aufgeteilt werden. Dadurch müssen bei einer Abfrage nicht alle Daten gelesen werden, sondern nur die relevanten Partitionen.…
-
Delta-Tabellen optimieren: Warum nur benötigte Spalten auswählen?
Bei der Arbeit mit großen Delta-Tabellen in Databricks oder Apache Spark spielt die Art der Abfrage eine entscheidende Rolle für die Performance. Viele Anwender verwenden aus Bequemlichkeit SELECT *, obwohl sie nur…
-
Unterschied zwischen Job Clusters und Interactive Clusters
In Plattformen wie Databricks arbeitest du regelmäßig mit Clustern, also Rechenressourcen für Spark Jobs oder Notebooks. Zwei der wichtigsten Cluster-Typen sind Job Clusters und Interactive Clusters. Obwohl beide technisch ähnlich wirken, unterscheiden…
-
Kann ich einen interaktiven Cluster für Jobs nutzen?
In Databricks taucht immer wieder eine wichtige Frage auf: Kann man einen interaktiven Cluster auch für Jobs verwenden? Die kurze Antwort lautet: Ja, technisch ist es möglich – aber nicht empfohlen. Der…
-
Was passiert mit dem Z-Ordering, wenn neue Daten hinzugefügt werden?
In Delta Lake bzw. Databricks ist Z-Ordering kein dauerhafter Zustand, sondern eine Optimierung, die nur auf die Dateien angewendet wird, die zum Zeitpunkt der Ausführung vorhanden sind. Wenn nach einem OPTIMIZE ……
-
Große Delta-Tabellen optimieren – So werden Abfragen deutlich schneller
Delta Lake eignet sich hervorragend für große Datenmengen. Mit zunehmender Größe einer Tabelle können Abfragen jedoch langsamer werden. Durch einige bewährte Optimierungsmaßnahmen lässt sich die Performance deutlich verbessern. Partitionierung sinnvoll einsetzen Eine…
-
Serverless Compute in Databricks und Azure Synapse einfach erklärt
Serverless Compute bedeutet, dass Microsoft oder Databricks die komplette Infrastruktur (VMs, Cluster, Skalierung und Wartung) automatisch verwalten. Als Anwender konzentrierst du dich nur auf die Ausführung deiner Abfragen oder Datenpipelines. Du musst…
-
Einführung in Databricks und Datenmodellierung
Databricks ist eine moderne Plattform für Big Data und KI, die auf Apache Spark basiert. Sie vereinfacht die Verarbeitung großer Datenmengen und bietet Möglichkeiten für strukturierte Datenmodellierung. Zwei zentrale Konzepte dabei sind:…
Social Media
Links
- Benutzerabnahmetest (UAT) Tool für Power BI Berichte
- SQL Syntax Prüfer
- Alle Excel Funktionen in Deutsch und Englisch
- Die wichtigsten SAP Transaktionen
- Excel Tastenkombinationen
- Excel Tipps
- SAP T-Codes
- SQL-Grundlagen für Excel- und SAP-Nutzer
- Wichtige Excel Funktionen einfach erklärt