Azure Data Factoy – Entwickeln von ETL Workflows in der Azure Cloud

ID: 
131
Dauer: 
3 Tag(e)
Seminar-Ziel: 
Nach Abschluss des Seminars haben Teilnehmer einen vollständigen Überblick aller wichtigen Features und sind in der Lage, produktiv Pipelines zu entwickeln.
Zielgruppe: 
BI Spezialisten, Entwickler, Anwender / PowerUser
Beschreibung: 
Das Seminar richtet sich an IT Professionals und PowerUser. Es werden die praktischen Fähigkeiten vermittelt, Azure ETL Workflows auf Basis von Azure Data Factory zu implementieren. Im Rahmen des Seminars stellen wir den Teilnehmern eine Azure-Live-Umgebung zum Testen bereit.
Preis (Tagessatz Netto): 
1400.00 €
Inhalt: 

Einführung

  • Bereitstellen von allgemeinen Azure Ressourcen inkl. Azure Blob Storage und Azure SQL
  • Bereitstellen eines Data Factory Dienstes
  • Übersicht: Azure-Umgebung (Lizenzen, Kosten-Management, Azure Active Directory etc.)
  • Erstellen eines GitHub Repositories für die Data Factory
  • Verwenden von PowerShell für die Automatisierung
  • Einfaches Beispiel: Copy Data Aktivität. Beispiel: ETL / Laden von lokalen Dateien in eine Azure SQL Datenbank

Häufig verwendete Aktivitäten

  • Vereinigen von Datenströmen, Lookup, Berechnen von Spalten mit Expressions, Parametrierung von Aktivitäten
  • Aggregieren, Filtern, und Teilen von Datenströmen
  • Patterns: SelfJoin, Windowing und Ranking
  • Pivot
  • Verwenden von Variablen, Parametern und Set-variable und Append-variable Aktivität
  • Definieren von Validierungs-Regeln mit Assert
  • Select und Conditional Split
  • Integration von SQL-Commands mit der Script Aktivität
  • Anbinden von Daten über Rest APIs

Erweiterte Anwendungsfälle

  • Extrahieren von Meta Daten
  • Verwenden von Fail und Validierung
  • Verschachteln von Pipelines
  • Conditions und Loops
  • Einbinden von PowerQuery
  • Aufruf von Azure Functions
  • Dynamische Pipelines
  • Automatische Ausführung der Runtime per Schedule und Trigger

Lift & Shift von SSIS-Paketen

  • Entwickeln von SSIS-Paketen für Azure Data Factory
  • Aktivieren des SSIS Catalogs in Azure SQL
  • Deployment und Ausführung von SSIS-Paketen in Azure Data Factory

Beobachten und Debuggen

  • Monitoring von Fehlern zur Entwurftszeit
  • Protokollieren von Fehlern
  • Kostenkontrolle
  • Verwenden des Azure Monitors

 

Seminar-Level: 
Grundlagen
Seminar-Typ: 
Technisches Seminar
Hinweis: 
Für die Durchführung des Seminars wird eine Azure-Test-Umgebung bereit gestellt.
Voraussetzung: 

Es werden allgemeine Entwickler-Kenntnisse erwartet. Das Seminar richtet sich bezüglich der Art der Vermittlung an professionelle Azure- und BI-Entwickler oder PowerUser. Jedoch werden keine Vorkenntnisse in Azure, einer bestimmten Programmiersprache oder einem bestimmten Produkt erwartet. PowerUser sollten nach Möglichkeit über gute Erfahrungen im BI-Umfeld verfügen. 

Durchführung: 
Demonstration, Übung, Vortrag
Produkt: 
Azure Data Factory