Wie nutzen wir Apache Zeppelin für Big Data?

Was nun folgt, ist ein Anwendungsbeispiel, wie wir solche Daten mit Apache Zeppelin und unter Verwendung des Spark-Interpreters auslesen können. Der Fokus liegt dabei weniger auf der fachlichen Analyse der Daten. Stattdessen steht die Präsentation verschiedener Zeppelin-Features im Vordergrund.

Installation bzw. Ausführung

Apache Zeppelin ist ganz einfach lokal installierbar. Installationsanleitungen für verschiedene Szenarien finden sich hier [Link einsetzen] (https://zeppelin.apache.org/download.html). Noch einfacher ist es allerdings, wenn vorher Docker installiert wurde, dann reicht dieser Befehl, um eine neue Zeppelin-Instanz zu starten:

docker run -p 8080:8080 –rm -v $PWD/logs:/logs -v $PWD/notebook:/notebook -v $PWD:/data -e ZEPPELIN_LOG_DIR=’/logs‘ -e ZEPPELIN_NOTEBOOK_DIR=’/notebook‘ –name zeppelin apache/zeppelin:0.7.2

Alle zugehörigen Log-Dateien und Notebooks werden dann im aktuellen Verzeichnis des Benutzers gespeichert. Zum Einlesen von Daten geben wir das aktuelle Verzeichnis unter /data im Docker-Container frei. Nach erfolgreicher Ausführung (dies kann etwas dauern, da Zeppelin mit allen Interpretern recht groß ist) steht unter [http://localhost:8080](http://localhost:8080) die Zeppelin-Oberfläche zur Verfügung.

Unser Beispiel

Für unser Beispiel nutzen wir anonymisierte Bankdaten aus einem realen Bankprojekt im Bereich Machine Learning. Denn wir wollen Machine-Learning-Algorithmen testen. Dazu laden wir zunächst die betreffenden Daten unter http://archive.ics.uci.edu/ml/machine-learning-databases/00222/bank.zip herunter und entpacken sie in das lokale Verzeichnis.

Die Archivdatei besteht aus drei Dateien

bank-names.txt mit Informationen zur Historie und Erklärung des Formats
bank-full.csv mit allen Beispielen, nach Datum geordnet (von Mai 2008 bis November 2010)
bank.csv mit 10 % der Beispiele (4521), zufällig ausgewählt von bank-full.csv
Die CSV-Dateien haben die folgenden (der Dokumentation entnommenen) Attribute in den Spalten:

# general
01 – age (numeric)
02 – jo: type of job (categorical: „admin.“,“unknown“,“unemployed“,“management“,“housemaid“,“entrepreneur“,“student“,“blue-collar“,“self-employed“,“retired“,“technician“,“services“)
03 – marital: marital status (categorical: „married“,“divorced“,“single“; note: „divorced“ means divorced or widowed)
04 – education (categorical: „unknown“,“secondary“,“primary“,“tertiary“)
05 – default: has credit in default? (binary: „yes“,“no“)
06 – balance: average yearly balance, in euros (numeric)
07 – housing: has housing loan? (binary: „yes“,“no“)
08 – loan: has personal loan? (binary: „yes“,“no“) # related with the last contact of the current campaign:
09 – contact: contact communication type (categorical: „unknown“,“telephone“,“cellular“)
10 – day: last contact day of the month (numeric)
11 – month: last contact month of year (categorical: „jan“, „feb“, „mar“, …, „nov“, „dec“)
12 – duration: last contact duration, in seconds (numeric)
13 – campaign: number of contacts performed during this campaign and for this client (numeric, includes last contact)
14 – pdays: number of days that passed by after the client was last contacted from a previous campaign (numeric, -1 means client was not previously contacted)
15 – previous: number of contacts performed before this campaign and for this client (numeric)
16 – poutcome: outcome of the previous marketing campaign (categorical: „unknown“,“other“,“failure“,“success“)
# success variable.
17 – y – has the client subscribed a term deposit? (binary: „yes“,“no“)

Im Bereich Machine Learning und Optimierung von Kampagnenplanung ist vor allem der Wert in Spalte 17 relevant: dieser gibt an, ob der beschriebene Kunde das Angebot der Bank angenommen hat.Im Bereich Machine Learning und Optimierung von Kampagnenplanung ist vor allem der Wert in Spalte 17 relevant: dieser gibt an, ob der beschriebene Kunde das Angebot der Bank angenommen hat.

Das Einlesen von Daten für die Big-Data-Analyse

Über

val bankText = sc.textFile(„/data/bank-full.csv“)

wird zunächst die CSV-Datei in das System eingelesen und steht als RDD zur Verfügung. Ein RDD (Resilient Distributed Dataset) ist dabei eine in Spark implementierte verteilte Datenstruktur, die über mehrere Rechner in einem Cluster (oder lokal auf mehrere Kerne) verteilt werden kann, um Berechnungen zu beschleunigen. In unserem Beispiel mit 40k Datensätzen ist dies zwar noch nicht relevant, aber der Charme von Spark ist, dass der gleiche Code auch benutzt werden kann, um viele Milliarden Datensätze zu analysieren. Somit kann aus Explorationscode recht einfach eine erste Version des Produktivcodes werden.

Anschließend definieren wir ein Objekt Bank zur Abbildung der Daten in Scala. Dieses Objekt typisiert Alter, Beruf, Familienstand, Ausbildung und Kontostand der Bankkunden:

case class Bank (age:Integer, job:String, marital:String, education:String, balance:Integer)

Wir haben aktuell also die Zeilen der CSV in einem RDD und eine Datenstruktur, in der diese abgelegt werden können. Nun folgt die Erstellung von Bank-Objekten durch das Umwandeln der Rohdaten , also das Parsen der CSV-Datei:

val bank = bankText.// Remove “ from source lines.map(s => s.replaceAll(„““, „“)).
// Transform line to single elements (which were separated with ;)map(s => s.split(„;“)).
// Remove first line. The first line starts with „age“.filter(s => s(0) != „age“).
// For each line, create a distinct object with the given fields.map(s => Bank(s(0).toInt,s(1),s(2),s(3),s(5).toInt))

RDDs enthalten verteilbare Daten, aber sagen wenig über diese aus. Als Ergänzung wurden in Spark deshalb so genannte Data Frames eingeführt. Data Frames, bekannt aus der Analyse-Sprache R, enthalten Meta-Informationen für tabellarische Informationen wie Spaltennamen und -typen. Als Vorbereitung auf die folgenden Schritte können wir die Daten einfach in ein Data Frame umwandeln:

val bankDF = bank.toDF()

Zur ersten Kontrolle geben wir die ersten zehn Einträge des Data Frames so aus:

bankDF.show(10)

Dies liefert uns folgendes Ergebnis:

+—+————+——–+———+——-+
|age| job| marital|education|balance|
+—+————+——–+———+——-+
| 58| management| married| tertiary| 2143|
| 44| technician| single|secondary| 29|
| 33|entrepreneur| married|secondary| 2|
| 47| blue-collar| married| unknown| 1506|
| 33| unknown| single| unknown| 1|
| 35| management| married| tertiary| 231|
| 28| management| single| tertiary| 447|
| 42|entrepreneur|divorced| tertiary| 2|
| 58| retired| married| primary| 121|
| 43| technician| single|secondary| 593|
+—+————+——–+———+——-+

Die Datensätze sind also scheinbar gut eingelesen.

Explorieren und Visualisieren

Gerade am Anfang ist eines der Primärziele ein „Gefühl für die Daten“ zu bekommen. Entsprechend sind Visualisierungen sehr hilfreich. Dazu registrieren wir zunächst das Data Frame als synthetische Tabelle über

bankDF.createOrReplaceTempView(„bank“)

Anschließend können SQL-Befehle auf der Tabelle bank ausgeführt werden. Uns interessiert z. B. die Verteilung des Alters:

%sqlselect age, count(1) from bank group by age order by age