Datenvisualisierung mit Kibana

LESEZEIT CA. 2 MINUTEN

Auf vielen Websites werden inzwischen jeder Klick, jeder Login, jede Transaktion und jeder Request gespeichert. Doch auch Nutzerprofile, Kommentare, Likes, Shares und dergleichen finden ihren Weg in Datenbanken. Häufig jedoch werden diese erfassten Daten nur von Marketing-Teams durch Google Analytics ausgewertet oder dienen den Entwicklerteams zur Logfile-Analyse. Die für die Unternehmen wirklich interessanten Informationen werden oft nicht analysiert. Dabei steht zwischen dem Erheben und dem Verstehen von Daten lediglich ihre visuelle Aufbereitung.

Da es für den menschlichen Verstand unmöglich ist, große Datensätze durch bloßes Betrachten tabellarischer Listen zu verstehen, müssen sie anderweitig dargestellt werden. In der klassischen Datenvisualisierung wird eine ganze Reihe von Verarbeitungsprozessen identifiziert, die erforderlich sind, um Daten unverfälscht und verständlich zu präsentieren. So müssen Rohdaten die Datenanalyse, Filterung, Mapping und Rendering durchlaufen, bevor eine darstellbare Grafik entsteht.

Rohdaten müssen die Datenanalyse, Filterung, Mapping und Rendering durchlaufen, bevor eine darstellbare Grafik entsteht. — Dataflow von Elasticsearch und Kibana

Dies kann mit Datenvisualisierungstools wie Kibana gelöst werden. Kibana ist eine grafisches Frontend, das eigens für die Darstellung von Daten aus Elasticsearch entwickelt wurde. Dieses Frontend nimmt die von Elasticsearch Daten entgegen und bietet dem Nutzer die Möglichkeit die Ergebnisse beliebig zu filtern. Das Ergebnis sind dynamische, interaktive und ansprechende Darstellungen der Daten in real-time. Die Daten, die in der dokumentbasierten Struktur von Elasticsearch gespeichert sind, können sowohl explorativ untersucht werden, als auch in Visualisierungen wie Torten- und Balkendiagrammen zu Dashboards zusammengestellt werden. Hier können sich dann Trends und Beziehungen offenbaren.

Im Rahmen meiner Projektarbeit zum Thema Datenvisualisierung habe ich mit Elasticsearch und Kibana ein Proof of Concept erstellt. Hierfür mussten die Daten mithilfe eines Database-Connectors aus der ursprünglichen MySQL-Datenbank in Elasticsearch überführt werden, wo die Datenaggregation stattfindet. Von dort werden sie automatisch in Kibana übertragen, wenn der Nutzer im Frontend ein Query abschickt. Dies kann als explizite Suchanfrage oder als Interaktion mit den Visualisierungen passieren. Die Visualisierungen eines Dashboards werden dann sofort entsprechend angepasst.

Beispiel eines Dashboards, das Daten in Kuchendiagrammen und als Heatmap über Deutschland zeigt. — Kibana Dashboard mit geolokalisierten Daten

Klassischerweise werden Elasticsearch und Kibana, vor allem in Verbindung mit Log Shippern wie Logstash oder Heka als Log-Analyse-Stack verwendet. Dort werden dann Zugriffsdaten, HTML-Responses und Error-Messages dargestellt. Es gibt aber auch viele andere potenzielle Use-Cases. So ist es durchaus möglich Geschäftsvorgänge wie Verkäufe für den Vertrieb auf einer Landkarte darzustellen, damit erforscht werden kann, was sich wo besonders gut verkauft. Genauso gut können Forumsbeiträge einer Online-Community analysiert werden, um Trending Topics zu offenbaren.

Analysen mit Elasticsearch und Kibana eröffnen somit eine Vielzahl an Möglichkeiten, um mächtige und gleichzeitig intuitiv bedienbare Analyse von unterschiedlichsten Geschäftsdaten zu realisieren. Mit dieser Lösung ermöglichen wir unseren Kunden noch mehr Wert aus ihren Daten zu gewinnen.