Der Elastic-Stack hat sich zu einem wichtigen Bestandteil in unseren Projekten und auch in meinem Arbeitsalltag gemausert. Kaum vorzustellen, wie wir vor der Analyse mit Elasticsearch und Kibana die Massen an Informationen, die die Server unserer Kunden täglich in LogFiles schreiben, überblicken und auswerten konnten. Neben dem klassischen ELK-Stack, zur technischen Logfile-Analyse können wir den Kunden heute basierend auf dem Elastic-Stack auch maßgeschneiderte Echtzeit-Analysen auf Business-Daten bieten.
In beeindruckender Kulisse im Theater- und Konzerthaus Kapitol in Frankfurt-Offenbach kamen für einen Tag Anwender des Elastic-Stacks und die Entwickler hinter diesen Produkten zusammen. In kurzen und knackigen Vorträgen zeigten die jeweiligen Core-Entwickler zunächst was mit der Version 5.0 von Elasticsearch, Kibana, Beats, Logstash und X-Pack heute bereits möglich und was für das Jahr 2017 geplant ist.
Einen besonderen Augenmerk wurde dabei auf das Modul Timelion gelegt. Das einstige Hobbyprojekt des ursprünglichen Kibana-Autors wird nun erwachsen und erlaubt es mittels einer mächtigen Beschreibungssprache komplexe Analysen auf den Daten zu fahren und aussagekräftige Graphen zu generieren. Die Timelion Graphen lassen sich dann in den bekannten Kibana Dashboards verwenden und reagieren natürlich auf die dort vorhandenen Widgets.
Danach stellte Tech-Lead Steve Dodson Prelert vor. Das ursprünglich von seiner eigenständigen Firma entwickelten Programm zur verhaltensbasierten Analyse wurde erst vor kurzem von Elastic übernommen und wird für mich das spannendste neue Kibana-Modul.
Steve zeigte in einer beeindruckenden Präsentation, wie Prelert dank "Unsupervised Mashine Learning" Muster in zeitbasierten Daten erkennt, Abweichungen in diesen Mustern darstellt und daraus Alerts generiert – und das bevor es bereits zu einem schwerwiegenden Ausfall gekommen ist. Dabei lernt es Korrelationen und Zusammenhänge auch zwischen unterschiedlichsten Daten – beispielsweise Logs unterschiedlicher Dienste und Server und hilft so bei der Erforschung der Ursachen eines Problems.
Das Release des überarbeitenden Kibana-Moduls wird für Mitte 2017 erwartet. Tatsächlich wird es dann aber nicht für Jedermann sein. Die Lizenz für Prelert benötigt mindestens einer Elastic-Stack Platinum Subscription.
In zwei Workshops wurde anhand von konkreten Szenarien aus dem Bereich Security gezeigt, was mit den Modulen aus dem Elastic-Stack alles möglich ist.
Das erste Szenario importierte Logdaten aus der SSH-Authentifizierung mittels FileBeat und unterschied zwischen positiven und gescheiterten Login-Versuchen von validen Benutzern und der Brute-Force Attacke eines Angreifers. Nach Erkennen einer positiven Brute-Force Attacke, sendet das Watcher Modul eine E-Mail mit relevanten Funktionen.
Das zweite Szenario behandelte das Erkennen von Zugriffen auf Webseiten mit Schadsoftware – in Echtzeit und zur nachträglichen Analyse. Dazu wurden mit PacketBeat die Netzwerkpakete von DNS-Anfragen direkt am Proxy eingesammelt und durch Logstash an Elasticsearch weitergereicht. Mit Hilfe von Perlocator Queries können die Dokumente im Elasticsearch-Cluster direkt analysiert werden und Alerts bei Treffern in Echtzeit generiert werden.
Die in Elastcisearch gespeicherten Dokumente können natürlich auch im Nachhinein jederzeit analysiert werden. So können mit Bekanntwerden von neuen Bedrohungen, sofort die Clients im Netz ausgemacht werden, welche in der Vergangenheit auf die kompromittierten URLs zugegriffen haben und es können Maßnahmen ergriffen werden.
Wir haben bereits viel Erfahrungen mit dem Elastic-Stack und bieten Workshops hierfür an. Einen etwas allgemeiner gehaltenen Elastic-Workshop und einen weiteren für anspruchsvolles Server-Monitoring: "Monitoring mit dem Elastic-Stack"-Workshop.
Neben den Vorträgen und Workshops kamen natürlich auch die Diskussionen zwischen den Anwendern der Elasticsearch-Produkte nicht zu kurz. Besonders praktisch waren die zahlreichen "Ask-Me-Anything" Stationen, an denen Elasticsearch-Mitarbeiter jede noch so spezifische Frage kompetent beantworten konnten.
Insgesamt war die "kleine" Elastic-Konferenz eine runde und empfehlenswerte Veranstaltung.
