Splunk bietet eine Plattform für Millionen von Use Cases rund um die Untersuchung operativer Daten in verschiedensten Bereichen – von Security und Observability bis hin zu Betrugsbekämpfung, Business Intelligence und diversen weiteren. In meiner Zeit bei Splunk habe ich allerdings festgestellt, dass unsere Kundinnen und Kunden allesamt mit Herausforderungen konfrontiert sind, die auf das gleiche Kernproblem zurückführen sind:
Nämlich, in den explosionsartig zunehmenden Datenmengen die Entitäten aufzuspüren, die anomales Verhalten aufweisen und somit die Unternehmensresilienz ganz besonders gefährden.
Genau hier setzt die Splunk App for Behavioral Profiling an, indem sie Workflows zur Operationalisierung der Erkennung und Bewertung von Verhaltensanomalien in komplexen Umgebungen skalierbar zusammenführt. Dies nach Profil korreliert, sodass direkt die Entitäten erkennbar werden, die die Resilienz beeinträchtigen. Hiervon profitieren Teams aus zahlreichen Funktionsbereichen:
Klären wir zunächst einige grundlegende Begriffe.
Zunächst der Begriff „Entität“, der jetzt schon mehrfach gefallen ist. Was genau ist eine Entität? Nun, eine Entität kann im Grunde alles sein – jedwede „Dinge“, die sich einer Gruppe zuordnen lassen, innerhalb derer sich anomales Verhalten vergleichen und auffinden lässt. Beispiele hierfür wären Kunden, Geschäftsbereiche, Mitarbeiter, Anwendungen, Server, Niederlassungen etc.
Bei einer Verhaltensanomalie handelt es sich um eine Abweichung vom erwarteten Verhalten. Dies kann entweder ein Unterschied zwischen einer Entität und den Peer-Entitäten, einer Entität und ihrem historischen Verhalten oder eine Kombination aus beidem sein.
Bislang gestaltete sich die skalierbare Operationalisierung von Verhaltensanomalien und die Aufschlüsselung der zugehörigen Entitäten mit Splunk einigermaßen komplex. Denn hierzu brauchte es spezifische Kenntnisse zur Implementierung bestimmter Aspekte:
Zudem war eine Skalierung der Suche nach Anomalien auf potenziell Millionen von Entitäten nur anhand von Funktionen wie der Indizierung von Übersichten und der Speicherung von Schlüssel-Wert-Paaren möglich. Josh Cowling, Sr. Consulting Solutions Engineer bei Splunk, hat hierzu einen hervorragenden Blog-Artikel mit näheren Einzelheiten verfasst.
Mit der Splunk App for Behavioral Profiling werden dagegen sämtliche der oben genannten Aspekte im Hintergrund orchestriert. Umgesetzt wird dies mit wenigen Klicks über einen unkomplizierten Workflow, bei dem es für Suchen nach Verhaltensindikatoren nicht mehr als eine Zeile in der SPL braucht. Ebenso bietet die App einen einfachen Scoring-Mechanismus, der den Fokus weg von False Positives und hin zu den wirklich relevanten Entitäten lenkt.
Zur Überführung von Rohdatenquellen in Entitäten mit Verhaltensprofil baut die App auf eine Architektur auf, die sich in drei Ebenen unterteilt:
Zur Bereitstellung einer Indikatorsuche braucht es nicht mehr, als den Workflow auf einen Datenbestand zu verweisen, das Feld auszuwählen, das die eindeutige Entität darstellt, und über das Dropdown-Menü eine Funktion zur Erstellung der zu erfassenden Indikator-Kennzahl auszuwählen. (Versierte Benutzer können alternativ auch ausschließlich mit SPL-basierten Suchvorgängen arbeiten.) Entspricht die Suche euren Vorstellungen, könnt ihr sie über das Popup-Menü speichern, einen Zeitplan dafür festlegen und sie direkt mit historischen Daten auffüllen.
Definition und Speicherung einer neuen Indikatorregel
Im Workflow werden dann anhand der Daten im Indikatorindex Bewertungsregeln definiert. Hier stehen neben statischer Bedingungslogik auch die Verwendung der Standardabweichung als Schwellenwert oder eine auf das Splunk Machine Learning Toolkit gestützten Anomalie-Erkennung zur Auswahl, um Regeln für die Bestimmung von anomalem Verhalten entweder für jede einzelne Entität oder die gesamte Gruppe zu definieren.
Im Anschluss an die Bestimmung der Anomalie-Kriterien müsst ihr nur noch die Bewertungslogik definieren, dann die Bewertungsregel erneut speichern, einen Zeitplan für sie festlegen und sie mit historischen Daten auffüllen.
Definieren der Logik zur Bestimmung und Bewertung von Anomalien bei der Indikatorsuche
Ist eine Bewertungsregel einmal bereitgestellt, werden die ihr zugewiesenen Attributionen direkt mit anderen aggregiert. Festgehalten wird dies im Dashboard Entity Behavioral Scores. Darin erhaltet ihr Einblick in das Verhaltensprofil eurer Entitäten, außerdem werden diejenigen Entitäten, die besonders anomales Verhalten aufweisen, nach Priorität aufgeschlüsselt in einer Liste aufgeführt. Zur detaillierten Analyse könnt ihr dabei über die Ansicht Single Entity Profile die diesen jeweils zugeordneten Verhaltensbewertungen einschließlich zugehöriger Rohereignisse einsehen. Ebenfalls könnt ihr dabei die jeweilige Entität als überprüft markieren oder sie einer Liste zugelassener Entitäten hinzufügen, um sie aus allen zugrunde liegenden Suchen zu entfernen.
Unabdingbar ist zudem Klarheit über die Regel-Performance. Denn erst so könnt ihr sicherstellen, dass die kritischsten Entitäten in euer Umgebung auch weiterhin präzise identifiziert werden. Hierzu bietet die App mehrere Ansichten, über die ihr erkennen könnt, an welchen Punkten Regeln abweichen oder nicht mehr die gewünschte Leistung liefern.
Dashboard zur Überprüfung von Bewertungsregeln
Das Dashboard Entity Behavior Scores enthält Informationen zu Volumen und Bewertungen von Attributionen, die von den einzelnen ausgelösten Regeln generiert werden, und dient als Ausgangspunkt zur Regeloptimierung. Die Dashboards Review Indicators und Review Scoring Rules liefern operativen Kontext zur Anzahl der zurückgegebenen Ereignisse und der Performance der durchgeführten Suchvorgänge im Zeitverlauf.
Fangt am besten direkt damit an, die Entitäten mit den kritischsten Verhaltensanomalien in eurer Umgebung aufzuspüren. Die Splunk App for Behavior Profiling steht für Kundinnen und Kunden von Splunk Enterprise/Cloud ab sofort auf Splunkbase zum Download zur Verfügung. Dazu gibt es die zugehörige Dokumentation und Video-Demos zu Use Cases im Zusammenhang mit Betrugsbekämpfung und Service-Monitoring.
Viel Spaß beim Splunken und der Verhaltensprofilierung!
Ein besonderer Dank geht an Josh Cowling, der die App gemeinsam mit mir entwickelt und ihre Umsetzung durch seine unverzichtbare Unterstützung möglich gemacht hat. Nicht weniger wichtig für ihre Entwicklung waren jedoch auch die wertvollen Beiträge aller Splunker, Kundinnen und Kunden.
*Dieser Artikel wurde aus dem Englischen übersetzt und editiert. Den Originalblogpost findet ihr hier.
Die Splunk-Plattform beseitigt die Hürden zwischen Daten und Handlungen, damit Observability-, IT- und Security-Teams in ihren Unternehmen für Sicherheit, Resilienz und Innovation sorgen können.
Splunk wurde 2003 gegründet und ist ein globales Unternehmen – mit mehr als 7.500 Mitarbeitern, derzeit über 1.020 Patenten und einer Verfügbarkeit in 21 Regionen rund um den Globus. Mit seiner offenen, erweiterbaren Datenplattform, die die gemeinsame Nutzung von Daten in beliebigen Umgebungen unterstützt, bietet Splunk allen Teams im Unternehmen für jede Interaktion und jeden Geschäftsprozess End-to-End-Transparenz mit Kontext. Bauen auch Sie eine starke Datenbasis auf – mit Splunk.