Wenn Ihr diesen Beitrag lest, beschäftigt Euch vermutlich folgende Frage: Wie lassen sich Daten von verschiedenen Microsoft Azure-Services in Splunk einlesen? Angesichts der wachsenden Liste von Azure-Services und verschiedenen Datenzugriffsmethoden kann es etwas unklar sein, welche Daten überhaupt vorhanden sind und wie man diese in Splunk verfügbar machen kann.
In diesem Blogbeitrag will ich näher darauf eingehen, wie Microsoft Azure-Daten von Microsoft verfügbar gemacht werden, wie ihr auf diese Daten zugreifen könnt und mit welchen Out-of-the-Box Splunk Add-Ons ihr diese Daten nutzen könnt. Los geht's.
Microsoft bietet drei Verfahren, um Azure Daten verfügbar zu machen.
In Zeiten der Markteinführung von Azure galt dieses Verfahren als der Standard. Grundsätzlich speichert Microsoft die Daten eines Service an einem separaten Speicherort, in einem sogenannten Storage-Konto (Storage Account). Benötigt Ihr also die Ereignis-Logs von virtuellen Computern, findet ihr diese in dem von Euch angegebenen Storage-Konto. Da es sich dabei um einen separaten Service und nicht um eine virtuelle Maschine (VM) handelt, bleiben die VM-Daten auch nach deren Löschung weiterhin erhalten. Auch weil für Speicher-Accounts eigene Sicherheits- und Aufbewahrungsmechanismen gelten. Ohne allzu sehr ins Detail zu gehen, so viel solltet Ihr jedoch wissen: Ein Quell-Service kann gezielt konfiguriert werden, um ausgewählte Daten in ein separates Storage-Konto für das spätere Abrufen auszulagern.
Da wir gerade über Standards sprechen: Event Hubs sind der neue Standard für die meisten Azure-Services. Ich stelle mir Event Hubs gerne als einen skalierbaren und relativ kurzfristigen "Message Bus" vor. Damit beziehe ich mich auf die Eigenschaft von Azure, Daten auf einen Event Hub auslagern zu können - in der Regel über einen Service mit der Bezeichnung Azure Monitor. Ähnlich der oben vorgestellten Speicher-Account-Methode. Allerdings sind die Daten, die auf einem Event Hub landen, dazu bestimmt, von einem anderen Mechanismus abgerufen zu werden. Tatsächlich weisen Event Hubs eine recht kurze Aufbewahrungszeit für Ereignisse auf. Für gewöhnlich zwischen 24 Stunden und 7 Tagen. Außerdem lassen sich Event Hubs wahlweise hoch- oder herunterskalieren, je nach Last für das Empfangen oder Zustellen von Daten. Hierzu noch ein Hinweis: Wenn Ihr mit den Begriffen Pub/Sub, Kafka, Producer und Consumer irgendwas anfangen könnt, versucht weiterhin in solchen Begrifflichkeiten zu denken. Andernfalls könnt Ihr den letzten Satz einfach ignorieren oder nach diesen Begriffen googeln, falls ihr noch etwas tiefer in die Materie einsteigen wollt.
Das dritte wichtige Verfahren zur Bereistellung von Azure-Daten durch Microsoft sind sogenannte REST APIs. Und von denen gibt es eine ganze Menge. Im Zusammenhang mit Splunk sucht Ihr ja normalerweise nach den "List"-Operationen. Hier findet ihr zum Beispiel alle Operationen für Azure-VMs. Das Microsoft Azure Add-On für Splunk (mehr zu diesem Add-On folgt gleich) verwendet ebenfalls die Operation "List All" (Alle auflisten), um eine Liste aller Ihrer VMs in Azure abzurufen.Diese Informationen könnt Ihr als Entitäten sowohl in Splunk IT Service Intelligence (ITSI) als auch in Splunk Enterprise Security verwenden. Oder Ihr setzt sie zu anderen Datenquellen in Splunk in Beziehung.
Da Ihr jetzt die drei Hauptverahren kennt, wie Microsoft entsprechende Azure-Daten verfügbar macht, möchte ich euch zeigenwelche Daten Euch überhaupt zur Verfügung stehen. Weil es jedoch schier unmöglich ist, eine umfassende statische Liste aller Datenquellen zu erstellen, beschränke ich mich auf einige der beliebtesten und Splunk-zentrierten Quellen.
Da Ihr nun wisst, wie Azure-Daten von Microsoft verfügbar gemacht werden und welche Arten von verfügbaren Daten existieren. Wie lassen sich eben diese Daten erfolgreich an Splunk übermitteln? Die einfache Antwort lautet: Add-Ons. Die beiden wichtigsten Add-Ons sind das Splunk Add-On for Microsoft Cloud Services und das Microsoft Azure Add-On for Splunk.
Sind Euch oben eigentlich die Tags [Storage-Konto], [Event Hub], und [REST] aufgefallen? Diese helfen uns bei der wichtigen Entscheidung, welches Add-On wir eigentlich verwenden sollen. Weiter geht's!
Ist Euch mit Blick auf die Tags ein Muster aufgefallen? Während das Splunk Add-On for Microsoft Cloud Services sowohl Event Hubs als auch Speicher-Accounts und das Aktivitäts-Log integriert, berücksichtigt Microsoft Azure Add-On for Splunk die verschiedenen REST-APIs. Aber auch das Splunk Add-On for Microsoft Cloud Services kann das Aktivitäts-Log über die REST API oder den Event Hub abrufen. In beiden Fällen handelt es sich dabei um dieselben Datensätze.
Es heißt, ein Bild sagt mehr als tausend Worte: Dieses Sankey-Diagramm soll die unzähligen Worte dieses Blogbeitrags möglichst einfach visualisieren…
Hinweis: Per Klick auf die Abbildung gelangt Ihr zu einem interaktiven Diagramm.
*Dieser Artikel wurde aus dem Englischen übersetzt und editiert. Den Originalblogpost findet ihr hier.
Die Splunk-Plattform beseitigt die Hürden zwischen Daten und Handlungen, damit Observability-, IT- und Security-Teams in ihren Unternehmen für Sicherheit, Resilienz und Innovation sorgen können.
Splunk wurde 2003 gegründet und ist ein globales Unternehmen – mit mehr als 7.500 Mitarbeitern, derzeit über 1.020 Patenten und einer Verfügbarkeit in 21 Regionen rund um den Globus. Mit seiner offenen, erweiterbaren Datenplattform, die die gemeinsame Nutzung von Daten in beliebigen Umgebungen unterstützt, bietet Splunk allen Teams im Unternehmen für jede Interaktion und jeden Geschäftsprozess End-to-End-Transparenz mit Kontext. Bauen auch Sie eine starke Datenbasis auf – mit Splunk.