Splunk-Checkliste: Abfrage, SPL, RegEx und Befehle

Häufig verwendete Suchbefehle

Befehl

Beschreibung

chart/ timechart

Gibt Ergebnisse in einer tabellarischen Ausgabe für (Zeitreihen-)Diagramme zurück.

dedup

Entfernt nachfolgende Ergebnisse, die einem angegebenen Kriterium entsprechen.

eval

Berechnet einen Ausdruck.  Siehe HÄUFIG VERWENDETE EVAL-FUNKTIONEN.

Felder

Entfernt Felder aus den Suchergebnissen.

head/tail

Gibt die ersten/letzten N Ergebnisse zurück.

lookup

Fügt Feldwerte aus einer externen Quelle hinzu.

rename

Benennt ein Feld um. Platzhalter verwenden, um mehrere Felder anzugeben.

rex

Gibt mit regulären Ausdrücken benannte Gruppen an, um Felder zu extrahieren.

search

Filtert Ergebnisse heraus, die mit dem Suchausdruck übereinstimmen.

Sortieren

Sortiert die Suchergebnisse nach den angegebenen Feldern.

stats

Stellt Statistiken bereit, die optional nach Feldern gruppiert werden können.  Siehe HÄUFIG VERWENDETE STATISTIKFUNKTIONEN.

mstats

Ähnlich wie stats, wird jedoch auf Metriken statt auf Ereignisse angewendet.

table

Gibt Felder an, die im Ergebnissatz verbleiben sollen. Speichert Daten in einem Tabellenformat.

top/rare

Zeigt die häufigsten/seltensten Werte eines Feldes an.

transaction

Gruppiert Suchergebnisse in Transaktionen.

where

Filtert Suchergebnisse mithilfe von Eval-Ausdrücken. Wird verwendet, um zwei verschiedene Felder zu vergleichen.

Häufig verwendete Eval-Funktionen

Der Eval-Befehl berechnet einen Ausdruck und fügt den resultierenden Wert in ein Feld ein (z. B. "...| eval force = mass * acceleration"). In der folgenden Tabelle sind einige Funktionen aufgelistet, die mit dem Eval-Befehl verwendet werden. Ihr könnt auch einfache arithmetische Operatoren (+ - * / %), Zeichenfolgenverkettung (z. B. "...| eval name = last . "," . first") und boolesche Operatoren (AND OR NOT XOR < > <= >= != = == LIKE) verwenden.

Funktion

Beschreibung

Beispiele

abs(X)

Gibt den absoluten Wert von X zurück.

abs(number)

case(X,"Y",…)

Verwendet Argumentpaare von X und Y, wobei die X-Argumente boolesche Ausdrücke sind. Wenn diese als TRUE ausgewertet werden, geben sie das entsprechende Y-Argument zurück.

case(error == 404, "Not found", error ==500,"Internal Server Error", error == 200, "OK")

ceil(X)

Obergrenze einer Zahl X.

ceil(1.9)

cidrmatch("X",Y)

Identifiziert IP-Adressen, die zu einem bestimmten Subnetz gehören.

cidrmatch("123.132.32.0/25",ip)

coalesce(X,…)

Gibt den ersten Wert zurück, der nicht NULL ist.

coalesce(null(), "Returned val", null())

cos(X)

Berechnet den Kosinus von X.

n=cos(0)

exact(X)

Wertet einen Ausdruck X mit Gleitkommaarithmetik mit doppelter Genauigkeit aus.

exact(3.14*num)

exp(X)

Gibt eX zurück.

exp(3)

if(X,Y,Z)

Wenn X als TRUE ausgewertet wird, ist das Ergebnis das zweite Argument Y. Wenn X als FALSE ausgewertet wird, ist das Ergebnis das dritte Argument Z.

if(error==200, "OK", "Error")

in(field,valuelist)

Gibt TRUE zurück, wenn ein Wert in der Werteliste („valuelist“) mit einem Wert im angegebenen Feld („field“) übereinstimmt. Die Funktion „in“ ist innerhalb der Funktion „if“ zu verwenden.

if(in(status, “404”,”500”,”503”),”true”,”false”)

isbool(X)

Gibt TRUE zurück, wenn X ein boolescher Wert ist.

isbool(field)

isint(X)

Gibt TRUE zurück, wenn X eine Ganzzahl ist.

isint(field)

isnull(X)

Gibt TRUE zurück, wenn X NULL ist.

isnull(field)

isstr()

Gibt TRUE zurück, wenn X eine Zeichenfolge ist.

isstr(field)

len(X)

Diese Funktion gibt die Zeichenlänge einer Zeichenfolge X zurück.

len(field)

like(X,"Y")

Gibt TRUE nur dann zurück, wenn X dem SQLite-Muster in Y entspricht.

like(field, "addr%")

log(X,Y)

Gibt den Logarithmus des ersten Arguments X zurück, wobei das zweite Argument Y als Basis dient. Y ist standardmäßig auf 10 eingestellt.

log(number,2)

lower(X)

Gibt X in Kleinbuchstaben zurück.

lower(username)

ltrim(X,Y)

Gibt X zurück, wobei die in Y angegebenen Zeichen auf der linken Seite entfernt werden. Die Standardangabe für Y sind Leerzeichen und Tabulatoren.

ltrim(" ZZZabcZZ ", " Z")

match(X,Y)

Wird zurückgegeben, falls X dem Regex-Muster Y entspricht.

match(field, "^\d{1,3}\.\d$")

max(X,…)

Gibt das Maximum zurück.

max(delay, mydelay)

md5(X)

Gibt den MD5-Hash eines Zeichenfolgenwerts X zurück.

md5(field)

min(X,…)

Gibt das Minimum zurück.

min(delay, mydelay)

mvcount(X)

Gibt die Anzahl der Werte von X zurück.

mvcount(multifield)

mvfilter(X)

Filtert ein Multiwertfeld basierend auf dem booleschen Ausdruck X.

mvfilter(match(email, "net$"))

mvindex(X,Y,Z)

Gibt eine Teilmenge des Multiwertfelds X von der Startposition (nullbasiert) Y bis Z (optional) zurück.

mvindex(multifield, 2)

mvjoin(X,Y)

Ausgehend von einem Multiwertfeld X und einem Zeichenfolgentrennzeichen Y werden die einzelnen Werte von X unter Verwendung von Y verknüpft.

mvjoin(address, ";")

now()

Gibt die aktuelle Zeit zurück, angegeben in Unix-Zeit.

now()

null()

Diese Funktion akzeptiert keine Argumente und gibt NULL zurück.

null()

nullif(X,Y)

Ausgehend von zwei Argumenten, den Feldern X und Y, wird X zurückgegeben, wenn die Argumente ungleich sind. Andernfalls wird NULL zurückgegeben.

nullif(fieldA, fieldB)

random()

Gibt eine Pseudozufallszahl von 0 bis 2147483647 zurück.

random()

relative_time (X,Y)

Ausgehend von der Epoch-Zeit X und der relativen Zeitangabe Y, wird der Epoch-Zeitwert von Y angewendet auf X zurückgegeben.

relative_time(now(),"-1d@d")

replace(X,Y,Z)

Gibt eine Zeichenfolge zurück, die durch das Ersetzen jedes Vorkommens der Regex-Zeichenfolge Y in der Zeichenfolge X durch die Zeichenfolge Z gebildet wird.

Gibt das Datum mit vertauschten Monats- und Tageszahlen zurück. Bei einer Eingabe von 4/30/2021 wäre der Rückgabewert also 30/4/2021: replace(date,"^(\d{1,2})/(\d{1,2})/", "\2/\1/")

round(X,Y)

Gibt X zurück, gerundet auf die Anzahl der Dezimalstellen, die durch Y angegeben werden. Standardmäßig wird auf eine Ganzzahl gerundet.

round(3.5)

rtrim(X,Y)

Gibt X zurück, wobei die in Y angegebenen Zeichen auf der rechten Seite entfernt werden. Wenn Y nicht angegeben ist, werden Leerzeichen und Tabulatoren entfernt.

rtrim(" ZZZZabcZZ ", " Z")

split(X,"Y")

Gibt X als Multiwertfeld zurück, aufgeteilt durch das Trennzeichen Y.

split(address, ";")

sqrt(X)

Gibt die Quadratwurzel von X zurück.

sqrt(9)

strftime(X,Y)

Gibt den Epoch-Zeitwert X im durch Y angegebenen Format zurück.

strftime(_time, "%H:%M")

strptime(X,Y)

Gibt ausgehend von einer Zeit, die durch die Zeichenfolge X dargestellt wird, den aus dem Format Y geparsten Wert zurück.

strptime(timeStr, "%H:%M")

substr(X,Y,Z)

Gibt ein Teilzeichenfolgenfeld X von der Startposition (einsbasiert) Y für Z (optional) Zeichen zurück.

substr("string", 1, 3)

time()

Gibt die Wanduhrzeit mit Mikrosekundengenauigkeit zurück.

time()

tonumber(X,Y)

Konvertiert die Eingabezeichenfolge X in eine Zahl, wobei Y (optional, Standardwert ist 10) die Basis der Zahl definiert, in die konvertiert werden soll.

tonumber("0A4",16)

tostring(X,Y)

Gibt einen Feldwert X als Zeichenfolge zurück. Wenn der Wert von X eine Zahl ist, wird X als Zeichenfolge neu formatiert. Wenn X ein boolescher Wert ist, wird X als „True“ oder „False“ neu formatiert. Wenn X eine Zahl ist, ist das zweite Argument Y optional und kann entweder „hex“ (konvertiert X in eine Hexadezimalzahl), „commas“ (formatiert X mit Kommas und zwei Dezimalstellen) oder „duration“ (konvertiert X aus einem Zeitformat in Sekunden in ein lesbares Zeitformat: HH:MM:SS) sein.

Rückgabe dieses Beispiels: foo=615 and foo2=00:10:15:… | eval foo=615 | eval foo2 = tostring(foo, “duration”)

typeof(X)

Gibt eine Zeichenfolgendarstellung des Feldtyps zurück.

Rückgabe dieses Beispiels: “NumberStringBoolInvalid”: typeof(12)+ typeof(“string”)+

urldecode(X)

Gibt die URL X decodiert zurück.

urldecode("http%3A%2F%2Fwww.splunk.com%2Fdownload%3Fr%3Dheader")

validate| (X,Y,…)

Gibt ausgehend von Argumentpaaren, booleschen Ausdrücken X und Zeichenfolgen Y, die Zeichenfolge Y zurück, die dem ersten Ausdruck X entspricht, der als FALSE ausgewertet wird. Wird standardmäßig auf NULL gesetzt, wenn alle Werte TRUE sind.

validate(isint(port), "ERROR: Port is not an integer", port >= 1 AND port <= 65535, "ERROR:Port is out of range")

Häufig verwendete Statistikfunktionen

Allgemeine Statistikfunktionen, die mit den Befehlen chart, stats und timechart verwendet werden. Feldnamen können mit Platzhaltern versehen werden, sodass avg(*delay) den Durchschnitt der Felder delay und xdelay berechnen kann.

avg(X)

Gibt den Mittelwert der Werte des Felds X zurück.

count(X)

Gibt die Anzahl der Vorkommen des Felds X zurück. Um einen bestimmten Feldwert anzugeben, der übereinstimmen soll, formatiert ihr X als eval(field="value").

dc(X)

Gibt die Anzahl der eindeutigen Werte des Felds X zurück.

earliest(X)

Gibt den chronologisch frühesten Wert von X zurück.

latest(X)

Gibt den chronologisch spätesten Wert von X zurück.

max(X)

Gibt den Maximalwert des Felds X zurück. Wenn die Werte von X nicht numerisch sind, wird der Maximalwert aus der alphabetischen Reihenfolge ermittelt.

median(X)

Gibt den mittleren Wert des Felds X zurück.

min(X)

Gibt den Minimalwert des Felds X zurück. Wenn die Werte von X nicht numerisch sind, wird der Minimalwert aus der alphabetischen Reihenfolge ermittelt.

mode(X)

Gibt den am häufigsten vorkommenden Wert des Felds X zurück.

perc<X>(Y)

Gibt den X-ten Perzentilwert des Felds X zurück. Beispielsweise gibt perc5(total) den fünften Perzentilwert des Felds „total“ zurück.

range(X)

Gibt die Differenz zwischen dem Maximal- und Minimalwert des Felds X zurück.

stdev(X)

Gibt die Standardabweichung einer Stichprobe des Felds X zurück.

stdevp(X)

Gibt die Standardabweichung der Population des Felds X zurück.

sum(X)

Gibt die Summe der Werte des Felds X zurück.

sumsq(X)

Gibt die Quadratsumme der Werte des Felds X zurück.

values(X)

Gibt die Liste aller eindeutigen Werte des Felds X als Eintrag mit mehreren Werten zurück. Die Reihenfolge der Werte ist alphabetisch.

var(X)

Gibt die Stichprobenvarianz des Felds X zurück.

Ergebnisse filtern

Gibt X zurück, gerundet auf die Anzahl der Dezimalstellen, die durch Y angegeben werden. Standardmäßig wird auf eine Ganzzahl gerundet.

round(3.5)

Gibt X zurück, wobei die in Y angegebenen Zeichen auf der rechten Seite entfernt werden. Wenn Y nicht angegeben ist, werden Leerzeichen und Tabulatoren entfernt.

rtrim(" ZZZZabcZZ ", " Z")

Gibt X als Multiwertfeld zurück, aufgeteilt durch das Trennzeichen Y.

split(address, ";")

Gibt ausgehend von Argumentpaaren, booleschen Ausdrücken X und Zeichenfolgen Y, die Zeichenfolge Y zurück, die dem ersten Ausdruck X entspricht, der als FALSE ausgewertet wird. Wird standardmäßig auf NULL gesetzt, wenn alle Werte TRUE sind.

validate(isint(port), "ERROR: Port is not an integer", port >= 1 AND port <= 65535, "ERROR: Port is out of range")

Ergebnisse gruppieren

Ergebnisse clustern, nach ihren „cluster_count“-Werten sortieren und dann die 20 größten Cluster (in Bezug auf die Datengröße) zurückgeben.

… | cluster t=0.9 showcount=true | sort limit=20 -cluster_count

Ergebnisse, die den gleichen

„host“ und „cookie“ aufweisen, innerhalb von 30 Sekunden auftreten und bei denen zwischen den einzelnen Ereignissen keine Pause von mehr als 5 Sekunden liegt, in einer Transaktion gruppieren.

… | transaction host cookie maxspan=30s maxpause=5s

Ergebnisse mit der gleichen IP-Adresse (clientip) gruppieren, bei denen das erste Ergebnis „signon“ und das letzte Ergebnis „purchase“ enthält.

… | transaction clientip startswith="signon" endswith="purchase"

Ergebnisse sortieren

Die ersten 20 Ergebnisse zurückgeben.

… | head 20

Die Reihenfolge eines Ergebnissatzes umkehren.

… | reverse

Die Ergebnisse nach „ip“-Wert (in aufsteigender Reihenfolge) sortieren und dann nach „url“-Wert (in absteigender Reihenfolge).

… | sort ip, -url

Die letzten 20 Ergebnisse in umgekehrter Reihenfolge zurückgeben.

… | tail 20

Reporting

Mittelwert und Anzahl unter Verwendung einer 30-Sekunden-Spanne aller Metriken, die mit cpu.percent enden, aufgeschlüsselt nach Metriknamen zurückgeben.

| mstats avg(_value), count(_value) WHERE metric_name=”*.cpu.percent” by metric_name span=30s

max(delay) für jeden Wert von foo aufgeschlüsselt nach dem Wert von bar zurückgeben.

… | chart max(delay) over foo by bar

max(delay) für jeden Wert von foo zurückgeben.

… | chart max(delay) over foo

Anzahl der Ereignisse nach „host“.

… | stats count by host

Eine Tabelle mit der Anzahl der Ereignisse und einem kleinen Liniendiagramm erstellen.

… | stats sparkline count by host

Zeitdiagramm für die Anzahl der „web“-Quellen nach „host“ erstellen.

… | timechart count by host

Mittelwert von

„CPU“ pro Minute pro „host“ berechnen.

… | timechart span=1m avg(CPU) by host

Mittelwert für jede Stunde eines eindeutigen Felds zurückgeben, das mit der Zeichenfolge „lay“ endet (z. B. delay, xdelay, relay usw.)

… | stats avg(*lay) by date_hour

Die 20 häufigsten Werte des Felds „url“ zurückgeben.

… | top limit=20 url

Die seltensten Werte des Felds „url“ zurückgeben.

… | rare url

Erweitertes Reporting

Durchschnittliche Gesamtdauer berechnen und „avgdur“ als neues Feld zu jedem Ereignis hinzufügen, für das das Feld „duration“ existiert.

... | eventstats avg(duration) as avgdur

Kumulative Summe der Bytes ermitteln.

... | streamstats sum(bytes) as bytes_total | timechart max(bytes_ total)

Anomalien im Feld „Close_Price“ während der letzten zehn Jahre finden.

sourcetype=nasdaq earliest=-10y | anomalydetection Close_Price

Diagramm erstellen, das die Anzahl der Ereignisse mit einem prognostizierten Wert und Bereich zeigt, die für jedes Ereignis in der Zeitreihe hinzugefügt wurden.

... | timechart count | predict count

Einen einfachen gleitenden Mittelwert über fünf Ereignisse für das Feld „count“ berechnen und in das neue Feld „smoothed_ count“ schreiben.

“... | timechart count | trendline sma5(count) as smoothed_count”

Metriken

Alle Metriknamen im Metrikindex „_metrics“ auflisten.

| mcatalog values(metric_ name) WHERE index=_ metrics

Beispiele für die Metrikdatenpunkte anzeigen, die im Metrikindex „_metrics“ gespeichert sind.

| mpreview index=_ metrics target_per_ timeseries=5

Den Mittelwert einer Metrik im Metrikindex „_metrics“ zurückgeben. Die Ergebnisse werden in Zeitspannen von 30 Sekunden zusammengefasst.

| mstats avg(aws.ec2. CPUUtilization) WHERE index=_metrics span=30s

Felder hinzufügen

Geschwindigkeit auf Entfernung/Zeit einstellen.

… | eval velocity=distance/time

Die Felder „from“ und „to“ mit regulären Ausdrücken extrahieren. Wenn ein Rohereignis „From: Susan To: David“ enthält, dann ist from=Susan und to=David.

… | rex field=_raw "From: (?<from>.*) To: (?<to>.*)"

Die laufende Summe von „count“ in einem Feld namens „total_count“ speichern.

… | accum count as total_count

Für jedes Ereignis, bei dem „count“ vorhanden ist, die Differenz zwischen count und seinem vorherigen Wert berechnen und das Ergebnis in „countdiff“ speichern.

… | delta count as countdiff

Felder filtern

Nur die Felder „host“ und „ip“ beibehalten und in dieser Reihenfolge anzeigen.

… | fields + host, ip

Die Felder „host“ und „ip“ aus den Ergebnissen entfernen.

… | fields - host, ip

Lookup-Tabellen (nur Splunk Enterprise)

Für jedes Ereignis die Lookup-Tabelle usertogroup nutzen, um den übereinstimmenden „user“-Wert aus dem Ereignis zu lokalisieren. Den Wert des Gruppenfelds im Ereignis ausgeben.

… | lookup usertogroup user output group

In der Lookup-Tabelle usertogroup lesen, die in der Datei transforms.conf definiert ist.

… | inputlookup usertogroup

Die Suchergebnisse in die Lookup-Datei „users.csv“ schreiben.

… | outputlookup users.csv

Felder modifizieren

Das Feld „ip“ in „IPAddress“ umbenennen.

… | rename _ip as IPAddress

Reguläre Ausdrücke (Regexe)

Reguläre Ausdrücke sind in vielen Bereichen nützlich, z. B. bei den Suchbefehlen regex und rex, Eval-Funktionen match() und replace() und in der Feldextraktion.

Regex

Kommentar

Beispiel

Erläuterung

\s

Leerraum

\d\s\d

Ziffer Leerraum Ziffer

\S

kein Leerraum

\d\S\d

Ziffer Nicht-Leerraum Ziffer

\d

Ziffer

\d\d\d-\d\d-

\d\d\d\d

Sozialversicherungsnummer (USA)

\D

keine Ziffer

\D\D\D

drei Nicht-Ziffern

\w

Wortzeichen (Buchstabe, Zahl oder _)

\w\w\w

drei Wortzeichen

\W

kein Wortzeichen

\W\W\W

drei Nicht-Wortzeichen

[...]

beliebiges enthaltenes Zeichen

[a-z0-9#]

beliebiges Zeichen von a bis z, 0 bis 9 oder #

[^...]

nicht enthaltenes Zeichen

[^xyz]

jedes Zeichen außer x, y oder z

*

null oder mehr

\w*

null oder mehr Wortzeichen

+

eins oder mehr

\d+

Ganzzahl

?

null oder eins

\d\d\d-?\d\d-

?\d\d\d\d

Sozialversicherungsnummer (USA) mit optionalen Bindestrichen

|

oder

\w|\d

Wort- oder Ziffernzeichen

(?P<var>

...)

benannte Extraktion

(?P<ssn>\d\d\d-

\d\d-\d\d\d\d)

Sozialversicherungsnummer (USA) extrahieren und dem Feld „ssn“ zuweisen

(?: ...

)

logische oder atomare Gruppen

(?:[a-zA-Z]|\d)

Buchstabe ODER Ziffer

^

Zeilenanfang

^\d+

Zeile beginnt mit mindestens einer Ziffer

$

Zeilenende

\d+$

Zeile endet mit mindestens einer Ziffer

{...}

Anzahl der Wiederholungen

\d{3,5}

zwischen 3 und 5 Ziffern

\

Escape

\[

das [-Zeichen escapen

Multiwertfelder

Die multiplen Werte des Felds „recipients“ zu einem einzigen Wert kombinieren

… | nomv recipients

Werte des Feld „recipients“ in mehrere Feldwerte trennen und die Top-Empfänger anzeigen

… | makemv delim="," recipients | top recipients

Neue Ergebnisse für jeden Wert des Multiwertfelds „recipients“ erstellen

… | mvexpand recipients

Anzahl der Empfängerwerte ermitteln

… | eval to_count = mvcount(recipients)

Erste E-Mail-Adresse im Empfängerfeld („recipients“) finden

… | eval recipient_first = mvindex(recipient,0)

Alle „recipient“-Werte finden, die mit .net oder .org enden

… | eval netorg_ recipients = mvfilter match(recipient,"\.net$") OR match(recipient,"\.org$"))

Index des ersten Empfängerwerts finden, der mit “\.org$” übereinstimmt

… | eval orgindex = mvfind(recipient, "\.org$")

Häufige Datums- und Zeitformate

Diese Werte verwendet ihr für die Eval-Funktionen strftime() und strptime() und für Zeitstempel von Ereignisdaten.

Zeit

%H

24 Stunden (führende Nullen) (00 bis 23)

%I

12 Stunden (führende Nullen) (01 bis 12)

%M

Minute (00 bis 59)

%S

Sekunde (00 bis 61)

%N

Subsekunden mit Größenangabe (%3N = Millisekunden, %6N = Mikrosekunden, %9N = Nanosekunden)

%p

AM oder PM

%Z

Zeitzone (CET)

%z

Zeitzonenabweichung von der UTC in Stunden und Minuten: +hhmm oder -hhmm (+0100 für CET)

%s

Sekunden seit dem 01.01.1970 (1308677092)

Tage

%d

Tag des Monats (führende Nullen) (01 bis 31)

%j

Tag des Jahres (001 bis 366)

%w

Wochentag (0 bis 6)

%a

Abgekürzter Wochentag (So)

%A

Wochentag (Sonntag)

Monate

%b

Abgekürzter Monatsname (Jan)

%B

Monatsname (Januar)

%m

Monatsnummer (01 bis 12)

Jahre

%y

Jahr ohne Jahrhundert (00 bis 99)

%Y

Jahr (2021)

Beispiele

%Y-%m-%d

2021-12-31

%y-%m-%d

21-12-31

%b %d, %Y

Jan 24, 2021

%B %d, %Y

Januar 24, 2021

q|%d %b '%y= %Y-%m-%d

q|25 Feb '21 = 2021-02-25|