Regular Expressions: A Practical Tutorial — txt1.ai

Ich erinnere mich noch an den Tag, an dem ich sechs Stunden damit verbrachte, manuell einen Datensatz von 50.000 Kunden-E-Mail-Adressen zu reinigen. Es war 2012, ich war ein Junior-Datenanalyst bei einem mittelständischen E-Commerce-Unternehmen und hatte keine Ahnung von regulären Ausdrücken. Ich kopierte, fügte ein, fand, ersetzte und fluchte mich durch Spreadsheet um Spreadsheet. Mein Manager kam gegen die vierte Stunde vorbei und fragte, was ich da mache. Als ich es erklärte, lachte sie – nicht unfreundlich – und sagte: "Du weißt, dass Regex das in etwa dreißig Sekunden erledigen könnte, oder?"

Dieser Moment hat meine Karriere verändert. Zwölf Jahre später, als Senior Data Engineer, der Milliarden von Datensätzen in den Bereichen Gesundheitswesen, Finanzen und Technologie verarbeitet hat, kann ich mit Zuversicht sagen, dass reguläre Ausdrücke die am meisten unterschätzte Fähigkeit in der Datenarbeit sind. Sie sind nicht sexy. Sie machen keine Schlagzeilen wie maschinelles Lernen oder Blockchain. Aber sie sind der Unterschied, ob du deinen Nachmittag mit geisttödlicher manueller Arbeit verbringst oder damit, tatsächliche Probleme zu lösen.

Dieses Tutorial geht nicht darum, obskure Syntax auswendig zu lernen oder über Nacht ein Regex-Zauberer zu werden. Es geht darum, die praktischen Muster zu verstehen, die dir jede einzelne Woche Stunden sparen werden. Ich werde dir die genauen Ausdrücke zeigen, die ich am häufigsten benutze, erklären, warum sie funktionieren, und reale Szenarien geben, in denen sie Projekte gerettet haben, an denen ich gearbeitet habe. Am Ende wirst du über ein Toolkit verfügen, das dich bei der Textverarbeitung, Datenbereinigung und Validierung erheblich effizienter macht.

Was reguläre Ausdrücke eigentlich sind (und warum sie dir wichtig sein sollten)

Reguläre Ausdrücke – kurz Regex – sind Muster, die Text beschreiben. Denk an sie als eine Suchsprache, die weit leistungsfähiger ist als die einfache "Suchen"-Funktion in deinem Texteditor. Anstatt nach exakten Übereinstimmungen wie "[email protected]" zu suchen, kannst du nach Mustern suchen wie "alles, was wie eine E-Mail-Adresse aussieht".

Hier ist, warum das in praktischen Begriffs wichtig ist: In meiner aktuellen Rolle arbeite ich regelmäßig mit Protokolldateien, die Millionen von Einträgen enthalten. Letzten Monat musste ich alle IP-Adressen aus einem 2,3 GB großen Serverprotokoll extrahieren, um den Datenverkehr zu analysieren. Ohne Regex hätte ich einen benutzerdefinierten Parser schreiben müssen, wahrscheinlich 50-100 Zeilen Code, und dabei sorgfältig darauf achten müssen, Randfälle zu behandeln. Mit Regex war es eine Zeile: \b\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}\b. Ausführungszeit: 4,7 Sekunden.

Der geschäftliche Einfluss ist real. Ein Kollege aus einem Finanzdienstleistungsunternehmen erzählte mir einmal, dass sie die Transaktionsbeschreibungen manuell überprüften, um Ausgaben zu kategorisieren – etwa 200 Transaktionen pro Tag, was ungefähr 45 Minuten in Anspruch nahm. Ich half ihnen, drei Regex-Muster zu schreiben, die 87 % der Kategorisierung automatisierten. Das sind 39 Minuten, die täglich gespart werden, oder etwa 140 Stunden pro Jahr für eine Person. Multipliziere das über ein Team, und es handelt sich um echtes Geld.

Reguläre Ausdrücke funktionieren in nahezu jeder Programmiersprache und vielen Werkzeugen, die du bereits verwendest. Python, JavaScript, Java, C#, Ruby, PHP – sie alle haben eine Regex-Unterstützung. Sogar Excel hat eine eingeschränkte Regex-Funktionalität durch seine neueren Funktionen. Texteditoren wie VS Code, Sublime Text und Vim verwenden Regex für Suchen und Ersetzen. Kommandozeilenwerkzeuge wie grep, sed und awk sind um Regex herum aufgebaut. Lerne es einmal, verwende es überall.

Es wird eine Lernkurve geben, das werde ich nicht leugnen. Die syntax der Regex sieht auf den ersten Blick einschüchternd aus. Aber ich habe Folgendes gelernt, während ich Dutzende von junior Ingenieuren ausgebildet habe: Du musst nicht alles beherrschen. Etwa 80 % der praktischen Regex-Arbeit verwenden vielleicht 20 % der verfügbaren Funktionen. Konzentriere dich auf diese Kernmuster, und du wirst mit der überwiegenden Mehrheit der realen Szenarien umgehen können.

Die Bausteine: Zeichen, Quantifizierer und Zeichenklassen

Lass uns mit den Grundlagen beginnen. In Regex entsprechen die meisten Zeichen sich selbst wörtlich. Das Muster cat entspricht dem Wort "Katze" im Text. Einfach genug. Aber Regex wird leistungsfähig, wenn du spezielle Zeichen verwendest, die Muster anstelle von wörtlichem Text entsprechen.

"Reguläre Ausdrücke sind der Unterschied zwischen dem Verbringen von sechs Stunden mit manueller Datenbereinigung und dem Verbringen von dreißig Sekunden mit dem Schreiben eines Musters, das es jedes Mal perfekt erledigt."

Der Punkt (.) ist dein erstes spezielles Zeichen. Er entspricht jedem einzelnen Zeichen, außer einem Zeilenumbruch. Also entspricht c.t "Katze", "Kot", "Schnitt" und sogar "c9t". Ich verwende dies ständig, wenn ich die Struktur von Daten kenne, aber nicht den genauen Inhalt. Zum Beispiel, wenn ich Produktcodes parsiere, die einem Muster wie "AB-1234-XY" folgen, könnte ich ..-.{4}-.. verwenden, um einen Code mit dieser Struktur zu finden.

Quantifizierer sagen Regex, wie oft etwas erscheinen soll. Der Stern (*) bedeutet "null oder mehrmals", das Pluszeichen (+) bedeutet "ein oder mehrmals", und das Fragezeichen (?) bedeutet "null oder einmal". Hier ist ein praktisches Beispiel: Ich musste einmal Telefonnummern bereinigen, die in verschiedenen Formaten vorlagen – einige mit Klammern, einige mit Bindestrichen, einige mit Leerzeichen. Das Muster \(?\d{3}\)?[-.\s]?\d{3}[-.\s]?\d{4} behandelte alle Varianten. Die Fragezeichen machten die Klammern und Separatoren optional.

Zeichenklassen ermöglichen es dir, spezifische Zeichensets zu entsprechen. Eckige Klammern definieren eine Klasse: [aeiou] entspricht jedem Vokal. Du kannst Bereiche verwenden: [a-z] entspricht jedem Kleinbuchstaben, [0-9] entspricht jeder Ziffer. Ich verwende [A-Za-z0-9] ständig für alphanumerische Validierung. Es gibt auch Kurzschreibweisen: \d für Ziffern, \w für Wortzeichen (Buchstaben, Ziffern, Unterstrich) und \s für Leerzeichen.

Hier ist ein reales Szenario von letztem Jahr: Ich verarbeitete Umfrageantworten, bei denen die Personen das Alter in wildly inkonsistenten Formaten eingaben – "25", "25 Jahre", "25 Jahre alt", "fünfundzwanzig" usw. Für die numerischen Einträge erfasste \d{1,3}\s*(years?|yrs?)? die meisten Varianten. Das \d{1,3} erfasste ein bis drei Ziffern, \s* erfasste optionale Leerzeichen, und die Klammern mit dem Pipe-Zeichen (|) schufen eine optionale Gruppe, die "Jahr", "Jahre", "Jr" oder "Jrs" entsprochen.

Anker sind entscheidend für genaue Übereinstimmungen. Das Caret (^) entspricht dem Anfang einer Zeile, und das Dollarzeichen ($) entspricht dem Ende. Ohne Anker würde \d{3} "123" irgendwo in "abc123def" entsprechen. Mit Ankern entspricht ^\d{3}$ nur, wenn die gesamte Zeile genau drei Ziffern beträgt. Ich habe das auf die harte Tour gelernt, als ich Benutzereingaben validierte – ohne Anker akzeptierte mein "dreiziffriger Code" Validator "abc123def456", weil es irgendwo drei Ziffern fand.

Erfassungsgruppen und Backreferences: Was du benötigst extrahieren

Klammern in Regex machen mehr, als nur Alternativen zu gruppieren – sie erfassen den übereinstimmenden Text für die spätere Verwendung. Hier geht Regex von "Muster finden" zu "Daten extrahieren und transformieren" über. Ich benutze Erfassungsgruppen in wahrscheinlich 60 % meiner Regex-Arbeit.

Angenommen, du hast Daten im Format "2024-03-15" und musst sie in "03/15/2024" umwandeln. Das Muster (\d{4})-(\d{2})-(\d{2}) erstellt drei Erfassungsgruppen. In den meisten Programmiersprachen kannst du auf diese Erfassungen verweisen: Gruppe 1 ist das Jahr, Gruppe 2 ist der Monat, Gruppe 3 ist der Tag. Du kannst sie dann neu anordnen: $2/$3/$1 im Ersetzungsstring gibt dir das neue Format.

Ich habe kürzlich diese Technik verwendet, um 18.000 Produktbeschreibungen zu verarbeiten, die umformatiert werden mussten. Das ursprüngliche Format war "Produktname (SKU: 12345) - $99.99" und wir benötigten "12345 | Produktname | $99.99". Das Muster (.+?) \(SKU: (\d+)\) - (\$[\d.]+) erfasste die drei Komponenten, und die Ersetzung $2 | $1 | $3 ordnete sie neu. Gesamtzeit: etwa 90 Sekunden zum Schreiben und Testen des Regex, 2,3 Sekunden, um alle Datensätze zu verarbeiten.

Nicht-erfassende Gruppen sind nützlich, wenn du Gruppierungen für Alternation oder Quantifizierer benötigst, aber den Text nicht erfassen möchtest. Verwende (?:...) anstelle von (...). Zum Beispiel entspricht (?:Herr|Frau|Frau)\. ([A-Z][a-z]+) Titeln, erfasst jedoch nur den Namen. Dies hält deine Erfassungsgruppen sinnvoll nummeriert und kann die Leistung bei großen Datensätzen geringfügig verbessern.

Backreferences erlauben es dir, denselben Text, der früher im Muster erfasst wurde, abzugleichen. Die Syntax ist <