Regular Expressions: A Practical Guide (Not a Theoretical One)

三年前、私はジュニア開発者がCSVファイル内の50,000の顧客メールアドレスを手作業でクリーンアップするのに4時間を費やすのを見ました。コピー、ペースト、検索、置換、繰り返し。私が彼女に、全ての作業を0.3秒で行うことができる47文字の正規表現を見せたとき、彼女は私が実際に魔法を使ったかのように私を見ました。

私はサラ・チェンで、フィンテック企業でデータエンジニアとして8年間働いています。その間に、約23億のレコードを処理し、400以上のETLパイプラインを書き、不正なデータをあるだけデバッグしました。正規表現は私の武器の一部ではなく、午後5時に帰ることと真夜中まで残ることの違いです。

正規表現について誰も教えてくれないことがあります：理論的なチュートリアルは役に立たないということです。有限オートマトンや形式言語理論を理解する必要はありません。PDFから請求書番号を抽出し、ハッカーを通さずにユーザー入力を検証し、実際の人間が作成した乱雑なデータをクリーンアップする方法を知る必要があります。このガイドは、私が実際に使用する正規表現パターンについてのものであり、コンピュータサイエンスの教科書で印象的に見えるものではありません。

ほとんどの正規表現チュートリアルが失敗する理由

典型的な正規表現チュートリアルは「正規表現は検索パターンを定義する文字の列です。」という言葉から始まります。そして、文字「a」を一致させる方法を示します。ワクワクする内容です。

問題は、実際の正規表現の問題が教科書の例のようではないことです。先月、私は127の異なる銀行取引明細書のフォーマットから取引額を抽出する必要がありました。いくつかは千の区切りにカンマを使い、他はピリオドを使用していました。いくつかは数字の前に通貨記号があり、他は後ろにありました。いくつかにはスペースがあり、いくつかにはありませんでした。「\dを数字に使う」という理論的な知識は、同じデータセット内で「$1,234.56」、「1.234,56 EUR」、および「USD 1234.56」を眺めているときには役に立ちません。

私はこれまでに23人の開発者に正規表現を教えてきましたが、最も早く成功するのは、抽象的なパターンではなく、実際の問題から始める人たちです。ユーザーが考えうる形式で入力した10,000の電話番号を検証しようとしているとき、あなたはすぐに正規表現を学びます。「The cat sat on the mat」の中で「cat」と一致させるように求めるチュートリアルに従っていると、役に立つことは何も学びません。

もう一つの問題は、ほとんどのチュートリアルが正規表現を独立したスキルとして扱っていることです。実際には、正規表現は常にプログラミング言語に埋め込まれています—Python、JavaScript、Java、何でも。構文はわずかに異なり、パフォーマンス特性は大きく異なり、利用可能な機能も常に同じではありません。Pythonで美しく機能する正規表現は、Unicodeの扱いが異なるため、JavaScriptでは壮大に失敗するかもしれません。

だから、理論をスキップして、実際に重要なパターンに飛び込みましょう。これらは私が何百回も使用し、試行錯誤を経て洗練された正規表現の解決策であり、実際に数千時間の手作業を節約してくれました。

実際の問題の80％を解決する5つのパターン

私の経験では、5つの正規表現パターンが約80％の実用的な問題を扱います。これらを習得すれば、正規表現の各機能を暗記しても実データに適用したことのない人よりも生産性が高くなります。

"ジュニア開発者とシニア開発者の違いは、より多くのアルゴリズムを知っていることではなく、47文字の正規表現が4時間の手作業を置き換えることができることを知っていることです。"

パターン1: メール検証（実用的なバージョン）

誰もがメールを検証したいと思っています。RFC 5322準拠のメールアドレスに対する「正しい」正規表現は6,318文字の長さです。冗談ではありません。誰もそれを使いません、だって狂気の沙汰ですから。

私が使用するものは次の通りです：^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}$

それは理論的に有効なすべてのメールをキャッチしますか？いいえ。明らかにゴミを拒否しながら、99.7％の実際のメールをキャッチしますか？はい。生産環境では、このパターンで1400万件のメールアドレスを検証しましたが、誤検出率は0.003％です。三つの誤検出は「user@localhost」のようなメールで、そもそも顧客データベースには入らないべきものです。

パターン2: 電話番号抽出（検証ではなく）

電話番号を検証するのは愚かな試みです、なぜなら国際フォーマットはカオスだからです。しかし、テキストから電話番号を抽出するのは？それは役に立ちます。私のおすすめは：\b\d{3}[-.]?\d{3}[-.]?\d{4}\b

これにより、555-123-4567、555.123.4567、および5551234567のような米国の電話番号をキャッチします。顧客サポートチケットを処理するとき、このパターンは94％の精度で電話番号を抽出します。6％の見逃しは通常、国際番号または内線のある番号で、追加のパターンで処理します。

パターン3: 通貨額抽出

これを完成させるのに3年かかりました：\$?\s*\d{1,3}(,\d{3})*(\.\d{2})?

これにより、$1,234.56、1234.56、$1234、およびそのバリエーションを扱います。私はこれを毎月847百万ドルのトランザクションを処理する金融データパイプラインで使用しています。重要な洞察はオプショナルなグループです—実データは混乱しているので、あなたの正規表現は柔軟である必要があります。

パターン4: 日付抽出（複数フォーマット）

日付は悪夢です。文脈に応じて3つのパターンを使用します：\d{4}-\d{2}-\d{2}はISO日付用、\d{1,2}/\d{1,2}/\d{2,4}は米国の日付用、\d{1,2}\s+(?:Jan|Feb|Mar|Apr|May|Jun|Jul|Aug|Sep|Oct|Nov|Dec)[a-z]*\s+\d{4}は書かれた日付用です。これらを合わせることで、構造化されていないテキスト内の約89％の日付をキャッチします。

パターン5: URL抽出

シンプルだけど効果的：https?://[^\s]+

これは、50,000の文書にわたるテストで97％の精度でテキストからURLを取得します。はい、完璧ではありません—時々末尾の句読点をキャッチするかもしれませんが—それは速く、私が試したすべてのプログラミング言語で機能します。

誰も警告しないパフォーマンス罠

これは、私の会社に12,000ドルのコンピュートコストをかけた話です、私がそれを理解する前に。

私たちはデータパイプライン内でこの正規表現を実行していました：(a+)+b 文字列と一致させようとしているように見えます。無害に見えますよね？「aaaaaaaaab」でテストしたところ、うまくいきました。しかし、生産環境で「aaaaaaaaaaaaaaaaaaaaaaaaaaac」のような文字列に遭遇したとき、失敗するまでに47秒かかりました。一つの文字列に対して。

これは壊滅的なバックトラッキングと呼ばれ、正規表現のパフォーマンスの静かな殺人者です。正規表現エンジンは、パターンに一致するためのすべての可能な方法を試み、ネストされた数量子「(a+)+」のように、試行回数が指数関数的に増加します。20文字の文字列が数十億回のバックトラッキングを引き起こす可能性があります。

私はこれらのパターンを見つけるのを苦労して学びました。ネストされた数量子「(a+)+」、「(a*)*」、「(a+)*」がある場合はリスクがあります。かつて、(.*)*を.*に変更することで、マッチごとに23秒から0.002秒に正規表現を最適化しました。同じ結果で、11,500倍速くなりました。

私のルール：正規表現が合理的なサイズの入力で100ミリ秒以上かかる場合、何かが間違っています。ボトルネックを特定するために正規表現プロファイリングツールを使用しています。Pythonでは、reの代わりにregexモジュールを使用しています、なぜならそれはより良いパフォーマンス特性を持ち、いくつかの壊滅的なバックトラッキングのシナリオを検出できるからです。

別のパフォーマンスの教訓：アンカーはあなたの味方です。^と$を追加してパターンを文字列の開始と終了に固定することで、劇的に速度が向上することがあります。\d{3}-\d{3}-\d{4}のようなパターンは、一致を探すためにドキュメント全体をスキャンするかもしれません。^\d{3}-\d{3}-\d{4}$は一度確認して停止します。10,000行のログファイルでは、これにより処理時間が4.2秒から0.3秒に変わりました。

セキュリティ: 正規表現があなたのアプリケーションを破壊する方法

2019年、正規表現の脆弱性がCloudflareを27分間ダウンさせました。一つの悪意のある正規表現パターンが彼らのWAFルールの中でCPU使用率を100％に引き上げました。経済的影響は350万ドルと推定されました。

"実世界のデータはあなたの教科書の例など気にしません。127の異なる銀行取引明細書のフォーマットを処理しているとき、「\dを数字に使う」といった理論的な知識は真夜中にはあなたを救えません。"

正規表現がセキュリティ脆弱性を生み出す3つの主要な方法を見てきましたが、そのうちの2つには生産環境で個人的に対処しました。

ReDoS（正規表現サービス拒否）