Regular Expressions: A Practical Tutorial — txt1.ai

Saya masih ingat hari ketika saya menghabiskan enam jam membersihkan dataset alamat email pelanggan sebanyak 50.000 secara manual. Itu adalah tahun 2012, saya adalah seorang analis data junior di perusahaan e-commerce menengah, dan saya tidak mengetahui tentang ekspresi reguler. Saya menyalin, menempel, mencari, mengganti, dan mengutuk sepanjang spreadsheet demi spreadsheet. Manajer saya lewat sekitar jam keempat dan bertanya apa yang saya lakukan. Ketika saya menjelaskan, dia tertawa—tidak dengan cara yang jahat—dan berkata, "Anda tahu regex bisa melakukan itu dalam waktu sekitar tiga puluh detik, kan?"

Moment itu mengubah karir saya. Dua belas tahun kemudian, sebagai seorang insinyur data senior yang telah memproses miliaran catatan di bidang kesehatan, keuangan, dan perusahaan teknologi, saya dapat dengan percaya diri mengatakan bahwa ekspresi reguler adalah keterampilan yang paling diremehkan dalam pekerjaan data. Mereka tidak terlihat menarik. Mereka tidak menjadi berita utama seperti pembelajaran mesin atau blockchain. Tetapi mereka adalah perbedaan antara menghabiskan sore Anda pada pekerjaan manual yang membosankan dan menghabiskannya untuk memecahkan masalah yang sebenarnya.

Tutorial ini bukan tentang menghafal sintaks yang tidak jelas atau menjadi penyihir regex dalam semalam. Ini tentang memahami pola praktis yang akan menghemat jam Anda setiap minggu. Saya akan menunjukkan kepada Anda ekspresi tepat yang sering saya gunakan, menjelaskan mengapa mereka berfungsi, dan memberi Anda skenario nyata di mana mereka telah menyelamatkan proyek yang saya kerjakan. Pada akhir tutorial ini, Anda akan memiliki toolkit yang membuat Anda jauh lebih efisien dalam pemrosesan teks, pembersihan data, dan validasi.

Apa Itu Ekspresi Reguler Sebenarnya (Dan Mengapa Anda Harus Peduli)

Ekspresi reguler—regex untuk singkatnya—adalah pola yang menggambarkan teks. Anggaplah mereka sebagai bahasa pencarian yang jauh lebih kuat daripada fungsi "cari" sederhana di editor teks Anda. Alih-alih mencari kecocokan yang tepat seperti "[email protected]", Anda bisa mencari pola seperti "apa pun yang terlihat seperti alamat email."

Inilah mengapa ini penting dalam hal praktis: Dalam peran saya saat ini, saya secara teratur bekerja dengan file log yang berisi jutaan entri. Bulan lalu, saya perlu mengekstrak semua alamat IP dari log server 2,3 GB untuk menganalisis pola lalu lintas. Tanpa regex, saya harus menulis parser khusus, mungkin 50-100 baris kode, dengan penanganan kasus tepi yang hati-hati. Dengan regex, itu satu baris: \b\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}\b. Waktu eksekusi: 4,7 detik.

Dampak bisnisnya nyata. Seorang rekan di perusahaan layanan keuangan pernah memberi tahu saya bahwa mereka secara manual meninjau deskripsi transaksi untuk mengkategorikan pengeluaran—sekitar 200 transaksi per hari, memakan waktu sekitar 45 menit. Saya membantu mereka menulis tiga pola regex yang mengotomatiskan 87% dari pengkategorian tersebut. Itu menghemat 39 menit setiap hari, atau sekitar 140 jam per tahun untuk satu orang. Kalikan itu di seluruh tim, dan Anda berbicara tentang uang yang nyata.

Ekspresi reguler bekerja di hampir setiap bahasa pemrograman dan banyak alat yang sudah Anda gunakan. Python, JavaScript, Java, C#, Ruby, PHP—semuanya memiliki dukungan regex. Bahkan Excel memiliki fungsi regex terbatas melalui fungsi terbarunya. Editor teks seperti VS Code, Sublime Text, dan Vim menggunakan regex untuk mencari dan mengganti. Alat baris perintah seperti grep, sed, dan awk dibangun di sekitar regex. Pelajari sekali, gunakan di mana saja.

Kemiringan belajar memang ada, saya tidak akan berbohong. Sintaks regex terlihat menakutkan pada pandangan pertama. Tetapi inilah yang telah saya pelajari dengan melatih puluhan insinyur junior: Anda tidak perlu menguasai segalanya. Sekitar 80% dari pekerjaan regex praktis menggunakan mungkin 20% dari fitur yang tersedia. Fokus pada pola inti tersebut, dan Anda akan menangani sebagian besar skenario dunia nyata.

Blok Bangunan: Karakter, Kuantor, dan Kelas Karakter

Mari kita mulai dengan dasar-dasar. Dalam regex, sebagian besar karakter cocok dengan dirinya sendiri secara harfiah. Pola cat mencocokkan kata "cat" dalam teks. Cukup sederhana. Tetapi regex menjadi kuat ketika Anda menggunakan karakter khusus yang mencocokkan pola daripada teks harfiah.

"Ekspresi reguler adalah perbedaan antara menghabiskan enam jam untuk pembersihan data manual dan menghabiskan tiga puluh detik menulis pola yang melakukannya dengan sempurna setiap kali."

Titik (.) adalah karakter khusus pertama Anda. Itu mencocokkan setiap karakter tunggal kecuali newline. Jadi c.t mencocokkan "cat", "cot", "cut", dan bahkan "c9t". Saya menggunakan ini secara konstan ketika saya tahu struktur data tetapi tidak tahu isi eksaknya. Misalnya, saat mem-parsing kode produk yang mengikuti pola seperti "AB-1234-XY", saya mungkin menggunakan ..-.{4}-.. untuk mencocokkan kode apa pun dengan struktur tersebut.

Kuantor memberi tahu regex berapa kali sesuatu harus muncul. Asterisk (*) berarti "nol atau lebih kali", plus (+) berarti "satu atau lebih kali", dan tanda tanya (?) berarti "nol atau satu kali". Inilah contoh praktis: Saya pernah perlu membersihkan nomor telepon yang datang dalam berbagai format—beberapa dengan tanda kurung, beberapa dengan tanda hubung, beberapa dengan spasi. Pola \(?\d{3}\)?[-.\s]?\d{3}[-.\s]?\d{4} menangani semua variasi. Tanda tanya membuat tanda kurung dan pemisah menjadi opsional.

Kelas karakter memungkinkan Anda mencocokkan himpunan karakter tertentu. Kurung siku mendefinisikan kelas: [aeiou] mencocokkan setiap vokal. Anda dapat menggunakan rentang: [a-z] mencocokkan setiap huruf kecil, [0-9] mencocokkan setiap digit. Saya menggunakan [A-Za-z0-9] secara konstan untuk validasi alfanumerik. Ada juga kelas singkatan: \d untuk digit, \w untuk karakter kata (huruf, digit, garis bawah), dan \s untuk whitespace.

Inilah skenario nyata dari tahun lalu: Saya sedang memproses tanggapan survei di mana orang memasukkan usia dalam format yang sangat tidak konsisten—"25", "25 tahun", "25 tahun tua", "dua puluh lima", dan lain-lain. Untuk entri numerik, \d{1,3}\s*(years?|yrs?)? menangkap sebagian besar variasi. \d{1,3} mencocokkan satu hingga tiga digit, \s* mencocokkan whitespace opsional, dan tanda kurung dengan pipa (|) menciptakan grup opsional yang mencocokkan "tahun", "tahun", "th", atau "thn".

Jangkar sangat penting untuk pencocokan yang tepat. Tanda caret (^) mencocokkan awal baris, dan tanda dolar ($) mencocokkan akhir. Tanpa jangkar, \d{3} akan mencocokkan "123" di mana saja dalam "abc123def". Dengan jangkar, ^\d{3}$ hanya mencocokkan jika seluruh baris tepat terdiri dari tiga digit. Saya belajar ini dengan cara yang sulit saat memvalidasi input pengguna—tanpa jangkar, validator "kode tiga digit" saya menerima "abc123def456" karena menemukan tiga digit di suatu tempat di sana.

Kelompok Penangkapan dan Referensi Balik: Mengambil Apa yang Anda Butuhkan

Tanda kurung dalam regex melakukan lebih dari sekadar mengelompokkan alternatif—mereka menangkap teks yang cocok untuk digunakan nanti. Inilah di mana regex beralih dari "mencari pola" ke "mengekstrak dan mengubah data." Saya menggunakan kelompok penangkapan dalam hampir 60% pekerjaan regex saya.

Misalkan Anda memiliki tanggal dalam format "2024-03-15" dan perlu mengubahnya menjadi "03/15/2024". Pola (\d{4})-(\d{2})-(\d{2}) membuat tiga kelompok penangkapan. Di sebagian besar bahasa pemrograman, Anda dapat merujuk ke tangkapan ini: grup 1 adalah tahun, grup 2 adalah bulan, grup 3 adalah hari. Anda kemudian dapat mengatur ulang mereka: $2/$3/$1 dalam string pengganti memberi Anda format baru.

Saya baru-baru ini menggunakan teknik ini untuk memproses 18.000 deskripsi produk yang perlu diformat ulang. Format asli adalah "NamaProduk (SKU: 12345) - $99.99" dan kami membutuhkannya sebagai "12345 | NamaProduk | $99.99". Pola (.+?) \(SKU: (\d+)\) - (\$[\d.]+) menangkap tiga komponen, dan penggantian $2 | $1 | $3 mengaturnya kembali. Total waktu: sekitar 90 detik untuk menulis dan menguji regex, 2,3 detik untuk memproses semua catatan.

Kelompok non-penangkapan berguna ketika Anda memerlukan pengelompokan untuk alternatif atau kuantor tetapi tidak ingin menangkap teks. Gunakan (?:...) sebagai ganti (...). Misalnya, (?:Mr|Ms|Mrs)\. ([A-Z][a-z]+) mencocokkan gelar tetapi hanya menangkap nama. Ini menjaga agar kelompok tangkapan Anda dinomori dengan wajar dan dapat sedikit meningkatkan kinerja pada dataset besar.

Referensi balik memungkinkan Anda mencocokkan teks yang sama yang ditangkap sebelumnya dalam pola. Sintaksnya adalah \1, di mana angka menunjukkan kelompok yang ingin Anda rujuk kembali.