When AI-Generated Code Helps (And When It Creates More Problems) \u2014 TXT1.ai

Insiden Produksi Pukul 3 Pagi yang Mengubah Cara Saya Memikirkan Kode AI

Saya Sarah Chen, dan saya telah menjadi insinyur utama di sebuah startup fintech Seri C selama delapan tahun terakhir. Sebelum itu, saya menghabiskan enam tahun di Google mengerjakan alat infrastruktur. Saya telah meninjau lebih dari 10.000 permintaan tarik dalam karier saya, membimbing 47 insinyur, dan memperbaiki lebih banyak insiden produksi daripada yang ingin saya hitung. Tapi tidak ada yang mempersiapkan saya untuk apa yang terjadi pada Selasa malam di bulan Maret 2024.

Pukul 3:17 pagi, sistem pemrosesan pembayaran kami mengalami gangguan. Parah. Kami kehilangan sekitar $12.000 per menit dalam volume transaksi. Insinyur on-call kami, seorang pengembang tingkat menengah berbakat bernama Marcus, telah mendorong sebuah "refactor sederhana" enam jam sebelumnya. Kode tersebut terlihat bersih, lulus semua pengujian, dan sebagian dihasilkan oleh asisten pengkodean AI. Masalahnya? AI telah memperkenalkan kondisi balapan yang halus di lapisan caching Redis kami yang hanya muncul di bawah pola beban tertentu yang belum kami uji.

Insiden tersebut menghabiskan biaya kami $340.000 dalam pendapatan yang hilang, merusak reputasi kami dengan tiga klien besar, dan memicu percakapan di seluruh perusahaan tentang kode yang dihasilkan AI yang masih saya hadapi hingga hari ini. Tapi: Saya bukan anti-AI. Faktanya, saya menggunakan alat pengkodean AI setiap hari. Pertanyaannya bukan apakah kode yang dihasilkan AI membantu atau merugikan—ini adalah memahami kapan tepatnya masing-masing terjadi, dan bagaimana membedakannya.

Artikel ini adalah upaya saya untuk berbagi apa yang telah saya pelajari dari mengelola tim yang menggunakan asisten pengkodean AI, dari melakukan post-mortem pada bug terkait AI, dan dari eksperimen saya sendiri dengan alat ini. Saya akan memberi Anda kebenaran yang tidak terdistorsi: skenario spesifik di mana kode AI bersinar, tanda-tanda merah yang menunjukkan masalah, dan kerangka kerja yang saya gunakan untuk memutuskan kapan harus mempercayai mesin dan kapan harus mempercayai insting saya.

Di Mana Kode AI Sebenarnya Memberikan: Titik Manis 80/20

Izinkan saya mulai dengan kabar baik, karena ada banyak kabar baik. Dalam 18 bulan terakhir, asisten pengkodean AI telah menghemat waktu pengembangan tim saya sekitar 847 jam. Itu bukan tebakan—saya benar-benar melacaknya. Kami mengukur waktu yang dihabiskan untuk kategori tugas tertentu sebelum dan setelah mengadopsi alat AI, mengontrol untuk pengalaman pengembang dan kompleksitas proyek.

"Kode yang dihasilkan AI yang paling berbahaya bukanlah kode yang jelas-jelas rusak—itu adalah kode yang terlihat sempurna, lulus semua tes, dan gagal di produksi dalam kondisi yang tidak pernah Anda pikirkan untuk disimulasikan."

Kemenangan terbesar datang dari apa yang saya sebut sebagai kode "volume tinggi, risiko rendah". Generasi boilerplate adalah contoh yang jelas. Ketika kami perlu menambahkan 23 endpoint API baru mengikuti pola REST yang ada, alat AI menghasilkan struktur awal dalam waktu sekitar 40 menit. Tanpa AI, itu akan memakan waktu seorang pengembang junior sekitar dua hari penuh, dan mereka akan bosan setengah mati menyalin dan menempel pola tersebut.

Generasi tes adalah area lain di mana AI secara konsisten memberikan nilai. Kami memiliki kebijakan bahwa setiap fitur baru perlu memiliki unit test dengan setidaknya 85% cakupan. Menulis tes itu penting tetapi membosankan. Alat AI dapat menghasilkan suite tes yang lengkap yang mencakup edge case yang mungkin tidak saya pikirkan segera. Untuk modul otentikasi terbaru, asisten AI kami menghasilkan 34 kasus tes dalam waktu sekitar 15 menit. Seorang manusia akan memerlukan 3-4 jam dan mungkin akan melewatkan beberapa kondisi batas yang dapat ditangkap oleh AI.

Kode transformasi data adalah titik manis ketiga. Kami sering perlu mengonversi data antara format—JSON ke XML, skema database ke respons API, format warisan ke format modern. Transformasi ini mengikuti pola yang jelas tetapi memerlukan perhatian yang cermat terhadap detail. AI unggul di sini karena aturannya eksplisit dan kebenarannya mudah diverifikasi. Kuartal lalu, kami menggunakan AI untuk menghasilkan 67 fungsi transformasi data yang berbeda, dan hanya 3 yang memerlukan modifikasi signifikan.

Dokumentasi mungkin merupakan manfaat yang paling diremehkan. Saya telah menemukan bahwa alat AI dapat menghasilkan komentar inline dan berkas README yang cukup baik ketika diberikan kode yang terstruktur dengan baik. Mereka sangat baik dalam menjelaskan apa yang dilakukan kode (meskipun kurang dapat diandalkan dalam menjelaskan mengapa). Untuk dokumentasi API internal kami, deskripsi yang dihasilkan AI mengurangi waktu dokumentasi kami sekitar 60% sambil benar-benar meningkatkan konsistensi di seluruh basis kode kami.

Pola di sini jelas: kode AI paling membantu ketika tugasnya terdefinisi dengan baik, mengikuti pola yang telah ditetapkan, memiliki kriteria kebenaran yang jelas, dan tidak memerlukan pengetahuan domain yang mendalam atau keputusan arsitektural. Tugas-tugas ini mewakili sekitar 30-40% dari pekerjaan pengembangan kami, yang cukup besar tetapi jauh dari segalanya.

Biaya Tersembunyi: Ketika Kode AI Menjadi Utang Teknis

Sekarang untuk percakapan yang lebih sulit. Insiden pukul 3 pagi yang saya sebutkan bukanlah kasus terisolasi. Dalam setahun terakhir, saya telah mengidentifikasi 14 bug produksi yang secara langsung dapat ditelusuri ke kode yang dihasilkan AI. Itu mungkin terdengar tidak banyak, tetapi ini bukan masalah sepele. Rata-rata waktu untuk mendeteksi bug ini adalah 11,3 hari, dan rata-rata waktu untuk memperbaikinya adalah 4,2 jam—jauh lebih lama dari waktu penyelesaian bug kami yang biasanya 1,8 jam.

Mengapa bug yang dihasilkan AI memerlukan waktu lebih lama untuk diperbaiki? Karena kode sering terlihat benar pada pandangan pertama. Ini mengikuti konvensi, menangani edge case yang jelas, dan lulus pengujian dasar. Masalahnya halus: asumsi yang salah tentang data invarian, kurangnya penanganan kesalahan untuk kondisi langka, atau karakteristik kinerja yang tidak dapat diskalakan. Ini adalah jenis masalah yang sulit untuk dilihat dalam tinjauan kode, terutama ketika tinjauan menganggap bahwa kode ditulis dengan cermat oleh manusia yang memahami konteks.

Saya telah memperhatikan pola tertentu dengan kode yang dihasilkan AI yang saya sebut "ketidaksahan yang dapat dibenarkan." Kode tersebut terbaca dengan baik, menggunakan fitur bahasa yang tepat, dan menunjukkan kesadaran tentang praktik terbaik. Namun, itu menyelesaikan masalah yang sedikit berbeda dari masalah yang sebenarnya Anda miliki. Misalnya, AI mungkin menghasilkan solusi caching yang berfungsi dengan baik untuk beban kerja yang banyak membaca tetapi menciptakan masalah kontensi dalam skenario yang banyak menulis. Kode tersebut tidak salah dalam arti absolut—ini salah untuk konteks spesifik Anda.

Biaya tersembunyi lainnya adalah apa yang saya sebut "utang pemahaman." Ketika seorang pengembang menggunakan AI untuk menghasilkan algoritma kompleks atau struktur data yang tidak mereka pahami sepenuhnya, mereka telah menciptakan tanggung jawab pemeliharaan. Enam bulan kemudian, ketika kode itu perlu dimodifikasi atau diperbaiki, tidak ada yang di tim yang benar-benar memahami cara kerjanya. Kami telah mengalami tiga insiden di mana para pengembang menghabiskan berjam-jam memperbaiki kode yang dihasilkan AI hanya untuk menyadari bahwa mereka perlu menulis ulang dari awal karena memahami kode yang dihasilkan tersebut lebih sulit daripada menulis kode baru.

Masalah yang paling berbahaya adalah kepercayaan diri yang berlebihan. Saya telah mengamati bahwa pengembang yang menggunakan asisten AI kadang-kadang melewatkan langkah-langkah dalam proses pengembangan normal mereka. Mereka mungkin tidak menulis tes dengan hati-hati, menganggap bahwa kode yang dihasilkan AI sudah benar. Mereka mungkin tidak mempertimbangkan edge case dengan teliti, percaya bahwa AI telah menangani mereka. Ini sangat berbahaya bagi pengembang junior yang belum mengembangkan naluri tinjauan kode yang kuat. Di tim kami, saya telah melihat peningkatan 23% dalam bug yang lolos dari tinjauan kode ketika alat AI terlibat, meskipun tingkat bug keseluruhan telah menurun.

Masalah Arsitektur: Mengapa AI Kesulitan dengan Desain Sistem

Berikut adalah sesuatu yang saya harap lebih banyak orang mengerti: asisten pengkodean AI secara fundamental lebih baik dalam taktik daripada strategi. Mereka dapat menulis fungsi dengan sangat baik, tetapi mereka kesulitan dengan keputusan arsitektur yang memerlukan pemahaman tentang trade-off di seluruh sistem.

"Asisten pengkodean AI seperti pengembang junior dengan ingatan fotografis tetapi tanpa pengalaman produksi. Mereka tahu setiap pola sintaks yang pernah ditulis, tetapi mereka tidak mengerti mengapa sistem Anda membangunkan Anda pada pukul 3 pagi."

Las