AI Proofreader Tools Compared

지난 화요일, 우리 에이전시의 주니어 카피라이터가 "공공 관계" 대신 "음모 관계"라는 제목으로 고객 제안을 보낸 것을 보았습니다. 이 이메일은 포춘 500대 기업의 CMO에게 전송되었습니다. 이 오타는 우리에게 18만 달러의 계약을 잃게 했고, 제가 몇 년 전에 배워야 했던 것을 가르쳐 주었습니다: 출판 산업 연구에 따르면, 사람의 교정은 얼마나 조심스럽게 하더라도 약 15-20%의 오류율을 가지고 있습니다. 15년 동안 세 개 대륙에 걸쳐 팀을 관리한 콘텐츠 디렉터로서, 저는 드디어 AI 백업이 필요하다는 것을 받아들였습니다.

저는 사라 진이며, 2009년부터 콘텐츠 분야에서 일해왔습니다. 그 당시 "콘텐츠 마케팅"은 사람들이 컨퍼런스에서 설명해야 할 유행어였습니다. 저는 50단어의 소셜 게시물부터 10,000단어의 백서까지 모든 것을 편집했으며, 7개 시간대에서 작가들을 관리하고, 고객 대상 콘텐츠를 200만 단어 이상 검토했습니다. 저는 기술 혐오자가 아닙니다. 저는 Hemingway Editor와 Grammarly의 초기 사용자였지만, "AI 솔루션"이 과장되고 실망시키는 것을 충분히 목격하여 새로운 도구에 대해 건강한 회의론을 가지고 접근합니다.

이번 기사는 표면적인 기능 비교가 아닙니다. 실제 고객 작업에서 6주 동안 8개의 AI 교정 도구를 테스트한 사람의 현장 보고서입니다. 오류 탐지율, 허위 긍정 비율, 실제 절약된 시간을 추적했습니다. 각 도구에 50개의 동일한 문서—의도적으로 오류가 포함된 블로그 게시물, 정밀함이 필요한 법적 문서, 스타일이 중요한 창작 소설, 정확성이 비협상적인 기술 문서—을 제공했습니다. 제가 발견한 것들은 저를 놀라게 했고, 실망하게 했으며, 궁극적으로 우리 12인 팀 작업 방식을 변화시켰습니다.

전통적인 교정이 현대 콘텐츠 팀에 실패하는 이유

AI 도구에 뛰어들기 전에, 우리가 왜 그것들을 필요로 하는지에 대해 이야기합시다. 콘텐츠 볼륨 문제는 현실이며 점점 악화되고 있습니다. 2019년, 우리 에이전시는 매달 약 400개의 콘텐츠를 생산했습니다. 오늘날 그 숫자는 1,100입니다. 팀 규모는 겨우 3명이 증가했습니다. 수학이 성립하지 않습니다.

인간 교정자는 볼륨 압박 아래서 치명적인 인지적 한계를 가지고 있습니다. 셰필드 대학교의 연구에 따르면, 연속적으로 교정 작업을 수행하는 매 시간마다 오류 탐지율이 8% 감소합니다. 3시간 후에는 거의 1/4의 오류를 놓치게 됩니다. 저는 제 작업에서 이것을 경험해 보았습니다. 저는 2페이지에서 잘못된 쉼표를 잡아내지만, 12페이지에서는 완전히 주어-동사 불일치를 놓치는 경우가 있습니다. 뇌가 피곤해지기 때문입니다.

일관성 문제도 있습니다. 서로 다른 교정자가 스타일 규칙을 다르게 적용합니다. 제 팀의 한 사람은 옥스포드 쉼표를 종교적으로 고수하는 반면, 다른 한 사람은 그것이 불필요한 혼잡이라고 생각합니다. 한 명은 "이메일"을 선호하는 반면, 다른 한 명은 "e-메일"이라고 씁니다. 이러한 불일치는 고객이 느끼지 못하더라도 우리 콘텐츠의 패치워크 품질을 만들어냅니다.

비용 문제도 상당합니다. 전문 교정자는 시간당 25-50달러를 청구하며 복잡성에 따라 매 시간 약 2,000-3,000 단어를 처리할 수 있습니다. 우리가 매달 약 275,000단어를 생산하는 것을 감안할 때, 이는 90-140시간의 교정 시간 또는 월 2,250-7,000달러가 됩니다. AI 도구는 일반적으로 사용자당 월 10-30달러의 비용이 듭니다. AI 제안을 검토하는 데 소요되는 시간을 고려하더라도 경제성은 매우 매력적입니다.

하지만 저를 AI 쪽으로 강하게 밀어붙인 것은 2시 문제입니다. 콘텐츠는 비즈니스 시간을 존중하지 않습니다. 싱가포르의 한 작가가 그들의 시간으로 오후 11시에 작품을 마치고 (내 시간으로 오전 7시) 고객이 동부 표준시 기준으로 정오까지 게시해야 할 경우, 전통적인 교정 작업 흐름을 위한 시간이 없습니다. AI 도구는 24/7로 작동하여 프로젝트가 시간대에 구애받지 않고 향해 갈 수 있도록 즉각적인 피드백을 제공합니다.

테스트 방법론: 내가 실제로 이 도구들을 평가한 방법

저는 마케팅 페이지에서 기능을 나열하는 도구 리뷰에 지쳤습니다. 저는 실제 성능 데이터를 원했기 때문에 실제 작업 조건을 모방한 테스트 프로토콜을 만들었습니다. 제가 했던 작업은 다음과 같습니다.

"평균 콘텐츠 전문가는 여러 번의 리뷰 후에도 15-20%의 오류를 놓친다. 그들은 부주의하기 때문이 아니라, 인간의 주의력에는 AI가 공유하지 않는 생물학적 한계가 있기 때문이다."

저는 블로그 게시물(15개 문서, 각각 800-1,200 단어), 기술 문서(10개 문서, 1,500-2,500 단어), 창작 소설(10개 문서, 1,000-1,500 단어), 비즈니스 서신(10개 문서, 200-500 단어), 법률/준수 복사본(5개 문서, 1,000-2,000 단어) 등 5개의 범주에 걸쳐 50개의 테스트 문서를 수집했습니다. 각 문서에는 의도적으로 오류가 포함되어 있었습니다: 오타, 문법 오류, 구두점 오류, 스타일 불일치 및 필요한 경우 사실의 부정확성.

다섯 가지 주요 지표를 추적했습니다. 오류 탐지율은 각 도구가 잡은 오류의 비율을 측정했습니다. 허위 긍정율은 도구가 올바른 텍스트를 오류로 표시하는 빈도를 추적했습니다. 처리 속도는 각 도구가 문서를 분석하는 데 걸린 시간을 측정했습니다. 제안 품질은 추천이 실제로 텍스트를 개선했는지 아니면 새로운 문제를 일으켰는지 평가했습니다. 사용성은 인터페이스, 통합 옵션 및 학습 곡선을 점수화했습니다.

각 도구는 먼저 기본 구성에서 테스트한 후, 가능한 경우 맞춤형 설정으로 테스트했습니다. 동일한 하드웨어(2021 MacBook Pro, 16GB RAM, Chrome 브라우저)를 사용하고 비슷한 시간을 테스트하여 변수를 제어했습니다. 브라우저 확장 기능, 데스크탑 앱 및 웹 인터페이스가 있는 도구의 경우, 성능이 달라지는지를 확인하기 위해 모든 버전을 테스트했습니다.

또한 세 사람의 팀원—선임 작가, 주니어 카피라이터 및 비원어민 영어 사용자가 각 도구를 실제 작업에 대해 일주일 동안 사용하게 했습니다. 실제 사용성에 대한 피드백은 제 통제된 테스트보다 더 가치 있는 경우가 많았습니다. 예를 들어, 주니어 카피라이터는 특정 도구가 제안으로 압도적이라고 느끼는 반면, 선임 작가는 세밀한 제어를 선호했습니다.

마지막으로, 전통적인 교정과 AI 지원 교정이 동일한 문서에서 각각 얼마나 걸렸는지를 비교하여 시간 절약을 추적했습니다. 이는 단순한 도구 처리 시간만이 아닙니다. 오류 수용/거부 제안에 소요된 시간도 포함되었습니다. 많은 AI 도구가 효율성 이점을 잃는 부분입니다.

Grammarly: 대체로 명성을 얻는 산업 표준

Grammarly는 제 테스트 문서에서 87%의 오류를 잡아냈고, 이는 테스트한 모든 도구 중 두 번째로 높은 수치입니다. 더 중요한 것은, 허위 긍정율이 12%에 불과하여 대부분의 제안이 실제로 텍스트를 개선했다는 것입니다. 6주간 매일 사용한 후, 그것이 수백만 사용자들에게 기본 선택이 된 이유를 이해하게 되었습니다.

이 도구의 강점은 문맥 이해입니다. "데이터는 명확한 추세를 보여줍니다" 대 "데이터가 명확한 추세를 보여줍니다"라고 썼을 때, Grammarly는 두 가지 모두 "데이터"를 단수 또는 복수로 취급하는 방식에 따라 수용할 수 있는지 올바르게 식별하고, 이전 선택에 따라 제안을 조정했습니다. 이 학습 능력은 시간이 지남에 따라 짜증나는 허위 긍정을 줄여주었습니다.

Grammarly의 톤 감지기는 고객 대상 콘텐츠에서 놀라울 정도로 유용했습니다. 비즈니스 서신이 너무 캐주얼하게 들리거나 블로그 게시물이 지나치게 격식이 느껴질 때 플래그가 설정되었습니다. 의료 고객의 환자 교육 자료에서, 비전문 독자를 혼란스럽게 할 수 있는 의학 용어의 사용을 잡아냈습니다. Premium 버전의 표절 검사기는 계약자가 경쟁사 웹사이트에서 단락을 복사한 두 개의 사례를 발견하여—잠재적으로 심각한 법적 문제를 피할 수 있었습니다.