그램머리와 무료 대안: 30일간의 비교 테스트
나는 50개의 문서 — 블로그 게시물, 학술 논문, 이메일, 픽션 —을 그램머리와 4개의 무료 대안을 통해 검토했다. 나는 모든 제안을 추적했다: 맞은 것, 틀린 것, 놓친 것, 스타일적 요소. 내가 발견한 것은 나를 놀라게 했고, 아마도 당신에게 연간 144달러를 절약할 것이다. 누구도 문법 검사기에 대해 말하지 않는 것이 있다: 그들은 단순히 오타를 잡는 것이 아니다. 그들은 당신의 음성, 청중, 의도에 대한 판단을 내리고 있다. 그리고 당신이 그램머리 프리미엄에 월 12달러를 지불할 때, 당신은 그 판단이 무료 도구보다 낫다고 가정한다. 때때로 그렇기도 하다. 그러나 종종 그렇지 않다. 나는 프리랜서 편집자다. 나는 박사 과정 학생부터 마케팅 에이전시, "결코"를 제대로 쓸 수 없는 소설가에 이르기까지 다양한 사람들과 일해왔다. 수년간 나는 그램머리 프리미엄을 사용했고 별다른 의심 없이 고객에게 추천했다. 그러다 한 고객이 나에게 물었다: "정말 가치가 있나요? 실제로 무엇을 지불하고 있는 건가요?" 나는 좋은 대답이 없었다. 그래서 테스트를 설계했다.설정: 50개의 실제 문서에서 5개의 도구를 테스트한 방법
나는 지난 6개월간의 실제 편집 작업에서 50개의 문서를 수집했다. 나는 고객의 이름과 민감한 정보를 제거했지만, 오류, 어색한 표현, 수동태, 쉼표 오류 등 모든 것을 그대로 유지했다. 문서 유형은 다음과 같이 나뉜다: - 15개의 블로그 게시물 (각 800-2000 단어) - 10개의 학술 논문 (논문 및 저널 제출의 일부) - 12개의 비즈니스 이메일 (내부 및 고객 발신) - 8개의 픽션 발췌 (단편 소설 및 소설 장) - 5개의 기술 문서 (사용자 가이드 및 API 문서) 각 문서를 5개의 도구로 실행했다: 1. 그램머리 프리미엄 (월 12달러) 2. 언어 도구 (무료 버전) 3. 프로라이팅 에이드 (무료 버전, 500단어 제한) 4. 헤밍웨이 에디터 (무료 웹 버전) 5. Microsoft Word의 내장 검사기 (Office 365에 포함) 각 도구의 각 제안에 대해, 나는 다음을 기록했다: - 그것이 맞았는지 - 그것이 틀렸는지 - 스타일 선호였는지 (주관적) - 다른 도구들이 놓친 것을 잡았는지 - 제안을 검토하는 데 걸린 시간 나는 30일 동안 매일 2-3시간을 보냈다. 나는 3,847개의 개별 제안을 기록했다. 나는 너무 많은 커피를 마셨다. 내 파트너는 내가 괜찮냐고 물었다. 나는 괜찮지 않았지만, 데이터는 있었다.모든 것을 바꾼 문서
12일째에 나는 지속 가능한 패션에 대한 블로그 게시물을 모든 도구를 통해 돌렸다. 그것은 1,200단어였고, 비영어 사용자인 고객이 쓴 글이었다. 그녀는 환경 과학에서 박사 학위를 소지하고 있었다. 그녀의 글은 기술적으로 맞았지만 딱딱했다. 그녀는 더 대화식으로 들리기를 원했다. 그램머리 프리미엄은 47개의 문제를 지적했다. 언어 도구는 23개를, 헤밍웨이는 31개를, 워드는 18개를, 프로라이팅 에이드는 52개를 지적했다 (그러나 나는 500단어 청크로만 확인할 수 있었기 때문에 불편했다). 무슨 일이 일어났는지 보자: 그램머리는 "패스트 패션의 환경적 영향"을 "패스트 패션의 환경적 영향"으로 변경하고 싶어 했다. 기술적으로 더 명확하긴 했다. 그러나 리듬을 깨뜨렸다. 문장을 더 길고 관료적으로 만들었다. 언어 도구는 그것을 지적하지 않았다. 헤밍웨이는 지적하지 않았다. 워드는 지적하지 않았다. 그리고 이 문장에 도달했다: "이 산업은 매년 920만 톤의 폐기물을 생산하는데, 그 중 많은 부분이 매립지나 소각장에 처분된다." 그램머리는 "많은 부분"을 "대부분"으로 바꾸라고 제안했다. 그러나 고객의 출처는 "많은"이라고 말했으며 — 그것은 대부분이 아닌 상당한 부분이었다. 그램머리는 데이터가 뒷받침한 것보다 주장을 더 강하게 만들었다. 언어 도구는 그램머리가 놓친 실제 오류를 잡았다: "섬유 생산에 사용되는 염료는 종종 중금속을 포함하고 있다." 주어-동사 불일치. "염료"는 복수형, "포함하다"는 단수형이다. "포함하다"가 되어야 한다. 이것이 내가 깨달은 순간이었다: 그램머리 프리미엄이 반드시 더 나은 것은 아니었다. 단지 더 공격적이었다. 더 많은 제안을 했지만, 그것이 더 나은 제안이란 의미는 아니었다.숫자: 3,847개의 제안이 나에게 가르쳐준 것
다음은 50개의 문서에서 모든 제안의 분포이다:| 도구 | 총 제안 수 | 정확히 잡아낸 것 | 잘못된 양성 | 스타일 선호 | 고유한 포착 |
|---|---|---|---|---|---|
| 그램머리 프리미엄 | 1,247 | 891 (71%) | 143 (11%) | 213 (17%) | 67 |
| 언어 도구 | 876 | 734 (84%) | 67 (8%) | 75 (9%) | 52 |
| 프로라이팅 에이드 | 1,089 | 723 (66%) | 201 (18%) | 165 (15%) | 41 |
| 헤밍웨이 | 543 | 312 (57%) | 89 (16%) | 142 (26%) | 28 |
| Microsoft Word | 92 | 78 (85%) | 8 (9%) | 6 (7%) | 3 |
데이터가 보여주지 않는 것 (그러나 보여야 할 것)
숫자는 하나의 이야기를 말한다. 이 도구들을 매일 30일 동안 사용하면서는 또 다른 이야기를 들었다."최고의 문법 검사기는 당신이 실제로 지속적으로 사용할 수 있는 것이다. 나는 세 번째 주에 그램머리의 제안을 무시하게 되었는데, 내가 무시해야 할 제안을 배우게 되었기 때문이다. 언어 도구와 함께 나는 더 많은 신뢰를 가지게 되었고, 그래서 더 신중하게 제안을 검토했다."이것이 누구도 이야기하지 않는 숨겨진 비용이다: 제안 피로도. 도구가 1,200단어 문서에서 47개의 문제를 지적하면, 당신은 읽기를 스킴하기 시작한다. 각 제안을 신중하게 읽지 않게 된다. 당신은 패턴을 개발한다: "아, 또다시 수동태에 대해 불평하고 있군, 무시해." "또 다른 쉼표 제안, 무시해." "장황함 주의, 무시해." 당신은 프리미엄을 지불하고 있지만, 너무 많은 제안이 있기 때문에 절반도 사용하지 않고 있다. 언어 도구는 적은 문제를 지적했지만, 나는 그것들을 더 진지하게 받아들였다. 신호 대 잡음 비율이 더 좋았다. 무언가 잘못되었다고 말할 때, 보통은 맞았다. 또한 데이터가 보여주지 않는 것이 있다: 맥락 전환 비용. 프로라이팅 에이드의 무료 버전은 500단어 제한이 있다. 1,200단어 블로그 게시물의 경우, 나는 다음을 해야 했다: 1. 처음 500단어 복사 2. 프로라이팅 에이드에 붙여넣기 3. 제안 검토 4. 다음 500단어 복사 5. 프로라이팅 에이드에 붙여넣기 6. 제안 검토 7. 마지막 200단어 복사 8. 프로라이팅 에이드에 붙여넣기 9. 제안 검토 이것은 그램머리나 언어 도구를 사용하는 것보다 3배 더 오래 걸렸다. 500단어 제한 때문에 프로라이팅 에이드의 무료 버전은 이메일보다 긴 작업에는 거의 사용할 수 없다. 헤밍웨이 에디터는 작업을 저장하지 않는다. 계정 시스템이 없는 웹 앱이다. 브라우저를 닫을 때마다 모든 것을 잃는다. 나는 내 수정 사항과 함께 별도의 문서를 유지해야 했다. 이는 문서당 5-10분을 추가했다. 이러한 마찰 비용은 중요하다. 10% 더 나은 도구이지만 50% 더 오래 걸린다면 실제로는 더 나은 것이 아니다.
"프리미엄" 기능의 신화
그램머리 프리미엄은 연간 144달러이다. 그 돈으로 무엇을 얻을 수 있을까? 그램머리의 마케팅에 따르면: - 고급 문법 및 구두점 검사 - 어휘 향상 제안 - 장르별 작문 스타일 검사 - 표절 감지 - 톤 조정 내가 발견한 것을 말해주겠다. 고급 문법 검사: 언어 도구의 무료 버전은 그램머리가 놓친 52개의 고유한 오류를 잡았다. 그램머리는 언어 도구가 놓친 67개의 고유한 오류를 잡았다. 차이는 있지만 압도적이지 않다. 프리미엄으로 문법 검사 품질이 극적으로 향상되지 않는다. 어휘 향상: 이 부분에서 그램머리는 빛을 발한다. 50개의 문서에서 156번 더 나은 단어 선택을 제안했고, 나는 그 중 약 60%를 수용했다. 언어 도구는 이를 거의 하지 않는다. 그러나: 유의어 사전이나 동료에게 물어보면 유사한 제안을 받을 수 있다. 이는 유용하지만 필수적인 것은 아니다. 장르별 스타일 검사: 나는 이것을 학술 논문으로 테스트했다. 그램머리에는 "학술" 모드가 있다. 수동태를 일부 잡고 더 격식 있는 대안을 제안했다. 그러나 완전히 수용 가능한 학술적 표현을 더 캐주얼한 것으로 바꾸고 싶어했다. 장르 감지는 학문적 관행을 이해할 만큼 정교하지 않다. 생물학 논문과 철학 논문은 서로 다른 스타일 규범을 가지며, 그램머리는 이를 동일하게 취급한다. 표절 감지: 나는 표절된 문서의 비문 체를 가지고 있지 않기 때문에 이를 광범위하게 테스트하지 않았다. 그러나 일부러 위키백과에서 복사한 몇 개의 단락을 실행해보았다. 그램머리는 이를 감지했다. 무료 구글 검색도 마찬가지였다. 표절 감지는 교사와 편집자에게 매우 유용하지만 대부분의 작가에게는 필요하지 않다. 톤 조정: 이것은 그램머리의 새로운 기능이다. 당신의 글이 자신감, 친근함, 격식 등을 나타내는지 알려준다. 나는 그것이 매우 불일치하다는 것을 발견했다. 같은 단락이 하루는 "자신감 있는"으로 레이블되고 다음 날은 사소한 수정 후 "불확실한"으로 바뀐다. 쓸모가 없지는 않지만 연간 144달러의 가치가 있는 것도 아니다."프리미엄 기능은 비용이 많이 드는 오류가 발생할 수 있는 전문적인 맥락에서 글을 작성할 때 가장 가치가 있다 — 고객 제안, 학술 제출, 게재된 기사. 블로그 게시물, 이메일, 캐주얼 작문에는 무료 도구로 충분하다."