設定：50の実際の文書で5つのツールをテストした方法
私は過去6ヶ月の実際の編集作業から50の文書を集めました。クライアントの名前や機密情報は取り除きましたが、エラー、ぎこちない表現、受動態、コンマスプライス、全ての混乱はそのままにしました。 文書の種類は次のように分かれました： - 15のブログ投稿（それぞれ800-2000語） - 10の学術論文（論文やジャーナル提出のセクション） - 12のビジネスメール（内部およびクライアント向け） - 8のフィクションの抜粋（短編小説と小説の章） - 5つの技術文書（ユーザーガイドとAPIドキュメント） 私は各文書を5つのツールで処理しました： 1. Grammarly Premium（$12/月） 2. LanguageTool（無料版） 3. ProWritingAid（無料版、500語制限） 4. Hemingway Editor（無料ウェブ版） 5. Microsoft Wordの内蔵チェッカー（Office 365に含まれています） 各ツールからの提案について私は以下を記録しました： - 正しいかどうか - 間違っているかどうか - スタイルの好み（主観的） - 他のツールが見逃した何かを捕まえたか - 提案をレビューするのにかかった時間 私は30日間、毎日2-3時間を費やしました。個別の提案を3,847件記録しました。私はコーヒーを飲みすぎました。私のパートナーは私が大丈夫かどうか尋ねました。私は大丈夫ではありませんでしたが、データはありました。すべてを変えた文書
12日目に、持続可能なファッションに関するブログ投稿を5つのツールすべてにかけました。それは1,200語で、クライアントは英語が母国語ではありませんが環境科学のPhDを持っています。彼女の文章は技術的には正しかったですが、堅苦しいものでした。彼女はもっと会話調にしたいと考えていました。 Grammarly Premiumは47の問題を指摘しました。LanguageToolは23を指摘しました。Hemingwayは31を指摘しました。Wordは18を指摘しました。ProWritingAidは52を指摘しました（しかし、私は500語のチャンクでしかチェックできなかったため、面倒でした）。 以下が起きたことです：Grammarlyは「ファストファッションの環境への影響」を「ファストファッションの環境への影響」に変更したいと言いました。技術的には明確ですが、リズムを損ないました。文を長くして、官僚的にしました。 LanguageToolはそれを指摘しませんでした。Hemingwayも指摘しませんでした。Wordも指摘しませんでした。 そして、私はこの文にたどり着きました：「この業界は毎年9200万トンの廃棄物を生産し、その多くは埋立地や焼却炉に行き着きます。」 Grammarlyは「much of which」を「most of which」に変更することを提案しました。しかし、クライアントのソースは「much」と言っていました — それは「most」ではなく、重要な部分でした。Grammarlyはデータが支持している以上に主張を強めていました。 LanguageToolはGrammarlyが見逃した実際のエラーを捕まえました：「テキスタイル製造に使用される染料はしばしば重金属を含みます。」主語と動詞の不一致。「Dyes」は複数形で、「contains」は単数形です。正しくは「contain」です。 これが私が気づいた瞬間でした：Grammarly Premiumは必ずしも優れているわけではありません。ただ、より攻撃的でした。提案が多かったですが、それがより良い提案であるとは限りません。数字：3,847の提案が私に教えたこと
50の文書にわたるすべての提案の内訳は以下です：| ツール | 合計提案数 | 正しいキャッチ | 誤検出 | スタイルの好み | ユニークキャッチ |
|---|---|---|---|---|---|
| Grammarly Premium | 1,247 | 891 (71%) | 143 (11%) | 213 (17%) | 67 |
| LanguageTool | 876 | 734 (84%) | 67 (8%) | 75 (9%) | 52 |
| ProWritingAid | 1,089 | 723 (66%) | 201 (18%) | 165 (15%) | 41 |
| Hemingway | 543 | 312 (57%) | 89 (16%) | 142 (26%) | 28 |
| Microsoft Word | 92 | 78 (85%) | 8 (9%) | 6 (7%) | 3 |
データが示さないこと（しかし示すべきこと）
数字は一つの物語を語ります。これらのツールを毎日30日間使うことで別の物語が語られました。「最良の文法チェッカーは、実際に一貫して使用するものです。私は3週間目にGrammarlyの提案を無視するようになりました。なぜなら、無視すべきものを学んだからです。LanguageToolの場合、私は提案をもっと信頼したので、より慎重に取り組みました。」これが誰も話さない隠れたコストです：提案疲れです。 1,200語の文書で47の問題が指摘されると、あなたは読み飛ばし始めます。各提案を注意深く読むのをやめます。パターンを発展させます：「ああ、また受動態について文句を言っている、無視。」 「またコンマの提案、無視。」 「冗長警告、無視。」 プレミアムを支払っていますが、提案の半分を使用していません、なぜならそれが多すぎるからです。 LanguageToolは少ない問題を指摘しましたが、私はそれらをより真剣に受け止めました。信号対騒音比が良かったです。それが何か誤りだと言ったとき、たいてい間違いでした。 データが示さない別のことがあります：コンテキストスイッチングのコストです。 ProWritingAidの無料版には500語の制限があります。1,200語のブログ投稿の場合、私は以下をしなければなりませんでした： 1. 最初の500語をコピー 2. ProWritingAidに貼り付け 3. 提案をレビュー 4. 次の500語をコピー 5. ProWritingAidに貼り付け 6. 提案をレビュー 7. 最後の200語をコピー 8. ProWritingAidに貼り付け 9. 提案をレビュー これにはGrammarlyまたはLanguageToolを使用する3倍の時間がかかりました、これらはフルドキュメントを処理します。500語の制限により、ProWritingAidの無料版はメール以上のものにはほぼ使用できなくなっています。 Hemingway Editorは作業を保存しません。アカウントシステムのないウェブアプリです。ブラウザを閉じるたびに、すべてを失いました。私は編集を伴う別の文書を保持しなければなりませんでした。これにより、文書ごとに5-10分の追加時間がかかりました。 これらの摩擦コストは重要です。10%良くて、50%長くかかるツールは、実際には良くありません。
「プレミアム」機能の神話
Grammarly Premiumは年間$144です。それに対して何を得るのでしょうか？ Grammarlyのマーケティングによると： - 高度な文法と句読点チェック - 語彙拡張の提案 - ジャンル特有の文体チェック - 盗作検出 - 調子の調整 私が見つけたことをお伝えします。 高度な文法チェック：LanguageToolの無料版はGrammarlyが見逃した52のユニークなエラーを捕まえました。GrammarlyはLanguageToolが見逃した67のユニークなエラーを捕まえました。違いは実際のものですが、圧倒的ではありません。プレミアムで文法チェックが劇的に改善されているわけではありません。 語彙の拡張：ここがGrammarlyの強みです。50の文書にわたって156回、より良い語の選択を提案し、私はその約60%を受け入れました。LanguageToolはほとんどこれを行いません。しかし、あなたは類語辞典から似た提案を得ることや同僚に尋ねることができます。これは役に立ちますが、必須ではありません。 ジャンル特有のスタイルチェック：私は学術論文でこれをテストしました。Grammarlyには「学術」モードがあります。これは一部の受動態を捕まえ、より正式な代替案を提案しました。しかし、それはまた、完全に許可される学術的な表現をもっとカジュアルなものに変えようとしていました。ジャンル検出は学際的な慣習を理解するほど洗練されていません。生物学論文と哲学論文は異なるスタイルの規範を持ち、Grammarlyはそれらを同じように扱います。 盗作検出：私は盗作された文書のコーパスを持っていないため、この機能を広範囲にテストしませんでした。しかし、私は意図的にWikipediaからコピーしたいくつかの段落を実行しました。Grammarlyはそれらを捕まえました。無料のGoogle検索もそうです。盗作検出は教師や編集者には価値がありますが、ほとんどの作家には必要ありません。 調子の調整：これはGrammarlyの最新機能です。あなたの書き方が自信に満ちている、友好的である、公式であるなどを教えてくれます。私はこれが非常に不一致であると感じました。同じ段落は、ある日は「自信に満ちている」とラベリングされ、次の日は小さな修正の後に「不確か」となりました。これは無駄ではありませんが、年間$144の価値はありません。「プレミアム機能は、間違いが高くつくプロフェッショナルな文脈で書いている時に最も価値があります — クライアント提案、学術提出、出版された記事。ブログ投稿、メール、カジュアルな執筆の場合、無料のツールで十分です。」