語彙多様性計算ツール
段落、セクション、または下書き全体を貼り付けて「計算」を押してください。総単語数、ユニーク単語数、タイプ・トークン比（TTR）とルートTTR、そして最もよく繰り返される単語の表が得られます。下のガイドでは、各スコアの意味と、長さの近いテキスト同士だけを比べるべき理由を説明します。無料で、登録は不要です。テキストはアップロードされません。
語彙多様性計算ツールの使い方
- テキストを貼り付けます。 可能であれば数百語以上を使ってください。非常に短いテキストは、自動的に高いスコアが出やすくなります。
- 「計算」を押します。 結果は入力中には更新されないため、編集後はもう一度ボタンを押してください。
- 4つのスコアを確認します。 総単語数、ユニーク単語数、パーセントで表したTTR、そしてルートTTRです。
- 判定と繰り返し単語を見ます。 スコアの後に平易な判定が表示され、表には2回以上現れる単語が最大10語並びます。
各スコアの意味
語彙多様性とは、テキストで使われている語彙がどれほど多彩かを示す指標です。最も単純な指標がタイプ・トークン比（TTR）で、異なる単語の数（タイプ）を総単語数（トークン）で割って求めます。
- TTR = ユニーク単語数 ÷ 総単語数。ほぼ0（同じ少数の単語の繰り返し）から1までの値をとり、ここではパーセントで表示します。
- ルートTTR = ユニーク単語数 ÷ √（総単語数）。ギロー指数とも呼ばれます。テキストが長くなっても急には下がらないため、長さの差が中程度の場合はより公平な比較になります。
このツールは平易な判定を示します。40%未満は多様性が低く、40%以上60%未満は一般的、60%以上は多様性が高い、という区分です。これらは数百語程度の文章のための目安です。20語の文や50,000語の論文には当てはまりません。
具体例
次の56語の段落を貼り付けてみてください。Sleep consolidates memory. During deep sleep the brain replays the day's events, strengthening connections that matter and pruning those that do not. Students who sleep well tend to remember more of what they studied, and they solve problems faster. Skipping sleep to study longer often backfires, because the facts that were crammed are never stored properly. ユニーク単語は46語なので、TTRは82.1%、ルートTTRは6.15となり、ツールは多様性が高いと判定します。最もよく使われる単語はsleepで、4回使われています。
同じ段落をもう一度貼り付けてみてください。新しい内容は加わりませんが、テキストは112語になり、ユニーク単語は依然として46語のままです。TTRは41.1%、ルートTTRは4.35に下がります。同じ文章でも、多様性は約半分と評価されます。繰り返しによってスコアが下がること、そして長さだけでもスコアが下がることがわかります。
長さがTTRを歪める理由
どのテキストも the、of、and のような一般的な単語を再利用します。テキストが長くなるほど再利用される単語の割合が増えるため、書き手の語彙に関係なくTTRは下がります。同じ著者による100語の見本と1,000語の見本は、同じTTRにはなりません。比較は、長さが近いテキスト同士、できれば同じ語数に切り揃えたもの同士で行ってください。
研究では、この影響を抑えるよう設計された指標、例えばMTLDやHD-Dが使われます（McCarthy and Jarvis, 2010, Behavior Research Methods を参照）。このツールはそれらを計算しません。推敲や大まかな比較には使えますが、研究水準の指標としては使わないでください。
単語のカウント方法
テキストは小文字に変換され、文字と数字の連続に分割されます。単語内のアポストロフィは残るため、don't は1語として数えられます（ストレート型でも、多くのワープロが生成するカール型でも同じです）。アクセント付きの文字は文字として扱うため、café は1語です。数字も単語として数えます。ハイフンは単語を分けるため、well-known は2語として数えられます。語形の統合（レンマ化）は行いません。walk、walks、walked は3つの異なる単語です。
どのツールが必要ですか？
| やりたいこと | 使うツール |
|---|---|
| テキストの多様性スコアを1つ知りたい | このページ |
| すべての単語を出現回数順に並べたい | 単語頻度カウンター |
| 近くで繰り返されている単語を確認したい | Word Repetition Checker |
| 用語ごとの密度（％）を知りたい | キーワード密度 |
| 異なる単語を一覧にしたい | ユニーク単語抽出ツール |
よくある質問
- 語彙多様性とは何ですか？
- テキスト全体の単語数に対して、どれだけ多くの異なる単語が使われているかを示す指標です。ユニーク単語の数を総単語数と比べて測ります。作文指導、言語能力の評価、コーパス研究で使われます。
- 良いタイプ・トークン比とはどのくらいですか？
- 普遍的な目標値はありません。数百語の明快な説明文では40%から60%が一般的で、このツールもそれを一般的な多様性と判定します。短いテキストほど高いスコアが出やすく、長いテキストほど低くなりやすいため、同じ長さのテキスト同士で比べてください。
- ルートTTRとは何ですか？
- ルートTTR（ギロー指数）は、ユニーク単語数を総単語数の平方根で割った値です。テキストが長くなるとプレーンなTTRが下がる傾向を弱めますが、完全に取り除くことはできません。
- 文章を長くすると、スコアが下がるのはなぜですか？
- 長いテキストほど単語を再利用するからです。TTRは新しい単語が占める割合を測るもので、その割合はテキストが長くなるほど小さくなります。語彙が貧弱になったという意味ではありません。
- ストップワードを除外したり、単語の活用形をまとめたりしますか？
- いいえ。the や of を含むすべての単語を数え、walk と walked のようにつづりが違う単語は別々に扱います。TTRを報告する際には、すべての単語を数えるのが一般的な方法です。
- 文章の多様性を高めるにはどうすればよいですか？
- 最もよく繰り返されている単語の表を確認してください。理由なく繰り返されている単語は、言い換えるか文を書き直してください。ただし、専門用語を類語に置き換えるのは避けてください。重要な用語を繰り返すことは、読者の理解を助けることが多いからです。
- テキストはどこかにアップロードされますか？
- いいえ。スコアはブラウザ内で計算され、テキストがどこかに送信されることはありません。