Калькулятор лексического разнообразия
Вставьте абзац, раздел или весь черновик и нажмите «Рассчитать». Вы получите количество слов, количество разных слов, соотношение типов и токенов (TTR) и корневой TTR, а также таблицу самых повторяющихся слов. Короткое руководство ниже объясняет, что значат показатели и почему сравнивать стоит только тексты похожей длины. Бесплатно, без регистрации, и ничего не загружается.
Как пользоваться калькулятором лексического разнообразия
- Вставьте текст. Лучше взять хотя бы несколько сотен слов: очень короткие тексты почти автоматически получают высокий балл.
- Нажмите «Рассчитать». Результаты не обновляются при вводе, поэтому после правки снова нажмите кнопку.
- Посмотрите четыре показателя. Общее количество слов, уникальные слова, TTR в процентах и корневой TTR.
- Прочитайте оценку и повторяющиеся слова. После показателей идёт пояснение простым языком, а таблица перечисляет до десяти слов, встречающихся не менее двух раз.
Что означают показатели
Лексическое разнообразие — это то, насколько разнообразен словарный запас текста. Самая простая мера — соотношение типов и токенов: количество разных слов (типов), делённое на общее количество слов (токенов).
- TTR = уникальные слова ÷ общее количество слов. Диапазон — от почти 0 (одни и те же несколько слов повторяются) до 1; здесь показывается в процентах.
- Корневой TTR = уникальные слова ÷ √(общее количество слов), часто называемый индексом Гиро. С ростом длины текста он падает медленнее, поэтому он честнее при умеренно различающейся длине.
Инструмент выдаёт простую оценку: ниже 40% — низкое разнообразие, от 40% до 60% — обычное, 60% и выше — высокое. Эти диапазоны — ориентиры для отрывков в несколько сотен слов. Они не применимы к предложению из 20 слов или к диссертации в 50 000 слов.
Пример
Вставьте этот абзац из 56 слов: Sleep consolidates memory. During deep sleep the brain replays the day's events, strengthening connections that matter and pruning those that do not. Students who sleep well tend to remember more of what they studied, and they solve problems faster. Skipping sleep to study longer often backfires, because the facts that were crammed are never stored properly. В нём 46 уникальных слов, поэтому TTR составляет 82,1%, а корневой TTR — 6,15; инструмент относит это к высокому разнообразию. Слово sleep встречается чаще всего, четыре раза.
Теперь вставьте тот же абзац дважды. Ничего нового не сказано, но текст стал 112 слов, при этом уникальных по-прежнему только 46: TTR падает до 41,1%, а корневой TTR — до 4,35. Одно и то же письмо получает примерно вдвое меньший балл разнообразия, что показывает: повторение снижает показатель, но и сама длина тоже.
Почему длина искажает TTR
Каждый текст повторяет частотные слова вроде «the», «of» и «and», и чем длиннее текст, тем большая доля его слов — повторы. Поэтому TTR падает по мере роста текста независимо от словарного запаса автора. Выборка в 100 слов и выборка в 1000 слов одного и того же автора не дадут одинакового TTR. Сравнивайте показатели только между текстами похожей длины, желательно обрезанными до одного и того же количества слов.
Исследователи используют меры, созданные для снижения этого эффекта, например MTLD и HD-D (см. McCarthy and Jarvis, 2010, в Behavior Research Methods). Этот инструмент их не вычисляет, поэтому используйте его для правки и грубого сравнения, а не как меру исследовательского уровня.
Как подсчитываются слова
Текст переводится в нижний регистр и разбивается на последовательности букв и цифр. Апостроф внутри слова сохраняется, поэтому don't — одно слово, независимо от того, прямой ли апостроф или фигурный (’), который ставят многие текстовые редакторы. Буквы с диакритикой считаются буквами, поэтому café — одно слово. Числа считаются словами. Дефис разделяет слово на два, поэтому well-known считается как два. Лемматизации нет: walk, walks и walked — три разных слова.
Какой инструмент вам нужен?
| Если вам нужно… | Используйте |
|---|---|
| Один показатель разнообразия для текста | Эта страница |
| Каждое слово по частоте | Счётчик частоты слов |
| Слова, повторяющиеся близко друг к другу | Word Repetition Checker |
| Плотность каждого термина в процентах | Плотность ключевых слов |
| Список каждого отдельного слова | Извлечение уникальных слов |
Часто задаваемые вопросы
- Что такое лексическое разнообразие?
- Это мера того, насколько разнообразен словарный запас текста: сколько разных слов использовано по сравнению с общим количеством слов. Её используют в обучении письму, в языковых тестах и в корпусных исследованиях.
- Какой показатель TTR считается хорошим?
- Универсальной цели не существует. Для нескольких сотен слов ясной поясняющей прозы типичен диапазон 40–60%, и инструмент называет его обычным разнообразием. В коротких текстах высокие показатели встречаются чаще, а в длинных — низкие, поэтому сравнивайте между собой тексты похожего объёма.
- Что такое корневой TTR?
- Корневой TTR, или индекс Гиро, — это количество уникальных слов, делённое на квадратный корень из общего количества слов. Он смягчает, но не устраняет падение обычного TTR по мере роста текста.
- Почему показатель ниже, когда я вставляю больше текста?
- Потому что в длинных текстах слова повторяются чаще. TTR измеряет долю новых слов, а эта доля уменьшается по мере роста текста. Это не значит, что ваш словарный запас стал беднее.
- Калькулятор удаляет служебные слова или объединяет формы слов?
- Нет. Он учитывает каждое слово, включая the и of, и считает каждое написание отдельно, поэтому walk и walked — разные слова. Подсчёт всех слов — обычный способ сообщать TTR.
- Как повысить разнообразие моего текста?
- Посмотрите таблицу самых повторяющихся слов. Если слово повторяется без причины, замените его или перепишите предложение. Не заменяйте точные технические термины синонимами: повтор ключевого термина часто помогает читателю.
- Загружается ли мой текст куда-либо?
- Нет. Показатели вычисляются в вашем браузере, и текст никуда не отправляется.