Удаление повторяющихся слов
Вставьте текст и выберите режим. «Только последовательные повторы» превращает опечатку вроде «и и» в «и», не трогая остальной текст; «Все дубликаты в списке слов» оставляет только первую копию каждого слова в списке. Вы видите, сколько слов удалено и сколько осталось. Бесплатно, без регистрации; текст никогда не покидает ваш браузер.
Режим
0 слов
Как пользоваться удалением повторяющихся слов
- Выберите режим. Возьмите «Только последовательные повторы» для предложений и абзацев или «Все дубликаты в списке слов» для ключевых слов, тегов и словарных списков.
- Вставьте текст. Счётчик под полем показывает, сколько слов вы вставили.
- Нажмите «Удалить дубликаты». Очищенный текст появляется ниже, с двумя карточками: «Удалено дублирующихся слов» и «Осталось слов».
- Проверьте, затем скопируйте. Прочитайте результат перед использованием, потому что некоторые повторы намеренные (см. ниже). «Копировать результат» помещает его в буфер обмена.
Что делает каждый режим
Только последовательные повторы ищет одно и то же слово два раза или больше подряд, отделённое только пробелами или табуляцией в одной строке, и оставляет одну копию. Сравнение не учитывает регистр, поэтому «Кот кот» сворачивается в «Кот» — первая копия сохраняет свой регистр. Цепочка любой длины сокращается до одного слова. Дефис и апостроф считаются частью слова, а совпадение работает для букв с диакритическими знаками и для кириллицы, арабского, деванагари и других письменностей, где слова разделены пробелами.
Режим осторожен намеренно. Слово, повторённое через перенос строки, повтор со знаком препинания между копиями («очень, очень») и повтор, слитый с цифрой («и и2»), остаются без изменений, потому что любой из них может быть намеренным.
Все дубликаты в списке слов предназначен для списков, а не для прозы. Он разбивает каждую строку по пробелам и табуляции, сравнивает слова в нижнем регистре и оставляет только первое вхождение каждого из них, где бы ни стояли более поздние копии. Переносы строк и пустые строки, которые вы набрали, сохраняются, но строка, все слова которой были повторами, удаляется, а не остаётся пустой. Знаки препинания входят в слово, поэтому «советы,» и «советы» — разные записи.
Примеры
Повторы подряд в предложении из 20 слов: четыре удвоенных слова и один тройной повтор.
Ввод
Я ходил в в магазин и и купил хлеб. Кот кот сел сел сел на коврик, а на окне спал.
Вывод
Я ходил в магазин и купил хлеб. Кот сел на коврик, а на окне спал.
Удалено пять повторов (тройной повтор «сел сел сел» считается как два), и осталось 15 слов. Обратите внимание, что второе «на» остаётся: сворачиваются только повторы подряд. Теперь режим списка на коротком списке слов:
Ввод
красный зелёный синий Красный зелёный жёлтый синий фиолетовый
Вывод
красный зелёный синий жёлтый фиолетовый
Удалены три слова — «Красный», второе «зелёный» и второе «синий» — осталось пять. Первое вхождение каждого слова остаётся на своём месте, поэтому вторая строка сокращается до «жёлтый».
Повторы, которые не являются ошибками
В русском языке тоже есть законные повторы подряд, которые усиливают смысл, например «тихо тихо» или «далеко далеко». Режим последовательных повторов свернёт их, поэтому просмотрите вывод, прежде чем вставлять его в итоговый текст. Применение режима к списку или стихотворению с намеренным повтором тоже изменит смысл.
Тот же осторожный подход относится к режиму списка гораздо сильнее. Применённый к обычной прозе, он удаляет каждое последующее «и», «в» и «а»: «Кот видел собаку и кот убежал» становится «Кот видел собаку и убежал». Используйте его только для списков.
Какой инструмент вам нужен?
| Если вам нужно… | Используйте |
|---|---|
| Исправить опечатки «и и» в абзаце или удалить дубликаты в списке слов | Эта страница |
| Удалить дубликаты строк: по одной записи в строке, с выбором регистра и удалением пустых строк | Удаление повторяющихся строк |
| Отсортированный по алфавиту список всех различных слов в тексте со счётчиками | Извлечение уникальных слов |
| Найти слова, повторённые близко, но не подряд | Проверка повторов слов |
| Общие элементы двух списков и элементы, которые есть только в одном | Сравнение списков |
Часто задаваемые вопросы
- Как удалить повторяющиеся слова из текста?
- Вставьте текст, выберите режим и нажмите «Удалить дубликаты». Используйте «Только последовательные повторы», чтобы свернуть слова, удвоенные подряд, и «Все дубликаты в списке слов», чтобы оставить только первую копию каждого слова в списке. Для связной прозы берите первый режим.
- Как исправить удвоенное слово вроде «и и»?
- Выберите «Только последовательные повторы» и вставьте фрагмент. Каждый повтор подряд в той же строке, в любом регистре, сводится к одному слову, а счётчик показывает, сколько было удалено.
- Что остаётся: первая копия или последняя?
- Первая. В обоих режимах первое вхождение сохраняет исходное написание и регистр. В режиме списка первое «Красный» останется, даже если позже встретится «красный» в нижнем регистре, потому что сравнение не учитывает регистр.
- Почему в моём тексте осталось «очень, очень»?
- Запятая, точка или другой знак между двумя словами мешает считать их идущими подряд. Инструмент предпочитает оставлять текст без изменений, потому что эмфатические повторы распространены. Если хотите их убрать, удалите лишнее слово вручную.
- Что происходит со строкой, если все её слова — повторы?
- Режим списка удаляет строку, если каждое слово в ней уже встречалось раньше, поэтому списки «по одному слову в строке» не оставляют пробелов. Пустые строки, которые вы набрали сами, сохраняются. Для одного элемента в строке «Удаление повторяющихся строк» сравнивает целые строки и может удалить и пустые строки.
- Работает ли это для языков, отличных от английского?
- Да, для любого языка, в котором слова разделены пробелами, включая тексты с диакритикой, кириллицу, арабский и деванагари. Китайский и японский инструмент разделить не может, потому что там нет пробелов между словами, поэтому целая цепочка знаков считается одним словом.
- Мой текст куда-нибудь отправляется?
- Нет. Слова сравниваются в вашем браузере, а текст не загружается и не сохраняется.