Удаление повторяющихся строк
Вставьте список с одним элементом в строке, и все повторяющиеся строки удаляются по мере ввода, а первая копия каждой остаётся в исходном порядке. Можно не учитывать регистр букв, убрать пустые строки и увидеть, какие строки были удалены. Бесплатно, без регистрации, а текст никогда не покидает браузер.
Настройки
Как пользоваться удалением повторяющихся строк
- Вставьте список. По одному элементу в строке: имена, адреса электронной почты, ключевые слова, записи библиографии, URL или строки выгрузки данных.
- Задайте настройки. Отметьте «Без учёта регистра», если «Apple» и «apple» должны считаться одной строкой. Отметьте «Также удалять пустые строки», чтобы удалять и пустые строки, а не только повторы.
- Смотрите карточки. «Всего строк», «Уникальных строк» и «Удалено дубликатов» обновляются по мере ввода.
- Скопируйте результат. «Очищенный результат» содержит список без повторов. Ниже «Удалённые дубликаты» показывает каждую повторяющуюся строку один раз (первые 20, затем количество остальных), чтобы вы могли проверить, что ничего не потеряно по ошибке.
Как сравниваются строки
Инструмент читает текст сверху вниз. Когда он впервые встречает строку, он её сохраняет; каждая последующая совпадающая строка удаляется. Поэтому список никогда не переупорядочивается: оставшиеся строки идут в той последовательности, в которой впервые появились, — отсюда название метода «первое вхождение». Если хотите, чтобы результат был ещё и отсортирован по алфавиту, пропустите его через Сортировку строк.
Сравнение точное, символ за символом. По умолчанию оно чувствительно к регистру, а строка, которая отличается только пробелом в конце, считается другой строкой. Инструмент не обрезает пробелы, поэтому «[email protected]» и «[email protected] » с лишним пробелом в конце сохраняются оба. Если в скопированном списке есть невидимые пробелы, сначала очистите его с помощью Удаления пробелов.
Пример
Возьмём список из девяти строк, в котором есть две пустые строки и разный регистр букв:
Ввод
apple Banana apple banana cherry Apple banana
| Настройки | Уникальных строк | Удалено | Результат |
|---|---|---|---|
| По умолчанию (с учётом регистра) | 6 | 3 | apple, Banana, banana, (пустая строка), cherry, Apple |
| Без учёта регистра | 4 | 5 | apple, Banana, (пустая строка), cherry |
| Без учёта регистра + удалять пустые строки | 3 | 4 | apple, Banana, cherry |
Обратите внимание, что делает опция пустых строк с подсчётом. Если она включена, пустые строки отбрасываются до подсчёта, поэтому «Всего строк» падает с 9 до 7. Без неё пустая строка — такая же строка: первая сохраняется, а вторая удаляется как дубликат. Обратите также внимание, что уцелевшая строка сохраняет своё написание: «Banana» остаётся таким, как написано, хотя «banana» совпал с ней.
Для чего это используют
- Списки адресов и контактов. Удалите людей, которые встречаются дважды после объединения двух выгрузок.
- Списки ключевых слов и тегов. Очистите длинный список поисковых запросов перед импортом.
- Списки литературы. Уберите повторяющиеся записи, если вы вставили ссылки из нескольких источников в один список.
- Данные и журналы. Выделите уникальные значения из одного столбца или фрагмента журнала.
Какой инструмент вам нужен?
| Если вам нужно… | Используйте |
|---|---|
| Удалить повторяющиеся строки, сохранив порядок | Эта страница |
| Удалить повторяющиеся слова или исправить опечатки «the the» | Удаление повторяющихся слов |
| Каждое отдельное слово текста в виде алфавитного списка | Извлечение уникальных слов |
| Элементы, которые общи для двух списков или есть только в одном | Сравнение списков |
| Два списка, объединённые в один | List Merger |
| Только строки, которые содержат слово или шаблон | Line Filter |
Часто задаваемые вопросы
- Как удалить повторяющиеся строки из текста?
- Вставьте текст в поле, по одному элементу в строке. Очищенный список сразу появляется в разделе «Очищенный результат» без повторов, и его можно скопировать одним нажатием. Нажимать ничего не нужно.
- Сохраняет ли удаление повторяющихся строк исходный порядок?
- Да. Первый раз, когда строка появляется, она остаётся на своём месте, а каждая последующая одинаковая строка удаляется. Оставшиеся строки идут в том порядке, в котором впервые появились, поэтому ничего не переставляется.
- Учитывается ли регистр при сравнении?
- По умолчанию да, поэтому «Apple» и «apple» — две разные строки. Отметьте «Без учёта регистра», чтобы считать их дубликатами. Первая из них в любом случае сохраняет исходное написание с заглавными буквами.
- Почему две строки, которые выглядят одинаково, не удаляются?
- Обычно у одной из них есть пробел в конце, символ табуляции или другая заглавная буква. Сравнение точное, и инструмент не обрезает строки, поэтому «item» и «item » различаются. Включите «Без учёта регистра» для заглавных букв и очистите лишние пробелы перед вставкой.
- Можно ли одновременно удалить пустые строки?
- Да, отметьте «Также удалять пустые строки». Без неё одна пустая строка сохраняется, потому что первая пустая строка считается строкой, а как дубликаты удаляются только последующие пустые строки. Если опция включена, строка из одних пробелов считается пустой.
- Как удалить дубликаты и отсортировать список?
- Удалите дубликаты здесь, скопируйте результат и вставьте его в «Сортировку строк по алфавиту». Любой порядок даёт один и тот же набор строк, но сначала удаление дубликатов оставляет меньше строк для сортировки.
- Загружается ли мой список?
- Нет. Строки сравниваются в вашем браузере, а текст не отправляется и нигде не сохраняется.