去除重复行
粘贴每行一项的列表,重复的行会在您输入时即时删除,每一行仅保留第一次出现的内容,并维持原有顺序。您可以选择忽略大小写、删除空行,并查看究竟删掉了哪些行。免费,无需注册,文本也永远不会离开您的浏览器。
选项
如何使用重复行去除工具
- 粘贴您的列表。 每行一项:姓名、电子邮件地址、关键词、参考文献条目、网址或数据导出中的行均可。
- 设置选项。 如果“Apple”和“apple”应视为同一行,请勾选“不区分大小写”。如果还要删除空行,请勾选“同时移除空行”。
- 查看统计卡片。 总行数、唯一行数和已移除重复行数会随您的输入实时更新。
- 复制输出。 清理后的结果即为去重后的列表。其下方的“已移除的重复项”会列出每个被删除的重复行(前 20 项,其余以数量显示),方便您核对没有误删。
行是如何比较的
工具从文本顶部开始读取。某一行第一次出现时会被保留;之后每一个匹配的行都会被删除。因此列表的顺序永远不会改变,保留下来的行按它们首次出现的先后排列,这也是它被称为“首次出现”方法的原因。如果您还希望结果按字母排序,请把输出交给行排序工具处理。
匹配是精确的,逐字符比较。默认情况下比较区分大小写,末尾多一个空格的行也被视为不同的行。工具不会去除首尾空格,因此“[email protected]”与末尾带有多余空格的“[email protected] ”都会被保留。如果复制的列表含有不可见的空格,请先使用空格移除工具清理。
示例
以下这份九行的列表包含两个空行,并且大小写混用:
输入
apple Banana apple banana cherry Apple banana
| 选项 | 唯一行数 | 移除行数 | 输出 |
|---|---|---|---|
| 默认(区分大小写) | 6 | 3 | apple, Banana, banana, (空行), cherry, Apple |
| 不区分大小写 | 4 | 5 | apple, Banana, (空行), cherry |
| 不区分大小写 + 删除空行 | 3 | 4 | apple, Banana, cherry |
注意删除空行选项对计数的影响。开启后,两个空行会在统计前被去掉,因此总行数从 9 降到 7。关闭时,空行只是另一行:第一个空行被保留,第二个则作为重复行被删除。还要注意,保留下来的那一行保持其原有拼写——“Banana”即使与“banana”匹配,仍保留为原样。
常见用途
- 电子邮件和联系人列表。 合并两份导出文件后,删除重复出现的人员。
- 关键词和标签列表。 导入前清理一份很长的搜索词列表。
- 参考文献列表。 把从多个来源粘贴到同一列表中的参考文献去除重复条目。
- 数据和日志。 从单列数据或日志摘录中提取不同的值。
您需要哪个工具?
| 如果您想… | 使用 |
|---|---|
| 删除重复的行并保持顺序 | 本页 |
| 删除重复的词,或修正“the the”之类的错误 | 重复词移除工具 |
| 将文本中所有不同的词按字母顺序列出 | 唯一单词提取器 |
| 找出两个列表共有的项,或只属于其中一个列表的项 | 比较列表 |
| 把两个列表合并为一个列表 | List Merger |
| 只保留包含某个词或模式的行 | Line Filter |
常见问题
- 如何删除文本中的重复行?
- 将文本粘贴到文本框中,每行一项。去重后的列表会立即显示在“清理后的结果”下方,您只需点击一次即可复制。无需点击任何按钮。
- 删除重复行会保留原始顺序吗?
- 会。一行第一次出现时会保留在原位,之后每一个完全相同的行都会被删除。保留下来的行仍按它们首次出现的顺序排列,不会被重新排序。
- 比较是否区分大小写?
- 默认区分,因此“Apple”和“apple”是两行不同的内容。勾选“不区分大小写”即可将它们视为重复项。无论哪种方式,第一次出现的那一行都会保留其原始大小写。
- 为什么看起来相同的两行没有被删除?
- 通常是其中一行末尾有空格、制表符,或者大小写不同。匹配是精确的,工具不会去除行首行尾的空格,因此“item”与“item ”是不同的。若只关心大小写,请开启“不区分大小写”,并在粘贴前清理多余的空格。
- 我可以同时删除空行吗?
- 可以,勾选“同时移除空行”即可。若不勾选,会保留一个空行,因为第一个空行也算一行,之后的空行才会作为重复行被删除。开启该选项后,只包含空格的行也会被视为空行。
- 如何去重并排序一个列表?
- 先在这里删除重复行,复制输出,然后粘贴到行排序工具中。两种顺序得到的行集相同,但先去重可以减少需要排序的内容。
- 我的列表会被上传吗?
- 不会。行的比较在您的浏览器中完成,文本不会被发送或保存到任何地方。