重复词移除工具

模式

如何使用重复词移除工具

1. 选择模式。 对于句子和段落,选择“仅连续重复”;对于关键词、标签和词汇表,选择“词表中的所有重复项”。
2. 粘贴文本。 输入框下方的计数器会显示您已粘贴的单词数。
3. 点击“移除重复项”。 清理后的文本会显示在下方的两张卡片中:“已移除的重复单词数”和“剩余单词数”。
4. 检查后再复制。 使用前请通读一遍结果,因为某些重复是有意为之的(见下文)。“复制结果”会将其放入剪贴板。

各模式的作用

仅连续重复会查找同一单词连续出现两次或更多次、中间仅以同一行内的空格或制表符分隔的情况,并只保留一个副本。比较时忽略大小写,因此“The the”会被合并为“The”——第一个副本保留其自身的大小写。任意长度的连续重复都会被缩减为一个单词。连字符和撇号被视为单词的一部分;该匹配适用于带重音的拉丁字母,以及西里尔字母、阿拉伯字母、天城文等以空格分隔单词的文字。

该工具的设计偏向谨慎。两个副本之间隔着换行的重复词、副本之间有标点的重复(“very, very”),以及紧跟数字的重复(“the the2”),都会被保留,因为它们都可能是有意为之的。

词表中的所有重复项适用于列表而非散文。它会按空格和制表符拆分每一行,以小写形式比较单词,并只保留每个单词的首次出现,无论后面的副本位于何处。您输入的换行和空行会被保留,但若某一行的所有单词都是重复项,该行会被删除而非留为空行。标点属于单词的一部分,因此“tips,”与“tips”是两个不同的条目。

示例

连续重复模式应用于一个 20 词的句子,其中有四处口吃式重复和一处三连重复:

I went to to the the store and and bought bread. The the cat sat sat sat on the mat.

I went to the store and bought bread. The cat sat on the mat.

移除了六个副本(三连重复计为两个),剩余 14 个单词。注意,“mat”前面那个无关的“the”被保留了:只有背靠背的重复才会被合并。接下来是短单词列表上的列表模式:

red green blue Red
green yellow
blue purple

red green blue
yellow
purple

移除了三个单词——Red、第二个 green 和第二个 blue——剩下五个。每个单词的第一个副本保留在原位置,因此第二行缩减为“yellow”。

并非错误的重复

英语中存在合理的重复词,例如 “She had had enough”、“the idea that that author raised”、“no, no, no”。连续模式会合并前两个,因此在把输出粘贴到定稿之前请先检查一遍。对带有刻意重复的列表或诗歌运行该模式,同样会改变其含义。

对列表模式而言,这种谨慎更为重要。若用于普通散文,它会删除之后出现的每一个“the”“and”和“a”:“The cat saw the dog and the cat ran.”会变成“The cat saw dog and ran.”。只应将其用于列表。

您需要哪个工具?

常见问题

如何从文本中移除重复单词?

粘贴文本,选择一种模式,然后点击“移除重复项”。使用“仅连续重复”可合并背靠背重复的单词;使用“词表中的所有重复项”可在列表中只保留每个单词的第一个副本。对于连续的散文,请使用第一种模式。

如何修复像“the the”这样的重复单词?

选择“仅连续重复”并粘贴段落。同一行中每一处背靠背的重复(不论大小写)都会被缩减为一个单词,计数器会显示移除了多少处。

它保留第一个副本还是最后一个副本?

保留第一个。两种模式中,首次出现的单词都保留其原始拼写和大小写。在列表模式下,即使后面出现小写的“red”,第一个“Red”也会保留,因为比较时忽略大小写。

为什么我的文本中保留了“very, very”?

两个单词之间的逗号、句号或其他标点符号会使它们不再被视为连续重复。由于强调性重复很常见,该工具宁可保留文本。如果确实想删除,请手动删除多余的单词。

当某一行的所有单词都是重复项时会怎样?

当某行的每个单词此前都已出现过时,列表模式会删除该行,因此每行一个单词的列表不会留下空隙。您自己输入的空行会被保留。若要逐行去重,“去除重复行”会比较整行,并且也可以删除空行。

它适用于英语以外的语言吗?

适用于任何以空格分隔单词的语言,包括带重音的拉丁文本、西里尔字母、阿拉伯字母和天城文。它无法切分中文或日文,因为这些文字的单词之间没有空格,因此整段字符会被视为单个单词。

我的文本会被发送到任何地方吗?

不会。单词比较在您的浏览器中完成,文本不会被上传或存储。