重複行を削除
1行に1項目のリストを貼り付けると、入力に合わせて繰り返し行が削除され、各行の最初の1件が元の順序のまま残ります。大文字と小文字を無視したり、空行を削除したり、どの行が削除されたかを正確に確認したりできます。無料、登録は不要で、テキストがブラウザの外に出ることはありません。
オプション
重複行削除ツールの使い方
- リストを貼り付けます。 1行に1項目です。名前、メールアドレス、キーワード、参考文献のエントリ、URL、データのエクスポートの行などを使えます。
- オプションを設定します。 「Apple」と「apple」を同じ行として扱うなら「大文字・小文字を区別しない」をオンにします。重複だけでなく空行も削除するなら「空白行も削除する」をオンにします。
- カードを読みます。 合計行数、一意な行数、削除された重複数が、入力に合わせて更新されます。
- 出力をコピーします。 整理後の出力に、重複を削除したリストが表示されます。その下の「削除された重複」には、繰り返された各行が1回ずつ（最初の20件、残りは件数）表示されるので、誤って消したものがないか確認できます。
行の比較方法
ツールは、テキストを上から読みます。ある行に初めて出会ったときはそれを残し、その後に一致するすべての行は削除されます。そのため、リストの順序が変わることはなく、残った行は最初に現れた順序のままです。これが、初出優先の方法と呼ばれる理由です。結果もアルファベット順にしたい場合は、出力を行を並べ替えに通してください。
一致は、1文字ずつ完全に一致する必要があります。既定では比較は大文字と小文字を区別し、末尾のスペースが1つ違うだけでも別の行として扱われます。ツールは空白をトリムしないため、「[email protected]」と、末尾に余分なスペースがある「[email protected] 」は、両方とも残ります。コピーしたリストに見えない空白がある場合は、先にスペース削除で整えてください。
具体例
次の9行のリストを見てください。空行が2つあり、大文字と小文字が混ざっています：
入力
apple Banana apple banana cherry Apple banana
| オプション | 一意な行数 | 削除数 | 出力 |
|---|---|---|---|
| 既定（大文字・小文字を区別） | 6 | 3 | apple, Banana, banana, （空行）, cherry, Apple |
| 大文字・小文字を区別しない | 4 | 5 | apple, Banana, （空行）, cherry |
| 大文字・小文字を区別しない＋空白行も削除 | 3 | 4 | apple, Banana, cherry |
空白行のオプションが件数に与える影響に注目してください。オンにすると、2つの空行は数える前に削除されるため、合計行数は9から7に減ります。オフのままだと、空行もただの行として扱われ、最初の空行は残り、2つ目は重複として削除されます。また、残る行は元の綴りを保つことにも注目してください。「banana」が「Banana」と一致しても、残るのは「Banana」のままです。
用途
- メールアドレスや連絡先のリスト。 2つのエクスポートを統合した後、2回現れる人を削除します。
- キーワードやタグのリスト。 長い検索語のリストを、読み込む前に整理します。
- 参考文献のリスト。 複数の情報源から貼り付けた参考文献を1つのリストにまとめたとき、重複したエントリを取り除きます。
- データとログ。 1つの列やログの抜粋から、異なる値だけを取り出します。
どのツールが必要ですか？
| やりたいこと | 使うツール |
|---|---|
| 繰り返し行を削除し、順序は保つ | このページ |
| 繰り返し単語を削除する、または「the the」のような誤字を直す | 重複単語削除ツール |
| テキスト中の異なる単語を、アルファベット順のリストとして得る | ユニーク単語抽出ツール |
| 2つのリストで共通の項目、または片方にしかない項目 | リスト比較 |
| 2つのリストを1つにまとめる | List Merger |
| 単語やパターンを含む行だけを残す | Line Filter |
よくある質問
- テキストから重複行を削除するにはどうすればよいですか？
- テキストを、1行に1項目で入力欄に貼り付けます。整理後の出力に、重複を取り除いたリストがすぐに表示され、ワンクリックでコピーできます。押すボタンはありません。
- 重複行の削除で元の順序は保たれますか？
- はい。ある行が初めて現れたとき、その場所に残され、後に続く同一の行はすべて削除されます。残った行は最初に現れた順序のままなので、並べ直されることはありません。
- 比較では大文字と小文字を区別しますか？
- 既定では区別します。そのため「Apple」と「apple」は別の行です。同じものとして扱うには「大文字・小文字を区別しない」をオンにしてください。いずれの場合も、最初の行は元の大文字・小文字のまま残ります。
- 見た目が同じなのに削除されないのはなぜですか？
- 通常、どちらかに末尾のスペース、タブ、または大文字の違いがあるためです。一致は完全一致で、ツールは行をトリムしないので、「item」と「item 」は異なります。大文字の違いには「大文字・小文字を区別しない」をオンにし、貼り付ける前に余分なスペースを取り除いてください。
- 空行も同時に削除できますか？
- はい。「空白行も削除する」をオンにしてください。オフの場合、最初の空行は行として数えられて残り、後の空の行だけが重複として削除されます。オンにすると、空白だけからなる行も空行として扱われます。
- 重複を削除して並べ替えるには、どうすればよいですか？
- ここで重複を削除し、出力をコピーして、行を並べ替えツールに貼り付けてください。どちらの順序でも同じ行の集合になりますが、先に重複を削除すると並べ替える量が減ります。
- リストはアップロードされますか？
- いいえ。行はブラウザ内で比較され、テキストは送信も保存もされません。