Duplicate Line Remover
Remove duplicate lines
Remove duplicate lines Läuft lokal in Ihrem Browser
One item per line. Duplicates are dropped and the first occurrence keeps its position.
About the
Der Duplicate Line Remover löscht wiederholte Zeilen aus einem Textblock, behält das erste Vorkommen jeder Zeile bei und löscht jede spätere Kopie. Die Reihenfolge bleibt erhalten, sodass die verbleibende Liste die ursprüngliche Reihenfolge beibehält. Dies ist wichtig, wenn es sich bei der Liste um eine Reihe von Schritten oder eine Zeitleiste handelt. Der Vergleich ist genau: Zwei Zeilen, die sich durch ein einzelnes Leerzeichen am Ende unterscheiden, sind zwei verschiedene Zeilen. Daher ist das Entfernen von Leerzeichen die übliche Lösung, wenn das Ergebnis falsch aussieht.
Where people use the
- Bereinigen einer Liste von E-Mail-Adressen oder IDs vor einem Massenimport.
- Finden Sie heraus, wie viele eindeutige Werte eine Spalte tatsächlich enthält.
- Entfernen wiederholter Protokollzeilen vor dem Einfügen in ein Ticket.
- Deduplizieren einer Liste von URLs, die aus mehreren Quellen stammen.
How to use the
- 1
Fügen Sie Ihre Liste ein
Ein Artikel pro Zeile. Alles, was durch Kommas oder Leerzeichen getrennt ist, muss zuerst in Zeilen aufgeteilt werden.
- 2
Schneiden Sie bei Bedarf Leerzeichen ab
Führen Sie den Text vor der Deduplizierung durch den Texttrimmer. Ein Leerzeichen am Ende reicht aus, damit zwei identisch aussehende Zeilen als unterschiedlich gelten.
- 3
Duplikate entfernen
Die Ausgabe enthält jede einzelne Zeile genau einmal in der Reihenfolge, in der sie zuerst erschien.
- 4
Vergleichen Sie die Zählungen
Wenn Sie die Zeilen davor und danach zählen, erfahren Sie, wie viele Duplikate es gab, was oft die eigentliche Antwort ist, die Sie wollten.
Tipps und Best Practices
- Entfernen Sie Leerzeichen immer vor der Deduplizierung, nicht danach.
- Sortieren Sie zuerst, wenn Sie die Duplikate gruppiert sehen möchten. Sortieren Sie nach, wenn Sie möchten, dass die ursprüngliche Reihenfolge erhalten bleibt.
- Behalten Sie die ursprüngliche Liste, bis Sie die Zeilenanzahl überprüft haben, da der Vorgang nicht rückgängig gemacht werden kann.
Häufig gestellte Fragen
Welche Kopie wird aufbewahrt?
Das erste Vorkommen. Jede spätere identische Zeile wird entfernt. Wenn Sie stattdessen das letzte Vorkommen benötigen, kehren Sie zuerst die Liste um, deduplizieren Sie sie und kehren Sie sie dann wieder um.
Warum gibt es immer noch zwei identisch aussehende Linien?
Weil sie nicht wirklich identisch sind. Unsichtbare Unterschiede wie ein abschließendes Leerzeichen, ein Tabulator oder ein Windows-Wagenrücklauf in nur einer Zeile sorgen dafür, dass sie voneinander unterschieden werden. Zuerst zuschneiden.
Ist beim Vergleich die Groß-/Kleinschreibung beachtet?
Ja. Apfel und Apfel werden als zwei verschiedene Linien behandelt. Konvertieren Sie zuerst den Fall, wenn Sie sie zusammenführen möchten.
Kann es Duplikate innerhalb einer einzelnen Zeile entfernen?
Nein. Das funktioniert Zeile für Zeile. Für wiederholte Wörter innerhalb eines Absatzes benötigen Sie einen anderen Ansatz.
Wie groß ist die Liste, mit der es umgehen kann?
Es ist durch den Speicher Ihres Browser-Tabs begrenzt. Listen mit Zehntausenden von Zeilen sind in Ordnung; Millionen sind es nicht.