所有工具
Duplicate Line Remover
Remove duplicate lines
Remove duplicate lines 在您的浏览器中本地运行
One item per line. Duplicates are dropped and the first occurrence keeps its position.
About the
重复行删除器从文本块中删除重复的行，保留每行的第一次出现并删除后面的每个副本。顺序会被保留，因此剩余的列表会保留原来的顺序，当列表是一组步骤或时间线时，这一点很重要。比较是精确的：只有一个尾随空格不同的两行是两行不同的行，因此当结果看起来错误时，通常会首先修剪空格。
Where people use the
- 在批量导入之前清理电子邮件地址或 ID 列表。
- 查找列实际包含多少个唯一值。
- 在将重复的日志行粘贴到票证中之前将其删除。
- 对从多个来源收集的 URL 列表进行重复数据删除。
How to use the
- 1
粘贴您的列表
每行一项。任何由逗号或空格分隔的内容都需要首先分成行。
- 2
如果需要，修剪空白
在重复数据删除之前通过文本修剪器运行文本。尾随空格足以使两条看起来相同的行被视为不同的行。
- 3
删除重复项
输出按其首次出现的顺序仅包含每个不同的行一次。
- 4
比较计数
计算前后的行数可以告诉您有多少重复项，这通常是您想要的实际答案。
提示和最佳实践
- 始终在去重之前修剪空白，而不是之后。
- 如果您想将重复项分组在一起，请先排序；如果您想保留原始顺序，请排序。
- 保留原始列表直到您检查了行数，因为该操作无法撤消。
常见问题
保留哪个副本？
第一次出现。以后的每条相同的行都会被删除。如果您需要最后一次出现，请先反转列表，删除重复项，然后再反转回来。
为什么两条看起来一模一样的线仍然存在？
因为它们实际上并不相同。不可见的差异（例如仅一行上的尾随空格、制表符或 Windows 回车符）将使它们保持不同。先修剪一下。
比较是否区分大小写？
是的。苹果和苹果被视为两个不同的品系。如果要合并，请先转换大小写。
它可以删除单行中的重复项吗？
不，这是逐行工作的。对于一个段落中重复的单词，您需要采用不同的方法。
它可以处理多大的列表？
它受浏览器选项卡内存的限制。几万行的列表就可以了；数百万人则不然。