删除重复行

实例

apple
banana
apple
orange
banana

apple
banana
orange

 Alpha
alpha
ALPHA  
Beta
 beta

Alpha
Beta

用于去除重复行的常用例

在清理邮件列表,导出用户名,关键词集,复制电子表格列,日志片段,以及粗略的文本粘贴从聊天或文档时,除去行是有用的. 它让你在排序,比较版本或者将数据导入到另一个系统之前有一个更快的起点.

什么是重复线?

该工具精确地比较了整行在分行间隔后出现的行. 如果两行在资本化,间距,平分,或隐藏的分页上存在差异,它们仍可能算作不同的值. 当贴上的数据看起来与眼睛相似但并不完全相同时,这一点很重要。

线条顺序如何保留

通常对去dupe工具的期望是保持每个独特行的首次出现,而丢弃在后重复. 这意味着输出可以保持可读和熟悉,而不是被自动使用. 如果您也想要按字母顺序排序, 通常最好先去除后去排序, 作为单独的步骤 。

真实输入实例的前后

一个现实的例子是一个被贴上的主机名,标记,或电子邮件地址的列表,其中同一值在列表的不同部分多次出现. 另一个是带有重复产品或ID的被复制的电子表格列. 将这几行分拆后,审查、搜索和进口检查就容易多了。

复制前准备文本

如果您的来源包含不一致的外壳或跟踪空格, 您可能想要先将其正常化 。 脱落前去掉多余的白空或转换外壳,可以减少偶然的近似重复,仅仅因为拼法略有不同而幸存.

限额和边际案件

此页面不承诺模糊匹配, 重写修复, 或语义合并 。 视同一个人的数值,如果包含不同的相距、相接或字母大小写,则可能保持相隔。 这通常是正确的行为 当你需要可预测的, 线性清理。

隐私和本地处理

复制在浏览器中发生, 因此在例行清理时粘贴的列表会留在设备上 。 如果文本中包含客户出口、内部识别符或起草工作数据,而您不想将这些数据发送给第三方服务,则这样做是有用的。

相关工具