Odstranit duplicitní řádky

Příklady

apple
banana
apple
orange
banana

apple
banana
orange

 Alpha
alpha
ALPHA  
Beta
 beta

Alpha
Beta

Případy společného použití pro odstraňování duplicitních řádků

Při čištění e-mailových seznamů, exportovaných uživatelských jmen, souborů klíčových slov, kopírovaných tabulkových sloupců, úlomků logu a hrubých textů nalepených z chatu nebo dokumentů jsou užitečné řádky. Dává vám rychlejší výchozí bod před tříděním, porovnáváním verzí nebo importováním dat do jiného systému.

Co se počítá jako duplikační linka?

Tento nástroj porovnává celé řádky přesně tak, jak se objevují po rozdělení na řádek přestávky. Pokud se dva řádky liší kapitalizací, rozestupem, interpunkcí nebo skrytými kartami, mohou se stále počítat jako různé hodnoty. To záleží na tom, když pasted data vypadají podobně jako oko, ale není skutečně totožné.

Jak je Řádka objednávka chráněna

Obvyklé očekávání na nástroj dedupe je zachovat první výskyt každé unikátní linie a později se zlikvidují. To znamená, že výstup může zůstat čitelný a známý místo toho, aby byl automaticky uchycen. Pokud chcete také abecední objednávání, je obvykle lepší nejprve dedupovat a třídit později jako samostatný krok.

Před a po příkladech reálných vstupů

Realistickým příkladem je vyplněný seznam jmen hostitelů, štítků nebo e-mailových adres, kde se v různých částech seznamu často objevuje stejná hodnota. Další je kopírovaná tabulková kolona s opakovanými produkty nebo ID. Díky tomu, že jsme ty řádky odstranili, bylo mnohem jednodušší kontrolovat, hledat a dovážet.

Příprava textu před dedukací

Pokud váš zdroj obsahuje nekonzistentní nábojnice nebo trailing mezery, možná budete chtít nejprve normalizovat. Odstranění extra Whitespace nebo konverzní případ před deduping může snížit náhodný blízko- duplikáty, které přežijí jen proto, že jsou hláskovány mírně jinak.

Mezní hodnoty a hrany

Tato stránka neslibuje fuzzy odpovídající, typo opravy, nebo sémantické slučování. Hodnoty, které vypadají jako rovnocenné osobě, mohou zůstat oddělené, pokud obsahují odlišné rozestupy, interpunkce nebo písmena. To je obvykle správné chování, když potřebujete předvídatelné, lineové čištění.

Soukromí a místní zpracování

Deduplikace se děje ve vašem prohlížeči, takže vyplněné seznamy zůstávají na vašem zařízení během rutinního čištění. To je užitečné, pokud text obsahuje zákaznický export, interní identifikátory nebo návrhy pracovních dat, které nechcete zaslat službě třetích stran.

Související nástroje