Usuń powtórzone linie

Przykłady

apple
banana
apple
orange
banana

apple
banana
orange

 Alpha
alpha
ALPHA  
Beta
 beta

Alpha
Beta

Przypadki wspólnego stosowania w celu usunięcia powielonych linii

Deduping linii jest przydatne przy czyszczeniu list e-mail, eksportowanych nazw użytkowników, zestawów słów kluczowych, skopiowanych kolumn arkuszy kalkulacyjnych, fragmentów dziennika i szorstkiego tekstu wklejonego z czatu lub dokumentów. Daje szybszy punkt wyjścia przed sortowaniem, porównywaniem wersji lub importem danych do innego systemu.

Co liczy się jako podwójna linia?

Narzędzie to porównuje całe linie dokładnie takie, jakie pojawiają się po podziale na przerwy liniowe. Jeśli dwie linie różnią się kapitalizacją, odstępem, interpunkcją lub ukrytymi zakładkami, mogą one nadal liczyć jako różne wartości. Liczy się to, gdy wklejone dane wyglądają podobnie do oka, ale nie są naprawdę identyczne.

Jak kolejność linii jest zachowana

Zwyczajne oczekiwania na dedupe narzędzie jest utrzymanie pierwszego wystąpienia każdej unikalnej linii i wyrzucić później powtarza. Oznacza to, że wyjście może pozostać czytelne i znajome zamiast być automatycznie resortowane. Jeśli chcesz również porządku alfabetycznego, zazwyczaj lepiej jest najpierw odpychać, a następnie sortować jako oddzielny krok.

Przed i po przykładach dla prawdziwych wejść

Rzeczywistym przykładem jest wklejona lista nazw hostów, znaczników lub adresów e-mail, gdzie ta sama wartość pojawia się wiele razy w różnych częściach listy. Kolejną z nich jest skopiowana kolumna arkusza kalkulacyjnego z powtarzającymi się produktami lub identyfikatorami. Deduping tych wierszy sprawia, że przegląd, poszukiwanie i import kontroli znacznie łatwiejsze.

Przygotowanie tekstu przed odwzorowaniem

Jeśli Twoje źródło zawiera niespójne obudowy lub śledzenie przestrzeni, możesz chcieć ją najpierw normalizować. Usunięcie dodatkowej spacji lub skrzyni konwersji przed odpuszczeniem może zmniejszyć przypadkowe-duplikaty, które przetrwają tylko dlatego, że są one napisane nieco inaczej.

Limity i przypadki krawędzi

Ta strona nie obiecuje fuzzy dopasowania, typo naprawy, lub połączenie semantyczne. Wartości, które wyglądają podobnie do danej osoby, mogą pozostać oddzielone, jeżeli zawierają różne odstępy, interpunkcje lub przypadki literowe. Zazwyczaj jest to właściwe zachowanie, gdy potrzebujesz przewidywalnego, liniowego czyszczenia.

Prywatność i przetwarzanie lokalne

Deduplikacja dzieje się w przeglądarce, więc pasted listy pozostać na urządzeniu podczas rutynowego czyszczenia. Jest to przydatne, gdy tekst zawiera eksport klientów, wewnętrzne identyfikatory lub projekt danych roboczych, których nie chcesz wysyłać do serwisu trzeciej strony.

Powiązane narzędzia