Премахване на Дублиращите линии

Примери

apple
banana
apple
orange
banana

apple
banana
orange

 Alpha
alpha
ALPHA  
Beta
 beta

Alpha
Beta

Често използвани случаи за премахване на Дублиращи линии

Deduping линии е полезно при почистване на имейл списъци, експортирани потребителски имена, ключови думи комплекти, копирани таблици таблица, лог фрагменти, и груб текст, поставени от чат или документи. Тя ви дава по-бърза начална точка преди сортиране, сравняване на версии, или внос на данни в друга система.

Какво се брои за двойна линия?

Този инструмент сравнява цели линии точно както те се появяват след разделяне на линия прекъсвания. Ако две линии се различават по капитализация, разстояние, пунктуация или скрити раздели, те все още могат да се считат за различни стойности. Това има значение, когато поставените данни изглеждат подобни на окото, но не са наистина идентични.

Как ред ред е запазена

Обичайното очакване на инструмент dedupe е да се запази първата поява на всяка уникална линия и изхвърля по-късно се повтаря. Това означава, че изходът може да остане четен и познат, вместо автоматично да бъде използван. Ако искате да поръчате по азбучен ред, обикновено е по-добре първо да го направите и след това да го сортирате като отделна стъпка.

Преди и след примери за реални данни

Един реалистичен пример е пасиран списък с имена на домакини, етикети или имейл адреси, където същата стойност се появява много пъти в различни части на списъка. Друг е копирана колона с електронна таблица с повтарящи се продукти или лични карти. Тези редове правят преглед, търсене и проверка на вноса много по - лесно.

Подготовка на текста преди предоговарянето

Ако източникът ви съдържа непостоянна обвивка или пространство за проследяване, може да искате първо да го нормализирате. Премахването на допълнително бяло пространство или конвертиране на случай преди дедупиране може да намали случайни близо до Дупликати, които оцеляват само защото те са написани малко по-различно.

Граници и ръбове

Тази страница не обещава неясно съвпадение, печатна грешка ремонт, или семантично сливане. Стойностите, които изглеждат еквивалентни на дадено лице, могат да останат отделни, ако съдържат различно разстояние, пунктуация или буквален случай. Това обикновено е правилното поведение, когато се нуждаеш от предсказуемо почистване.

Поверителност и местна обработка

Deduplication се случва в браузъра си, така поставени списъци остават на устройството си по време на рутинно почистване. Това е полезно, когато текстът съдържа износ на клиенти, вътрешни идентификатори или проекти на работни данни, които не искате да изпращате на трета страна услуга.

Свързани инструменти