중복 줄 제거

이름 *

apple
banana
apple
orange
banana

apple
banana
orange

 Alpha
alpha
ALPHA  
Beta
 beta

Alpha
Beta

Duplicate Lines를 제거하기위한 일반적인 사용 사례

Deduping 라인은 이메일 목록을 청소할 때 유용합니다, 수출된 사용자, 키워드 세트, 복사된 스프레드 시트 열, 로그 파편 및 채팅 또는 문서에서 과거 거친 텍스트. 정렬, 비교 버전, 또는 다른 시스템에 데이터를 가져 오기 전에 더 빠른 시작 지점을 제공합니다.

Duplicate Line으로 무엇을 계산합니까?

이 도구는 라인 브레이크에 분할 후 정확히 전체 라인을 비교합니다. 2개의 선이 자본화, 간격, punctuation, 또는 숨겨지은 탭과 다를 경우에, 그들은 아직도 다른 가치로 계산할지도 모릅니다. 과거의 데이터가 눈과 비슷하지만 정말 동일하지 않습니다.

예약 방법

dedupe 도구에 대한 일반적인 기대는 각 독특한 라인의 첫 번째 발생을 유지하고 나중에 반복합니다. 출력을 읽을 수 있음을 의미합니다. 알파벳순을 원하신다면, 먼저 dedupe로 나뉘어 분리된 단계로 정렬됩니다.

실제 입력에 대한 예후

실제 예제는 호스트 이름, 태그 또는 같은 값이 목록의 다른 부분에서 많은 시간을 표시하는 이메일 주소의 과거 목록입니다. 또 다른 것은 반복된 제품 또는 ID를 가진 copied spreadsheet 란입니다. 그 행을 파괴하는 것은 검토, 검색, 및 수입을 훨씬 쉽게합니다.

Deduplication 전에 텍스트 준비

소스가 의도적 인 케이싱 또는 트레일 공간이 포함되면 먼저 정상화 할 수 있습니다. 여분의 whitespace를 제거하거나 deduping 전에 케이스를 변환하는 것은 약간 다르게 spelled 때문에 생존하는 가까이 duplicates를 감소시킬 수 있습니다.

한계 및 가장자리 케이스

이 페이지는 fuzzy matching, typo repair, 또는 semantic merging을 약속하지 않습니다. 그들은 다른 간격, punctuation, 또는 편지 케이스를 포함하는 경우에 한 사람에 동등하는 가치는 분리될지도 모릅니다. 즉, 예측할 수 있을 때의 올바른 행동, line-based cleanup.

개인 정보 보호 및 로컬 처리

Deduplication은 브라우저에서 발생하므로 과거 목록은 일상적인 정리 중에 장치에서 유지됩니다. 텍스트가 고객 수출, 내부 식별자 또는 제 3 자 서비스로 전송하지 않으려는 데이터가 포함될 때 유용합니다.

관련 도구