ToolMill.io

Dubbele regels verwijderen

Dubbele regels verwijderen terwijl het eerste voorkomen van elke waarde behouden blijft. Handig voor het schoonmaken van e-maillijsten, log output, trefwoord export, CSV snippets, gekopieerde spreadsheet kolommen, en prompt ingangen voordat u ze elders plakken. ToolMill draait volledig in uw browser, zodat gevoelige tekst nooit hoeft te verlaten uw apparaat.

Tekst

Probeer het.

Voorbeelden

Herhaalde regels verwijderen
Invoer
apple
banana
apple
orange
banana
Uitvoer
apple
banana
orange
Hoofdletter en extra spaties negeren
Invoer
 Alpha
alpha
ALPHA  
Beta
 beta
Uitvoer
Alpha
Beta

Vaak gebruikte gevallen voor het verwijderen van dubbele regels

Deduping regels is nuttig bij het schoonmaken van e-maillijsten, geëxporteerde gebruikersnamen, trefwoord sets, gekopieerde spreadsheet kolommen, logfragmenten en ruwe tekst geplakt uit chat of documenten. Het geeft je een sneller startpunt voordat je versies sorteert, vergelijkt of data importeert in een ander systeem.

Wat telt als een dubbele lijn?

Deze tool vergelijkt hele lijnen precies zoals ze verschijnen na het splitsen op lijn breekt. Als twee regels verschillen door kapitalisatie, afstand, punctuatie, of verborgen tabbladen, kunnen ze nog steeds tellen als verschillende waarden. Dat maakt uit wanneer geplakte gegevens lijken op het oog, maar is niet echt identiek.

Hoe regelvolgorde wordt bewaard

De gebruikelijke verwachting op een dedupe tool is om het eerste voorkomen van elke unieke lijn te houden en later herhalingen weg te gooien. Dat betekent dat de output leesbaar en vertrouwd kan blijven in plaats van automatisch te worden geresorteerd. Als je ook alfabetische volgorde wilt, is het meestal beter om eerst te dedupe en daarna te sorteren als een aparte stap.

Voorbeelden voor en na echte invoer

Een realistisch voorbeeld is een geplakte lijst van hostnamen, tags of e-mailadressen waar dezelfde waarde vaak voorkomt in verschillende delen van de lijst. Een andere is een gekopieerde spreadsheet kolom met herhaalde producten of ID's. Verkleinen van deze rijen maakt review, zoeken, en import controles veel gemakkelijker.

Tekst voorbereiden voor de deduplicatie

Als uw bron inconsistente behuizing of volgruimtes bevat, wilt u deze misschien eerst normaliseren. Het verwijderen van extra witruimte of het omzetten van geval voor deduping kan per ongeluk bijna-duplicaten die alleen overleven omdat ze iets anders worden gespeld verminderen.

Grenzen en Randzaken

Deze pagina belooft geen fuzzy matching, typo reparatie, of semantisch samenvoegen. Waarden die gelijkwaardig lijken aan een persoon kunnen gescheiden blijven als ze een andere afstand, interpunctie, of letter geval bevatten. Dat is meestal het juiste gedrag wanneer je voorspelbare, lijn-gebaseerde schoonmaak nodig hebt.

Privacy en lokale verwerking

Voordat je vertrouwt op Deduped-tekst

Voordat u de uitvoer in een andere tool gebruikt of elders uploadt, beslist u of whitespace, capitalisatie en originele orde betekenis hebben in uw gegevens. Als ze dat doen, is een snelle dedupe pas nuttig voor beoordeling, maar moet niet vervangen een definitieve handmatige controle.

Wat gedempte uitvoer niet garandeert

Het verwijderen van herhaalde regels valideert niet spelling, merge near-matches, of beslissen welke variant de juiste is om te behouden. Het is een schoonmaak stap, geen semantische beoordeling. Als dezelfde lijnen verschillen door één teken of extra witruimte, kan het resultaat nog handmatige inspectie nodig.

Hoe te interpreteren Wat telt als een Duplicaat

Deduplicatie hangt af van de exacte vergelijkingsregels die op de invoertekst worden gebruikt. Verschillen in omhulsel, leidende of achterliggende ruimtes, verborgen tabbladen of lijn-einde stijl kunnen veranderen of twee lijnen worden behandeld als hetzelfde. Bekijk de oorspronkelijke tekst zorgvuldig als de uitvoer niet aan uw verwachting voldoet.

Deduplicatie gebeurt in uw browser dus geplakt lijsten blijven op uw apparaat tijdens routine opruimen. Dat is handig wanneer de tekst bevat klant export, interne identificaties, of ontwerp werkgegevens die u niet wilt verzenden naar een derde-partij dienst.

Gerelateerde hulpmiddelen