Ta bort duplicerade linjer

Ta bort dubbla linjer samtidigt som den första förekomsten av varje värde. Användbart för rengöring av e-postlistor, logga utdata, sökordsexport, CSV-utdrag, kopierade kalkylblad och snabb ingångar innan du klistrar in dem någon annanstans. ToolMill körs helt i din webbläsare, så känslig text behöver aldrig lämna enheten.

Texttext

Prova det

En linje per objekt

Deduplicerad output

Exempel

Ta bort upprepade linjer

Input

apple
banana
apple
orange
banana

Output

apple
banana
orange

Ignorera fall och extra utrymmen

Input

 Alpha
alpha
ALPHA  
Beta
 beta

Output

Alpha
Beta

Vanliga användningsfall för att ta bort duplicerade linjer

Deduping linjer är användbar när rengöring av e-postlistor, exporterade användarnamn, sökordsuppsättningar, kopierade kalkylblad, logfragment och grov text som klistras in från chatt eller dokument. Det ger dig en snabbare utgångspunkt innan du sorterar, jämför versioner eller importerar data till ett annat system.

Vad räknas som en duplicerad linje?

Detta verktyg jämför hela linjer precis som de visas efter splittring på radbrytningar. Om två rader skiljer sig genom kapitalisering, avstånd, skiljetecken eller dolda flikar, kan de fortfarande räknas som olika värden. Det spelar ingen roll när de klistrade data ser ut som ögat men är inte riktigt identiskt.

Hur Line Order bevaras

Den vanliga förväntan på ett dedupe verktyg är att hålla den första förekomsten av varje unik linje och kasta senare upprepar. Det betyder att utgången kan hålla sig läsbar och bekant istället för att automatiskt tillgripas. Om du också vill ha alfabetisk beställning, är det oftast bättre att härleda först och sortera efteråt som ett separat steg.

Före och efter exempel för riktiga ingångar

Ett realistiskt exempel är en klistrad lista över värdnamn, taggar eller e-postadresser där samma värde visas många gånger i olika delar av listan. En annan är en kopierad kalkylbladskolumn med upprepade produkter eller ID. Att härleda dessa rader gör granskning, sökning och importera kontroller mycket lättare.

Förbereda text före deduplicering

Om din källa innehåller inkonsekventa hölje eller spårningsplatser, kanske du vill normalisera det först. Ta bort extra whitespace eller konvertera fall innan deduping kan minska oavsiktliga nära-duplicates som överlever bara för att de stavas något annorlunda.

Limits och Edge Cases

Denna sida lovar inte fuzzy matchning, typo reparation eller semantisk sammanslagning. Värden som liknar en person kan förbli separata om de innehåller olika avstånd, skiljetecken eller bokstavsfall. Det är vanligtvis rätt beteende när du behöver förutsägbar, linjebaserad rengöring.

Integritet och lokal bearbetning

Innan du förlitar dig på Deduped Text

Innan du använder utgången i ett annat verktyg eller laddar upp det någon annanstans, bestämma om vitrymd, kapitalisering och originalorder bär mening i dina data. Om de gör det, är en snabb dedupe pass användbar för granskning men bör inte ersätta en slutlig manuell kontroll.

Vad Deduped Output garanterar inte

Att ta bort upprepade linjer validerar inte stavning, sammanfogar nära matcher eller bestämmer vilken variant som är den rätta att behålla. Det är ett rengöringssteg, inte en semantisk översyn. Om liknande linjer skiljer sig från en karaktär eller extra vitrymd, kan resultatet fortfarande behöva manuell inspektion.

Hur man tolkar vad räknas som ett duplicat

Deduplicering beror på de exakta jämförelseregler som används på inmatningstexten. Skillnader i att hölja, leda eller spåra utrymmen, dolda flikar eller line-end stil kan ändra om två linjer behandlas som samma. Granska den ursprungliga texten noggrant om utgången inte matchar din förväntan.

Deduplicering sker i din webbläsare så klistrade listor stannar på din enhet under rutinmässig rengöring. Det är användbart när texten innehåller kundexport, interna identifierare eller utkast till arbetsuppgifter som du inte vill skicka till en tredjepartstjänst.

Relaterade verktyg

HTML till Plain Text Converter

Konvertera HTML till vanlig text när du rengör e-postmallar, skrapade utdrag, CMS-export, supportinnehåll eller kopierade webbsidor. Det hjälper dig att ta bort markup snabbt samtidigt som du bevarar läsbar text för anteckningar, dokument, prompts eller nedströms bearbetning. ToolMill gör omvandlingen i webbläsaren, vilket är användbart när källan HTML innehåller privat eller klientkänsligt innehåll.

Texttext

Markdown till HTML Converter

Konvertera Markdown till HTML när du förbereder blogginlägg, dokumentation, README-innehåll, CMS-poster, e-postmeddelanden eller kunskapsbasartiklar. Det är till hjälp för att kontrollera hur rubriker, betoning, listor och kodstil innehåll kommer att göra innan publicering. ToolMill körs lokalt i din webbläsare, vilket gör det till ett snabbt integritetsvänligt alternativ till online-omvandlare som laddar upp ditt utkast till text.

Texttext

Ta bort tomma linjer från text

Ta bort tomma linjer från klistrade text omedelbart samtidigt som de återstående raderna i samma ordning. Detta är användbart för rengöringsloggar, listor, kopierade kalkylblad, CSV- eller TSV-uttag, kodblock, e-postutkast och text som dras från PDF-filer eller chattexport. ToolMill körs helt i din webbläsare, så privat text stannar på din enhet.

Texttext

Slugify text för SEO-vänliga webbadresser

Vänd titlar, rubriker, produktnamn och artikelidéer till rena URL-sniglar för bloggar, CMS-poster, landningssidor och utvecklarrutter. Det är användbart när du vill ha läsbara, SEO-vänliga webbadresser utan punktering eller avståndsproblem. ToolMill ger dig ett snabbt in-browser-resultat utan annonser, kontoväggar eller skickar utkast till sidtitlar off-site.

Texttext