Supprimer les lignes dupliquées

Exemples

apple
banana
apple
orange
banana

apple
banana
orange

 Alpha
alpha
ALPHA  
Beta
 beta

Alpha
Beta

Cas d'utilisation courante pour supprimer les lignes dupliquées

Deduping lines est utile pour nettoyer les listes de courriels, les noms d'utilisateur exportés, les jeux de mots clés, les colonnes de tableur copiées, les fragments de journal, et le texte brut collé de chat ou de documents. Il vous donne un point de départ plus rapide avant de trier, comparer des versions ou importer des données dans un autre système.

Qu'est-ce qui compte comme une ligne dupliquée ?

Cet outil compare les lignes entières exactement comme elles apparaissent après la division sur les ruptures de ligne. Si deux lignes diffèrent par la capitalisation, l'espacement, la ponctuation ou des onglets cachés, elles peuvent toujours compter comme valeurs différentes. Ce qui importe quand les données collées ressemblent à l'œil mais n'est pas vraiment identique.

Comment l'ordre en ligne est-il conservé?

L'attente habituelle sur un outil de dupe est de garder la première occurrence de chaque ligne unique et jeter les répétitions ultérieures. Cela signifie que la sortie peut rester lisible et familière au lieu d'être utilisée automatiquement. Si vous voulez aussi l'ordre alphabétique, il est généralement préférable de dédouber d'abord et de trier ensuite comme une étape séparée.

Avant et après des exemples pour les entrées réelles

Un exemple réaliste est une liste collée de noms d'hôte, de balises ou d'adresses e-mail où la même valeur apparaît plusieurs fois dans différentes parties de la liste. Un autre est une colonne de tableur copiée avec des produits ou des ID répétés. Deduping ces lignes rend l'examen, la recherche et les contrôles d'importation beaucoup plus faciles.

Préparation du texte avant la déduplication

Si votre source contient des enveloppes ou des espaces de fuite incohérents, vous voudrez peut-être d'abord les normaliser. L'élimination d'espaces blancs supplémentaires ou de cas de conversion avant le dédoublement peut réduire les quasi-duplications accidentelles qui survivent seulement parce qu'elles sont orthographiées légèrement différemment.

Cas de limites et de bords

Cette page ne promet pas une correspondance floue, une réparation typographique ou une fusion sémantique. Les valeurs qui semblent équivalentes à celles d'une personne peuvent rester distinctes si elles contiennent un espacement, une ponctuation ou un cas de lettre différents. C'est généralement le bon comportement quand vous avez besoin de nettoyage prévisible, basé sur la ligne.

Confidentialité et traitement local

La déduplication se produit dans votre navigateur de sorte que les listes collées restent sur votre appareil pendant le nettoyage de routine. C'est utile lorsque le texte contient des exportations de clients, des identifiants internes ou des données de travail provisoires que vous ne souhaitez pas envoyer à un service tiers.

Outils connexes