Hapus Baris Duplikat

Contoh

apple
banana
apple
orange
banana

apple
banana
orange

 Alpha
alpha
ALPHA  
Beta
 beta

Alpha
Beta

Common Gunakan Kases untuk Menghapus Baris Duplikat

Baris deduping berguna ketika menghapus daftar surel, diekspor nama pengguna, set kata kunci, kolom spreadsheet disalin, fragmen log, dan teks kasar disisipkan dari percakapan atau dokumen. Ini memberikan Anda titik awal yang lebih cepat sebelum menyortir, membandingkan versi, atau mengimpor data ke sistem lain.

Apa Counts sebagai Duplikasi Line?

Alat ini membandingkan seluruh baris persis seperti yang mereka muncul setelah membelah pada istirahat baris. Jika dua baris berbeda dengan kapitalisasi, jarak, tanda baca, atau tab tersembunyi, mereka masih dapat menghitung sebagai nilai yang berbeda. Itu penting ketika data ditempelkan mirip dengan mata tapi tidak benar-benar identik.

Bagaimana Urutan Baris Dijaga

Harapan yang biasa pada alat dedupe adalah untuk menjaga kejadian pertama dari setiap baris unik dan membuang kemudian berulang. Itu berarti keluaran dapat tetap dibaca dan akrab daripada secara otomatis diurutkan. Jika Anda juga ingin urutan abjad, biasanya lebih baik untuk dedupe pertama dan mengurutkan sesudahnya sebagai langkah terpisah.

Sebelum dan Setelah Contoh Input Nyata

Contoh yang realistis adalah daftar nama host, tag, atau alamat email dimana nilai yang sama muncul berkali-kali di bagian yang berbeda dari daftar. Lain adalah kolom spreadsheet disalin dengan produk atau ID berulang. Mengurangi baris-baris membuat ulasan, pencarian, dan impor pemeriksaan jauh lebih mudah.

Mempersiapkan Teks Sebelum Deduplikasi

Jika sumber anda mengandung casing yang tidak konsisten atau spasi yang tertinggal, anda mungkin ingin menormalkannya terlebih dahulu. Menghapus whitespace ekstra atau mengubah kasus sebelum deduping dapat mengurangi kecelakaan dekat- duplikat yang bertahan hanya karena mereka dieja sedikit berbeda.

Kases Batas dan Tepi

Halaman ini tidak menjanjikan pencocokan fuzzy, perbaikan typo, atau semantik penggabungan. Nilai-nilai yang terlihat setara dengan seseorang mungkin tetap terpisah jika mereka mengandung jarak yang berbeda, tanda baca, atau huruf. Itu biasanya perilaku yang tepat ketika Anda perlu diprediksi, pembersihan line- berbasis.

Privasi dan Processing Lokal

Deduplikasi terjadi dalam peramban Anda sehingga daftar menempel tetap pada perangkat Anda selama pembersihan rutin. Itu berguna ketika teks berisi ekspor pelanggan, identifikasi internal, atau rancangan data yang bekerja Anda tidak ingin mengirim ke layanan pihak ketiga.

Perkakas terkait