上傳 CSV / Excel 或直接貼上資料,選擇比對欄位,一鍵找出並移除重複列。WebAssembly FNV-1a 雜湊加速,百萬筆資料也不卡頓,匯出乾淨的資料檔案。
資料去重工具讓你上傳 CSV/Excel 或直接貼上資料,選擇比對欄位,一鍵找出並移除重複列。它以 WebAssembly 的 FNV-1a 雜湊加速,即使百萬筆資料也能快速處理。重複資料會干擾統計、灌水名單、造成重複寄送,去重是資料清理的基本功。
你可以選擇以整列完全相同,或以特定欄位(如 Email、電話)作為判斷重複的依據,靈活對應不同需求。
工具根據您選取的欄位組合判斷重複。例如選擇「姓名」和「電子郵件」兩欄,只要這兩欄的值完全相同(大小寫敏感)就視為重複列。您可以靈活勾選任意欄位組合,找出業務邏輯上的重複資料。
本工具使用 WebAssembly 實作 FNV-1a 32 位元雜湊演算法,對每一列資料計算快速指紋(fingerprint),再用雜湊表進行 O(n) 複雜度的重複偵測。對於 10 萬列以上的大型資料集,WASM 版本比純 JavaScript 字串比對快 3-5 倍。
「保留第一筆」表示當多列資料重複時,保留在檔案中最先出現的那一列,刪除後續的重複列,適合用於時序資料(最舊的記錄優先)。「保留最後一筆」則保留最後出現的,適合保留最新更新的記錄。
不會。所有資料解析、雜湊計算、去重處理均在您的瀏覽器本地執行,使用 PapaParse 解析 CSV、SheetJS 解析 Excel,計算完全離線。檔案內容不會傳送至任何外部伺服器。
可以。你能選擇以整列完全相同,或以特定欄位(如 Email、電話)作為判斷重複的依據,靈活對應不同的去重需求。
可以。工具以 WebAssembly 的 FNV-1a 雜湊加速比對,即使百萬筆資料也能快速找出重複列。
通常是格式不一致(多空白、大小寫或全半形不同)導致雜湊不同。去重前先統一格式能提升準確度。
不會。所有比對與去重都在你的瀏覽器本機完成,資料不會上傳或儲存。