重复数据过滤神器 1.0 绿色版

重复数据过滤神器是由淘宝神器推出的一款支持字符串、csv文件去重复的重复数据过滤神器，如果说大家有做过数据采集方面的工作的话，比如说邮箱、淘宝买家帐号、QQ帐号，或其它类似的帐号、ID等信息的采集，有重复数据就能够很好的帮助到大家去除重复数据。

功能支持

一、字符串过滤

去除重复字串（只保留一次），过滤时一行一个字符串（字符串如帐号、ID等）。

二、csv文件数据过滤

直接去除csv数据中的重复数据。要对csv进行过滤时，需要先指定以哪一个列作为过滤基准，即，如果不同行中的该列数据一样时，表示二个行是相同的，那么将只保留最前面的那一行，后面的行将被忽略。设置好后，选择过滤后产生的新文件要保存的位置，点击“开始过滤”即可完成csv文件的数据过滤。

适用范围

假如你采集了很多邮箱、淘宝买家帐号、QQ帐号，或其它类似的帐号、ID等信息，但里面有很多重复的数据，手工去除那太慢太烦容易出错，那么你应该用淘宝神器之重复数据过滤神器来过滤重复的数据（只保留一次）。