在线去重工具

本页面为大家提供在线文本去重工具软件，可以轻松为大家文本去重，去重复行，将列表内容放入文本框内，每行一条，点击去重按钮，即可得到无重复数据的列表。可以实现文本txt去重复，js去重复，java数组去重复，.net数组去除重复项等。

去重工具使用步骤

使用本工具可以方便的去除文本或代码中完全重复的多余行.

首先先将8000字符以内的文本或代码复制到输入框内，点击去重复按钮

系统会自动的对输入内容段落进行比较，当其中一行的内容与另外一行重复将自动去除重复行文本内容.

去重工具可应用于文本段落、文本数据库、与无重复标签的代码之间去重复，暂不支持html等有单行出现相同符号出现的程序去重复.

命令行文件去重工具代码

命令行参数
> -c bool  是否启用级联去重操作(默认 false)
> -p string  去重操作的目录 (默认路径 /home/fastdfs/storage/data)  
> -dm string  删除的方式，目前支持3种参数(默认 ln):
              -dm="dry" 只模拟查看重复文件和执行效果，不真实执行删除操作
              -dm="rm" 直接删除重复文件; 
              -dm="ln" 删除重复文件，并且以第一个文件为源目标，创建其他文件的硬链接
> -n int   并发执行的线程数，最低1，最高10(默认 4)
> -ctime bool 是否按文件创建时间去重
> -mtime bool 是否按文件修改时间去重
> -atime bool 是否按文件访问时间去重
> -t string  时间点，例如:
        +n  n+1天前
         n  n+1天前到n天前的时间段
        -n  n天前至今          

示例
# 级联清理文件
> filecleaner -c=true -p="/home/data"

# 按文件创建时间清理，清理10天前的
> filecleaner -c=true -p="/home/data" -ctime -t=+9

# 只模拟查看清理效果，不实际删除文件
> filecleaner -c=true -p="/home/data" -dm="dry"

执行结果展示