最近需要将重复的内容去掉，所以就想到了使用bat或vbs实现，没想到网上已经有人写好了，测试也正好学习一下

使用方法：把文本拖到批处理上就行了。。。

@echo off
:: Code by oicu#lsxk.org 2007/11/29

rem chcp 437>nul
:: 看情况使用，utf-8编码的文件不能少了chcp命令，一般无需使用，
:: 但无论是否使用都不支持utf-16的文件。

:: pushd "%~dp1"
:: 如果不用pushd和popd，文件都要用绝对路径不能只用文件名。

if "%~1"=="" goto :EOF
set outputfile=%~dpn1_output%~x1

type nul>"%outputfile%"

echo Waiting...

for /F "tokens=1* delims=:" %%i in ('findstr /n .* "%~1"') do (
  findstr /B /E /C:"%%j" "%outputfile%">nul 2>&1 || echo.%%j>>"%outputfile%"
)

pause
start "" notepad "%outputfile%"
:: popd
exit

【 在 oicu (Oh! I see you!) 的大作中提到: 】
: 去重复倒是行。。缺点就是慢和保留原有的空行了。

以下是vbs实现的代码

以下是这个脚本的源代码，复制后另存为vbs后缀的文件，双击即可运行。文件要放在C盘根下的Text.TXT，请特别注意：文本中一行一条记录，不要有空行。

Const adOpenStatic = 3
Const adLockOptimistic = 3
Const adCmdText = &H0001 
Set objConnection = CreateObject("ADODB.Connection")
Set objRecordSet = CreateObject("ADODB.Recordset")

strPathToTextFile = "C:"
strFile = "Test.txt"

objConnection.Open "Provider=Microsoft.Jet.OLEDB.4.0;" & _
   "Data Source=" & strPathtoTextFile & ";" & _
     "Extended Properties=""text;HDR=NO;FMT=Delimited"""

objRecordSet.Open "Select DISTINCT * FROM " & strFile, _
  objConnection, adOpenStatic, adLockOptimistic, adCmdText

Do Until objRecordSet.EOF

Set objFSO = CreateObject("Scripting.FileSystemObject")
   set Fp=objFSO.OpenTextFile("C:test1.txt",8,True,0)
   fp.WriteLine objRecordSet.Fields.Item(0).Value
   fp.close
   set objFSO = nothing
   objRecordSet.MoveNext
Loop

批处理入门手册之批处理常用DOS命令篇(echo、rem、cd、dir)
1.1学习echoremcddir命令学习要点：1。显示信息：echo2。注释语句：rem3。目录切换：cd4。列文件名：dir一、显示信息：echo在学习echo命令前我们先在C盘下建

批处理入门手册之批处理常用DOS命令篇(attrib、del、copy、xcopy)
1.2学习attribdelcopyxcopy命令学习要点：1。设置文件属性：attrib2。删除命令：del3。复制文件：copy4。复制文件(夹)：xcopy一、设置文件属性：attrib显示或更

批处理入门手册之批处理常用DOS命令篇(md、rd、ren、move)
1.3学习mdrdrenmove命令学习要点：1.创建文件夹：md2.删除文件夹：rd3.重命名文件(夹)：ren4.移动文件(夹)：move一.创建文件夹：mdmd命令用于创建文件夹，下