接手他人给的语料时

1.先dos2unix,然后去重；

自己制作语料时

1.注意不要在词条后面加空格。检测办法：按左右箭头键检测行上是否加入了不该加入的空格；

2. 文件的最后一行内容上要按回车键，不然到linux下vim会有neol标识，dos2unix也无效。这种文件状态可能会导致算法运行结果不正确。