位置: 编程技术 - 正文
shell两个文件去重的多种姿势(shell 多个文件合并)
编辑：rootadmin推荐整理分享shell两个文件去重的多种姿势(shell 多个文件合并)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:shell合并两个文件,shell 多个文件合并,shell对比两个文件,shell两个文件内容比较,shell两个文件内容比较,shell合并两个文件,shell两个文件内容比较,shell把两个文件合并,内容如对您有帮助，希望把文章链接给更多的朋友！
前言
大家都知道shell在文本处理上确有极大优势，比如多文本合并、去重等，但是最近遇到了一个难搞的问题，即两个大数据量文件去重。下面来看看详细的介绍吧。
要求
有txt文件A.txt和B.txt。
其中A为关键词和搜索量，以逗号分隔，约万行。
B为关键词，约万行。
需要从A中找出与B重复的关键词。
我试了N种姿势，但结果都不尽人意，最奇怪的是有些方法对小数据量的测试文件有用，一旦用在A与B上就会失败，真叫人百思不得其解。
姿势一：
姿势二：
姿势三：
姿势四：
其实还有一种grep -v 、grep -f 的方法，但是我没有试过，所以不在这里列出了。
总结
标签: shell 多个文件合并
本文链接地址:https://www.jiuchutong.com/biancheng/371503.html 转载请保留说明！上一篇：用Shell判断字符串包含关系的方法小结(shell脚本判断一个字符串是否为空)
