shell两个文件去重的多种姿势(shell 多个文件合并)

编辑：rootadmin

推荐整理分享shell两个文件去重的多种姿势(shell 多个文件合并)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:shell合并两个文件,shell 多个文件合并,shell对比两个文件,shell两个文件内容比较,shell两个文件内容比较,shell合并两个文件,shell两个文件内容比较,shell把两个文件合并,内容如对您有帮助，希望把文章链接给更多的朋友！

前言

大家都知道shell在文本处理上确有极大优势，比如多文本合并、去重等，但是最近遇到了一个难搞的问题，即两个大数据量文件去重。下面来看看详细的介绍吧。

要求

有txt文件A.txt和B.txt。

其中A为关键词和搜索量，以逗号分隔，约万行。

B为关键词，约万行。

需要从A中找出与B重复的关键词。

我试了N种姿势，但结果都不尽人意，最奇怪的是有些方法对小数据量的测试文件有用，一旦用在A与B上就会失败，真叫人百思不得其解。

姿势一：

姿势二：

姿势三：

姿势四：

其实还有一种grep -v 、grep -f 的方法，但是我没有试过，所以不在这里列出了。

总结

本文链接地址:https://www.jiuchutong.com/biancheng/371503.html 转载请保留说明！