位置: 编程技术 - 正文

linux下的删除重复行命令uniq详细介绍和实例(linux 删除重复文件)

编辑:rootadmin

推荐整理分享linux下的删除重复行命令uniq详细介绍和实例(linux 删除重复文件),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:linux删除文件中重复行,linux常用命令 删除,linux删除sh,linux中删除命令的用法,linux中删除命令的用法,linux 删除重复文件,linux 删除重复文件,linux 删除重复文件,内容如对您有帮助,希望把文章链接给更多的朋友!

一,uniq干什么用的

文本中的重复行,基本上不是我们所要的,所以就要去除掉。linux下有其他命令可以去除重复行,但是我觉得uniq还是比较方便的一个。使用uniq的时候要注意以下二点1,对文本操作时,它一般会和sort命令进行组合使用,因为uniq 不会检查重复的行,除非它们是相邻的行。如果您想先对输入排序,使用sort -u。2,对文本操作时,若域中为先空字符(通常包括空格以及制表符),然后非空字符,域中字符前的空字符将被跳过

二,uniq参数说明

复制代码代码如下:[zhangy@BlackGhost ~]$ uniq --help用法:uniq [选项]... [文件]从输入文件或者标准输入中筛选相邻的匹配行并写入到输出文件或标准输出。</p><p>不附加任何选项时匹配行将在首次出现处被合并。</p><p>长选项必须使用的参数对于短选项时也是必需使用的。 -c, --count //在每行前加上表示相应行目出现次数的前缀编号 -d, --repeated //只输出重复的行 -D, --all-repeated //只输出重复的行,不过有几行输出几行 -f, --skip-fields=N //-f 忽略的段数,-f 1 忽略第一段 -i, --ignore-case //不区分大小写 -s, --skip-chars=N //根-f有点像,不过-s是忽略,后面多少个字符 -s 5就忽略后面5个字符 -u, --unique //去除重复的后,全部显示出来,根mysql的distinct功能上有点像 -z, --zero-terminated end lines with 0 byte, not newline -w, --check-chars=N //对每行第N 个字符以后的内容不作对照 --help //显示此帮助信息并退出 --version //显示版本信息并退出

其中-z不知道有什么用

三,测试文本文件uniqtest

复制代码代码如下:this is a test this is a test this is a test i am tank i love tank i love tank this is a test whom have a try WhoM have a try you have a try i want to abroad those are good men we are good men

四,实例详解

复制代码代码如下:[zhangy@BlackGhost mytest]$ uniq -c uniqtest 3 this is a test 1 i am tank 2 i love tank 1 this is a test //和第一行是重复的 1 whom have a try 1 WhoM have a try 1 you have a try 1 i want to abroad 1 those are good men 1 we are good men

从上例子中我们可以看出,uniq的一个特性,检查重复行的时候,只会检查相邻的行。重复数据,肯定有很多不是相邻在一起的。

复制代码代码如下:[zhangy@BlackGhost mytest]$ sort uniqtest |uniq -c 1 WhoM have a try 1 i am tank 2 i love tank 1 i want to abroad 4 this is a test 1 those are good men 1 we are good men 1 whom have a try 1 you have a try

这样就可以解决上个例子中提到的问题

linux下的删除重复行命令uniq详细介绍和实例(linux 删除重复文件)

复制代码代码如下:[zhangy@BlackGhost mytest]$ uniq -d -c uniqtest 3 this is a test 2 i love tank

uniq -d 只显示重复的行

复制代码代码如下:[zhangy@BlackGhost mytest]$ uniq -D uniqtest this is a test this is a test this is a test i love tank i love tank

uniq -D 只显示重复的行,并且把重复几行都显示出来。他不能和-c一起使用

复制代码代码如下:[zhangy@BlackGhost mytest]$ uniq -f 1 -c uniqtest 3 this is a test 1 i am tank 2 i love tank 1 this is a test 2 whom have a try 1 you have a try 1 i want to abroad 2 those are good men //只有一行,显示二行

在这里those只有一行,显示的却是重复了,这是因为,-f 1 忽略了第一列,检查重复从第二字段开始的。

复制代码代码如下:[zhangy@BlackGhost mytest]$ uniq -i -c uniqtest 3 this is a test 1 i am tank 2 i love tank 1 this is a test 2 whom have a try //一个大写,一个小写 1 you have a try 1 i want to abroad 1 those are good men 1 we are good men

检查的时候,不区分大小写

复制代码代码如下: [zhangy@BlackGhost mytest]$ uniq -s 4 -c uniqtest 3 this is a test 1 i am tank 2 i love tank 1 this is a test 3 whom have a try //根上一个例子有什么不同 1 i want to abroad 1 those are good men 1 we are good men

检查的时候,不考虑前4个字符,这样whom have a try 就和 you have a try 就一样了。

复制代码代码如下:[zhangy@BlackGhost mytest]$ uniq -u uniqtest i am tank this is a test whom have a try WhoM have a try you have a try i want to abroad those are good men we are good men

去重复的项,然后全部显示出来

复制代码代码如下:[zhangy@BlackGhost mytest]$ uniq -w 2 -c uniqtest 3 this is a test 3 i am tank 1 this is a test 1 whom have a try 1 WhoM have a try 1 you have a try 1 i want to abroad 1 those are good men 1 we are good men

对每行第2个字符以后的内容不作检查,所以i am tank 根 i love tank就一样了。

Linux的系统的安全如何保障?保护Linux系统安全的九个常用方法 在现在这个世道中,保障基于Linux的系统的安全是十分重要的。但是,你得知道怎么干。一个简单反恶意程序软件是远远不够的,你需要采取其它措施来

Linux平台上的多种软件安装方式与更友好的包管理相关软件介绍 一、Linux平台上软件安装卸载的四种方式1、源码包安装、卸载优点:性能最好,稳定缺点:安装稍微复杂,容易出错一般软件的源码包都进行了压缩,

3种方法教你Linux如何进入终端界面 要用Linux,就必须要会用终端。下面积木网小编就教大家3种Linux如何进入终端界面方法,很简单,希望能帮到大家。方法/步骤第一种方法:按Ctrl+Alt+T即

标签: linux 删除重复文件

本文链接地址:https://www.jiuchutong.com/biancheng/353466.html 转载请保留说明!

上一篇:linux中Shell日期转为时间戳的方法(shell 日期运算)

下一篇:Linux的系统的安全如何保障?保护Linux系统安全的九个常用方法(linux系统的安装与配置)

  • 土地使用税的纳税义务人
  • 支付企业所得税会计科目
  • 小规模纳税人个税是月报还是季报
  • 用友U8财务报表UFO怎么生成
  • 投资收益分红需要交企业所得税吗
  • 小规模增值税做那个费用科目
  • 交易性金融资产是什么意思
  • 追加的固定资产当月计提折旧吗
  • 税控设备全额抵扣政策
  • 购买的专利可以进费用吗
  • 出口退税金额和进项税额不一致
  • 留底进项税额办理退税需要什么手续
  • 建筑企业发生的招标代理费一般计入
  • 商品返点收入账务处理
  • 50万股份分红
  • 收到购货方退回的发票联和抵扣联如何处理?
  • 虚拟股权分红怎么做账
  • 法律诉讼费计入什么会计科目
  • 电梯维保公司缴税标准
  • 商标续展费用入什么科目
  • win10锁屏界面不能输入密码
  • 监事会成员是什么人
  • windows10如何开启wifi
  • php数组函数实现机选双色球
  • php详细安装步骤
  • deepin linux安装教程
  • 微软surface售后电话人工
  • 已提折旧固定资产评估增值的会计处理是企业会计准则
  • 什么是减值测试方法
  • 系统资源不足,无法
  • php教程全集
  • php img
  • 建筑业2021年享受核定征收吗
  • 现金流量表相关题目
  • 气象数据32766
  • 微信支付开发步骤
  • 商品仓储费用会增加吗
  • 对公收费明细入账计入什么科目
  • javascript数据类型
  • 融资租赁的会计科目
  • python中的包有哪些
  • 利润表增加利润怎么做
  • mysql嵌套语句
  • 利用java实现计算器
  • 景点门票做什么科目
  • 城市维护建设税怎么算
  • 以前年度损益调整怎么做账
  • 实收资本怎么确认入账
  • 发票商品编码在发票上面体现出来吗
  • ubuntul
  • etcfstab文件修改
  • 苹果mac双系统好不好
  • Win10 Mobile RS2预览版WiFi设置页面将和pc页面相同
  • mac win10 wifi
  • 苹果mac怎样
  • win11注意
  • win7开机黑屏只有一个鼠标箭头
  • linux用户添加
  • jquerymobile
  • easyui combotree加载静态数据问题(选不上)解决方法
  • 拼图java代码
  • html label标签的使用教程
  • javascript以及javascript的作用
  • 简述jquery的优势
  • nodejs fabric
  • python字符串常用的五种方法
  • unityshader插件
  • layui jquery事件失效
  • jquery滚动插件
  • android程序代码
  • js 判断
  • 税控盘连接服务器失败是什么原因黑盘发票无法上传
  • 社保银行代扣收费吗
  • 江苏国税申报
  • 通用机油防伪查询
  • 国家税务总局公告2013年第12号
  • 湖南电子税务申报
  • 广东省社保缴费基数
  • 税务培训主题
  • 怎样在网上申报税务流程
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设