位置: 编程技术 - 正文

linux下的删除重复行命令uniq详细介绍和实例(linux 删除重复文件)

编辑:rootadmin

推荐整理分享linux下的删除重复行命令uniq详细介绍和实例(linux 删除重复文件),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:linux删除文件中重复行,linux常用命令 删除,linux删除sh,linux中删除命令的用法,linux中删除命令的用法,linux 删除重复文件,linux 删除重复文件,linux 删除重复文件,内容如对您有帮助,希望把文章链接给更多的朋友!

一,uniq干什么用的

文本中的重复行,基本上不是我们所要的,所以就要去除掉。linux下有其他命令可以去除重复行,但是我觉得uniq还是比较方便的一个。使用uniq的时候要注意以下二点1,对文本操作时,它一般会和sort命令进行组合使用,因为uniq 不会检查重复的行,除非它们是相邻的行。如果您想先对输入排序,使用sort -u。2,对文本操作时,若域中为先空字符(通常包括空格以及制表符),然后非空字符,域中字符前的空字符将被跳过

二,uniq参数说明

复制代码代码如下:[zhangy@BlackGhost ~]$ uniq --help用法:uniq [选项]... [文件]从输入文件或者标准输入中筛选相邻的匹配行并写入到输出文件或标准输出。</p><p>不附加任何选项时匹配行将在首次出现处被合并。</p><p>长选项必须使用的参数对于短选项时也是必需使用的。 -c, --count //在每行前加上表示相应行目出现次数的前缀编号 -d, --repeated //只输出重复的行 -D, --all-repeated //只输出重复的行,不过有几行输出几行 -f, --skip-fields=N //-f 忽略的段数,-f 1 忽略第一段 -i, --ignore-case //不区分大小写 -s, --skip-chars=N //根-f有点像,不过-s是忽略,后面多少个字符 -s 5就忽略后面5个字符 -u, --unique //去除重复的后,全部显示出来,根mysql的distinct功能上有点像 -z, --zero-terminated end lines with 0 byte, not newline -w, --check-chars=N //对每行第N 个字符以后的内容不作对照 --help //显示此帮助信息并退出 --version //显示版本信息并退出

其中-z不知道有什么用

三,测试文本文件uniqtest

复制代码代码如下:this is a test this is a test this is a test i am tank i love tank i love tank this is a test whom have a try WhoM have a try you have a try i want to abroad those are good men we are good men

四,实例详解

复制代码代码如下:[zhangy@BlackGhost mytest]$ uniq -c uniqtest 3 this is a test 1 i am tank 2 i love tank 1 this is a test //和第一行是重复的 1 whom have a try 1 WhoM have a try 1 you have a try 1 i want to abroad 1 those are good men 1 we are good men

从上例子中我们可以看出,uniq的一个特性,检查重复行的时候,只会检查相邻的行。重复数据,肯定有很多不是相邻在一起的。

复制代码代码如下:[zhangy@BlackGhost mytest]$ sort uniqtest |uniq -c 1 WhoM have a try 1 i am tank 2 i love tank 1 i want to abroad 4 this is a test 1 those are good men 1 we are good men 1 whom have a try 1 you have a try

这样就可以解决上个例子中提到的问题

linux下的删除重复行命令uniq详细介绍和实例(linux 删除重复文件)

复制代码代码如下:[zhangy@BlackGhost mytest]$ uniq -d -c uniqtest 3 this is a test 2 i love tank

uniq -d 只显示重复的行

复制代码代码如下:[zhangy@BlackGhost mytest]$ uniq -D uniqtest this is a test this is a test this is a test i love tank i love tank

uniq -D 只显示重复的行,并且把重复几行都显示出来。他不能和-c一起使用

复制代码代码如下:[zhangy@BlackGhost mytest]$ uniq -f 1 -c uniqtest 3 this is a test 1 i am tank 2 i love tank 1 this is a test 2 whom have a try 1 you have a try 1 i want to abroad 2 those are good men //只有一行,显示二行

在这里those只有一行,显示的却是重复了,这是因为,-f 1 忽略了第一列,检查重复从第二字段开始的。

复制代码代码如下:[zhangy@BlackGhost mytest]$ uniq -i -c uniqtest 3 this is a test 1 i am tank 2 i love tank 1 this is a test 2 whom have a try //一个大写,一个小写 1 you have a try 1 i want to abroad 1 those are good men 1 we are good men

检查的时候,不区分大小写

复制代码代码如下: [zhangy@BlackGhost mytest]$ uniq -s 4 -c uniqtest 3 this is a test 1 i am tank 2 i love tank 1 this is a test 3 whom have a try //根上一个例子有什么不同 1 i want to abroad 1 those are good men 1 we are good men

检查的时候,不考虑前4个字符,这样whom have a try 就和 you have a try 就一样了。

复制代码代码如下:[zhangy@BlackGhost mytest]$ uniq -u uniqtest i am tank this is a test whom have a try WhoM have a try you have a try i want to abroad those are good men we are good men

去重复的项,然后全部显示出来

复制代码代码如下:[zhangy@BlackGhost mytest]$ uniq -w 2 -c uniqtest 3 this is a test 3 i am tank 1 this is a test 1 whom have a try 1 WhoM have a try 1 you have a try 1 i want to abroad 1 those are good men 1 we are good men

对每行第2个字符以后的内容不作检查,所以i am tank 根 i love tank就一样了。

Linux的系统的安全如何保障?保护Linux系统安全的九个常用方法 在现在这个世道中,保障基于Linux的系统的安全是十分重要的。但是,你得知道怎么干。一个简单反恶意程序软件是远远不够的,你需要采取其它措施来

Linux平台上的多种软件安装方式与更友好的包管理相关软件介绍 一、Linux平台上软件安装卸载的四种方式1、源码包安装、卸载优点:性能最好,稳定缺点:安装稍微复杂,容易出错一般软件的源码包都进行了压缩,

3种方法教你Linux如何进入终端界面 要用Linux,就必须要会用终端。下面积木网小编就教大家3种Linux如何进入终端界面方法,很简单,希望能帮到大家。方法/步骤第一种方法:按Ctrl+Alt+T即

标签: linux 删除重复文件

本文链接地址:https://www.jiuchutong.com/biancheng/353466.html 转载请保留说明!

上一篇:linux中Shell日期转为时间戳的方法(shell 日期运算)

下一篇:Linux的系统的安全如何保障?保护Linux系统安全的九个常用方法(linux系统的安装与配置)

  • 个人所得税年终奖单独计税怎么操作
  • 什么是简易征税项目
  • 出口退税附加税分录怎么写
  • 商业折扣和现金折扣的入账金额
  • 继续教育专项扣除金额
  • 公司购车入固定资产包括哪些
  • 出国考察需要什么手续
  • 工资结算单属于通用凭证吗
  • 进口增值税的计税依据
  • 变更税务登记证需要提供哪些材料
  • 个体工商户增值税怎么计算
  • 零余额账户银行余额调节表
  • 个人独资的企业性质是什么
  • 一个月怎么控制花一千块
  • 工程安装公司是干嘛的
  • 企业接受大额捐赠,可以分次确认收入缴纳企业所得税吗?
  • 物业公司要怎么开水电费证明
  • 小型微利企业普惠性
  • 房地产公司需要和哪些部门打交道
  • 应税货物销售额怎么计算
  • 专用发票发票联丢失怎么办
  • 处置子公司合并抵消
  • 企业所得税弥补
  • 小规模企业国税怎么报税
  • 境外取得收入
  • 微信占用空间大是怎么回事
  • 单位撤销现金余额的规定
  • thinkphp query
  • 周转材料摊销是什么科目
  • 企业生产经营过程中的在产品属于
  • 扣缴个人所得税报告表在哪里打印
  • 什么是收付实现制?什么是权责发生制?
  • php判断useragent
  • css3两种调整背景图片大小的方式
  • pytorch教程
  • php remote_addr
  • 住宿费发票可以开专票吗
  • 使用xampp建立www服务
  • 将织梦dedecms转换到wordpress
  • 工会经费的会计分录2022
  • 停工损失会计科目
  • 什么叫现金流量表举例说明
  • 电子发票如何申领取电子发票
  • 收到退还的增值税
  • 预缴增值税需要提供什么资料
  • 发票隔月可以重开吗
  • 普通发票的进项票怎么做分录
  • 保证金计算器
  • 应收账款计提坏账影响利润吗
  • 公司购买的家电怎么入账
  • 存货计提存货跌价准备
  • 生育保险基金的筹集原则是
  • 建筑企业怎么结算成本
  • 银行存款日记账与银行对账单之间的核对属于
  • 会计账簿按用途分类可以分为
  • 资金会计应当设置的科目
  • sql触发器菜鸟教程
  • 深度解析桂附地黄丸
  • mysql删除的数据恢复
  • 大白菜u盘备份win10教程
  • win7系统宽带连接651
  • vista loader
  • ubuntu中怎么卸载软件
  • linux查找内容在哪个文件中
  • 用ultraiso制作u盘启动盘
  • centos防火墙策略配置
  • ubuntu配置vsftpd
  • centos 6.0
  • windows如何禁止访问某ip地址
  • javascript 操作css
  • bat怎么设置
  • javascript HTML5文件上传FileReader API
  • node.js教学
  • jqueryui
  • 安卓wifi打不开解决
  • cocos2dx:C++层通过JniHelper调用JAVA层代码进而调用Android手机应用接口
  • Python字符串数组
  • javascript的dom
  • 二手车公司如何运营
  • 内蒙古国家税务局网上电子税务局官网
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设