位置: 编程技术 - 正文

Shell脚本实现乱序排列文件内容的多种方法(洗牌问题)(shell脚本ll)

编辑:rootadmin

推荐整理分享Shell脚本实现乱序排列文件内容的多种方法(洗牌问题)(shell脚本ll),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:shell脚本-le,shell脚本.sh,shell脚本-lt,shell脚本ne,shell脚本-lt,shell脚本wc,shell脚本一百例,shell脚本一百例,内容如对您有帮助,希望把文章链接给更多的朋友!

洗牌问题:洗一副扑克,有什么好办法?既能洗得均匀,又能洗得快?即相对于一个文件来说怎样高效率的实现乱序排列?

ChinaUnix 确实是 Shell 高手云集的地方,只要你想得到的问题,到那里基本上都能找到答案。r 给出了一个取巧的方法,利用 Shell 的 $RANDOM 变量给原文件的每一行加上随机的行号然后根据这个随机行号进行排序,再把临时加上去的行号给过滤掉,这样操作之后得到的新文件就相当于被随机“洗”了一次:当然如果你的源文件每行的内容比较复杂的话就必须对这段代码进行改写,但只要知道了处理的关键技巧,剩下的问题都不难解决。

另外一篇来自苏蓉蓉的用 awk 来实现洗牌效果的随机文件排序代码分析(原贴在这里,以及对此帖的一个后续讨论,如果你没有登录帐号的话可以到这里查看精华区文章)则写的更为详细:--------------------------------------------------------------------关于洗牌问题,其实已经有了一个很好的shell解法,这里另外给三个基于AWK的方法,有错误之处还请不吝指出。

方法一:穷举

类似于穷举法,构造一个散列来记录已经打印行出现行的次数,如果出现次数多于一次则不进行处理,这样可以防止重复,但缺点是加大了系统的开销。方法二:变换

基于数组下标变换的办法,即用数组储存每行的内容,通过数组下标的变换交换数组的内容,效率好于方法一。方法三:散列

三个方法中最好的。 利用AWK中散列的特性(详细请看:info gawk 中的7.x ),只要构造一个随机不重复的散列函数即可,因为一个文件每行的linenumber是独一无二的,所以用:

随机数+每行linenumber ------对应------> 那一行的内容

Shell脚本实现乱序排列文件内容的多种方法(洗牌问题)(shell脚本ll)

即为所构造的随机函数。 从而有:

其实大家担心的使用内存过大的问题不必太在意,可以做一个测试:

测试环境:

PM 1.4GHz CPU,G硬盘,内存M的LAPTOPSUSE 9.3 GNU bash version 3.. GNU Awk 3.1.4

产生一个五十几万行的随机文件,大约有M:拿效率较低的方法一来说:

洗牌一次所用时间:结果(文件内容省略):所以效率还是勉强可以接受的。

方法二的测试:结果(文件内容省略):效率明显好于第一个。

接着考察一下方法三的效率:结果(文件内容省略):对于一个M的文件来说已经相当不错了。--------------------------------------------------------------------

附带存一个来自 flyfly 写的 python 版本乱序代码:

Shell脚本实现生成SSL自签署证书 启用apache的mod_ssl之后需要有证书才能正常运作。写了个脚本来操作。首先要确定机器上已经有openssl。#!/bin/sh##ssl证书输出的根目录。sslOutputRoot="/etc/apach

Shell脚本中非交互式修改密码的两种方法 今天在写一个shell脚本的时候发现需要设置用户的密码,而设置密码是交互式的,这样在脚本中显然是不太好的,因此上网查找资料,发现了以下两种常

Shell脚本实现自动安装zookeeper A:本脚本运行的机器,LinuxRHEL6B,C,D,...:待安装zookeepercluster的机器,LinuxRHEL6首先在脚本运行的机器A上确定可以ssh无密码登录到待安装zk的机器B,C,D,...上,

标签: shell脚本ll

本文链接地址:https://www.jiuchutong.com/biancheng/381257.html 转载请保留说明!

上一篇:Shell脚本实现查杀子进程、僵尸进程(查看shell脚本)

下一篇:Shell脚本实现生成SSL自签署证书(shell脚本生成文件)

  • 房产税税额怎么算
  • 彩票税率税率
  • 纳税人识别号是什么哪里可以查到
  • 移动发票抬头个人税号公司能报销吗
  • 电子发票作废了还能恢复吗
  • 开具成品油专用发票时,应遵守哪些规则
  • 专用发票丢失怎么抵扣
  • 外购货物用于集体福利属于什么
  • 融资融券与普通证券交易的区别体现在
  • 报销油费如何写摘要及会计分录怎么做?
  • 所得税汇算清缴账务处理
  • 制造费用属于成本类还是损益类
  • 企业拆迁补偿款要交税吗
  • 营业账簿印花税包括什么
  • 如何确定增值税
  • 新注册公司季度资产为零
  • 委托研发受托方怎么做账
  • 银行透支算资产吗
  • 应收款项核销的原因
  • 差额征税预缴税额怎么算
  • gh树形数据是什么意思
  • 余款退回会计分录
  • win10 热键
  • php字符串型数据的定义方式
  • 代理报关费会计怎么做账
  • 2021新旧会计准则
  • 境外所得税抵免汇率
  • nicconfigsvc.exe - nicconfigsvc是什么进程 有什么用
  • 汇算清缴哪些表必填
  • php rest api
  • 固定资产非正常中断没超过三个月
  • php 错误提示
  • zend框架教程
  • 挂靠公司收费几个点
  • php7.3安装
  • php单例模式什么时候用
  • 优化in
  • 深入浅出讲解傅里叶变换
  • 卸载的应用怎么找回来
  • web前端修炼之道
  • Win11系统自带输入法怎么卸载
  • openai发布企业版
  • php验证系统
  • php如何上传文件
  • 除财政部门外,审计税务人民银行
  • python Timer定时器如何使用?
  • access2000是什么
  • 进口关税增值税在哪里打印
  • 一般纳税人税务的比例
  • 新会计准则有哪三个
  • 现金流量表算财务报表吗
  • 企业所得税资产总额季初季末怎么填
  • 企业固定资产对应哪个科目
  • 对公账户转到个人账户怎么做账
  • 增值税附加税的比例
  • 企业租车接送员工上下班
  • 收到现金货款怎么处理
  • 金税盘是怎样的
  • 增资协议书范本合同
  • sql排序分组语句
  • mysql -u -p -s
  • sqlserver的基本语句
  • 出现错误,请联系客服
  • 政府禁用windows8
  • win2003开启远程桌面
  • cmd命令 cd
  • linux常见压缩工具
  • libegl.dll病毒
  • msworks.exe - msworks是什么进程 有什么用
  • nero recode
  • 批量装win7
  • win8自启动在哪儿设置
  • linux怎么cd
  • vps禁用ipv6
  • Win10 Mobile 10586.164中文版升级截图曝光
  • 简单的小创意
  • 基于node.js的跳蚤市场网站主要内容
  • 农产品进项税额核定扣除
  • 税务年报截止日期2022
  • 地方税务局怎么样
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设