位置: 编程技术 - 正文

Shell脚本实现乱序排列文件内容的多种方法(洗牌问题)(shell脚本ll)

编辑:rootadmin

推荐整理分享Shell脚本实现乱序排列文件内容的多种方法(洗牌问题)(shell脚本ll),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:shell脚本-le,shell脚本.sh,shell脚本-lt,shell脚本ne,shell脚本-lt,shell脚本wc,shell脚本一百例,shell脚本一百例,内容如对您有帮助,希望把文章链接给更多的朋友!

洗牌问题:洗一副扑克,有什么好办法?既能洗得均匀,又能洗得快?即相对于一个文件来说怎样高效率的实现乱序排列?

ChinaUnix 确实是 Shell 高手云集的地方,只要你想得到的问题,到那里基本上都能找到答案。r 给出了一个取巧的方法,利用 Shell 的 $RANDOM 变量给原文件的每一行加上随机的行号然后根据这个随机行号进行排序,再把临时加上去的行号给过滤掉,这样操作之后得到的新文件就相当于被随机“洗”了一次:当然如果你的源文件每行的内容比较复杂的话就必须对这段代码进行改写,但只要知道了处理的关键技巧,剩下的问题都不难解决。

另外一篇来自苏蓉蓉的用 awk 来实现洗牌效果的随机文件排序代码分析(原贴在这里,以及对此帖的一个后续讨论,如果你没有登录帐号的话可以到这里查看精华区文章)则写的更为详细:--------------------------------------------------------------------关于洗牌问题,其实已经有了一个很好的shell解法,这里另外给三个基于AWK的方法,有错误之处还请不吝指出。

方法一:穷举

类似于穷举法,构造一个散列来记录已经打印行出现行的次数,如果出现次数多于一次则不进行处理,这样可以防止重复,但缺点是加大了系统的开销。方法二:变换

基于数组下标变换的办法,即用数组储存每行的内容,通过数组下标的变换交换数组的内容,效率好于方法一。方法三:散列

三个方法中最好的。 利用AWK中散列的特性(详细请看:info gawk 中的7.x ),只要构造一个随机不重复的散列函数即可,因为一个文件每行的linenumber是独一无二的,所以用:

随机数+每行linenumber ------对应------> 那一行的内容

Shell脚本实现乱序排列文件内容的多种方法(洗牌问题)(shell脚本ll)

即为所构造的随机函数。 从而有:

其实大家担心的使用内存过大的问题不必太在意,可以做一个测试:

测试环境:

PM 1.4GHz CPU,G硬盘,内存M的LAPTOPSUSE 9.3 GNU bash version 3.. GNU Awk 3.1.4

产生一个五十几万行的随机文件,大约有M:拿效率较低的方法一来说:

洗牌一次所用时间:结果(文件内容省略):所以效率还是勉强可以接受的。

方法二的测试:结果(文件内容省略):效率明显好于第一个。

接着考察一下方法三的效率:结果(文件内容省略):对于一个M的文件来说已经相当不错了。--------------------------------------------------------------------

附带存一个来自 flyfly 写的 python 版本乱序代码:

Shell脚本实现生成SSL自签署证书 启用apache的mod_ssl之后需要有证书才能正常运作。写了个脚本来操作。首先要确定机器上已经有openssl。#!/bin/sh##ssl证书输出的根目录。sslOutputRoot="/etc/apach

Shell脚本中非交互式修改密码的两种方法 今天在写一个shell脚本的时候发现需要设置用户的密码,而设置密码是交互式的,这样在脚本中显然是不太好的,因此上网查找资料,发现了以下两种常

Shell脚本实现自动安装zookeeper A:本脚本运行的机器,LinuxRHEL6B,C,D,...:待安装zookeepercluster的机器,LinuxRHEL6首先在脚本运行的机器A上确定可以ssh无密码登录到待安装zk的机器B,C,D,...上,

标签: shell脚本ll

本文链接地址:https://www.jiuchutong.com/biancheng/381257.html 转载请保留说明!

上一篇:Shell脚本实现查杀子进程、僵尸进程(查看shell脚本)

下一篇:Shell脚本实现生成SSL自签署证书(shell脚本生成文件)

  • 向境外企业支付利息代扣代缴
  • 以旧换新销售商品
  • 财政补助结转会计处理
  • 小规模不报税会怎么样
  • 异地项目预缴个人所得税
  • 机器配件作价卖掉,如何做进项税转出
  • 购买的发票进项税和成本怎么转出
  • 员工自己承担的商业保险费是多少
  • 税控设备维护费怎么填申报表
  • 企业生产设备产品有哪些
  • 内部部门汇缴上级财务
  • 小规模纳税人未申报怎么处理
  • 进项税额转出报税填哪个表
  • 税率开错的增值税发票怎么办
  • 跨年补提上年工资汇算清缴
  • 损益类科目的借方表示
  • 一般纳税人增票流程
  • 车辆租赁费交的是什么税
  • 耳机插在电脑上有滋滋的声音
  • 小规模纳税人确认收入时要确认税吗
  • mac dock不见了
  • 怎么获得win10纯净版
  • 餐饮发票可以计入研发费用吗
  • 销售使用过的固定资产怎么填申报表
  • 收到供应商现金怎么入账
  • kb4598481是什么
  • list.php
  • php执行sh脚本
  • yolov5 入门
  • Web Spider Fiddler - JS Hook 基本使用
  • vuemvvm模式
  • css做三角
  • 集团公司对子公司的内部审计
  • dedecms分页标签
  • 账簿启用交接表图片
  • 汽车保险合同由什么组成
  • 股息红利所得为什么按照分配所得的企业所在地确定
  • 新公司财务需要哪些东西
  • 怎样根据税负率计算税额
  • 个人劳务费怎么退税
  • 金税四期来了我们前期要准备什么
  • 固定资产卡片账是明细账吗
  • 管理费用是怎么计算的
  • 商业汇票的承兑银行必须具备下列条件
  • 增值税专用发票几个点
  • 没有增值税专用发票
  • 拆迁补偿如何进行
  • 销售返利如何做会计分录
  • 投标代理费如何入账
  • 所得税费用结转分录
  • 手机开个人发票怎么开
  • 销售费属于期间费用
  • 残疾人就业保障金
  • sql无法用sql身份验证
  • mysql5.5.62安装配置教程
  • mysqld关闭
  • win7快速切换到桌面
  • win2003回收站
  • ubuntu无法进入系统出现uid121
  • fedora os
  • unetbootin教程
  • win8怎么调亮度调节
  • sxgdsenu.exe - sxgdsenu是什么进程 有什么用
  • centos init
  • win8系统怎样
  • centos重启动停在4m
  • win10应用商店下载不了
  • Basic Layout——基本布局
  • linux shell脚本实例
  • Lesson01_05 HTML中的超链接
  • herd什么意思
  • unity项目资源
  • 在批改中,可以使用x表示错误
  • javascript制作简易计算机
  • 提出好的建议
  • 治理体系治理能力十九届四中
  • 珠宝消费税怎么计算出来的
  • 锦江区税务局搬迁新地址
  • 贸易公司服装
  • 普通版怎么下载
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设