位置: 编程技术 - 正文
Python用list或dict字段模式读取文件的方法(python list set dict tuple)
发布时间：2024-02-27推荐整理分享Python用list或dict字段模式读取文件的方法(python list set dict tuple)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:python list dict,python list用法,python list intersection,python中list怎么用,python list dict,python list set dict tuple,python list indices,python list用法,内容如对您有帮助，希望把文章链接给更多的朋友！
前言
Python用于处理文本数据绝对是个利器，极为简单的读取、分割、过滤、转换支持，使得开发者不需要考虑繁杂的流文件处理过程（相对于JAVA来说的，嘻嘻）。博主自己工作中，一些复杂的文本数据处理计算，包括在HADOOP上编写Streaming程序，均是用Python完成。
而在文本处理的过程中，将文件加载内存中是第一步，这就涉及到怎样将文件中的某一列映射到具体的变量的过程，最最愚笨的方法，就是按照字段的下标进行引用，比如这样子：
如果按照这种方式读取，一旦文件有顺序、增减列的变动，代码的维护是个噩梦，这种代码一定要杜绝。
本文推荐两种优雅的方式来读取数据，都是先配置字段模式，然后按照模式读取，而模式则有字典模式和列表模式两种形式；
读取文件，按照分隔符分割成字段数据列表
首先读取文件，按照分隔符分割每一行的数据，返回字段列表，以便后续处理。
代码如下：
使用yield关键字，每次抛出单个行的分割数据，这样在调度程序中可以用for fields in read_file_data(fpath)的方式读取每一行。
映射到模型之方法1：使用配置好的字典模式，装配读取的数据列表
这种方法配置一个{“字段名”: 字段位置}的字典作为数据模式，然后按照该模式装配读取的列表数据，最后实现用字典的方式访问数据。
所使用的函数：
有了该方法和之前的方法，可以用以下的方式读取数据：
输出结果：
映射到模型之方法2：使用配置好的列表模式，装配读取的数据列表
如果需要读取文件所有列，或者前面的一些列，那么配置字典模式优点复杂，因为需要给每个字段配置索引位置，并且这些位置是从0开始完后数的，属于低级劳动，需要消灭。
列表模式应命运而生，先将配置好的列表模式转换成字典模式，然后按字典加载就可以实现。
转换模式，以及用按列表模式读取的代码：
使用的时候，可以用列表的形式配置模式，不需要配置索引更加简洁：
运行结果和字典模式的完全一样。
file_util.py全部代码
以下是file_util.py中的全部代码，可以放在自己的公用类库中使用
总结
标签: python list set dict tuple
本文链接地址:https://www.jiuchutong.com/biancheng/381368.html 转载请保留说明！
