位置: 编程技术 - 正文

使用Python多线程爬虫爬取电影天堂资源(python 多线程)

编辑:rootadmin

推荐整理分享使用Python多线程爬虫爬取电影天堂资源(python 多线程),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python多线程怎么用,python多线程应用,python多线程例子,python 多线程,python多线程应用,python多线程怎么用,python中多线程,python多线程怎么用,内容如对您有帮助,希望把文章链接给更多的朋友!

最近花些时间学习了一下Python,并写了一个多线程的爬虫程序来获取电影天堂上资源的迅雷下载地址,代码已经上传到GitHub上了,需要的同学可以自行下载。刚开始学习python希望可以获得宝贵的意见。

  先来简单介绍一下,网络爬虫的基本实现原理吧。一个爬虫首先要给它一个起点,所以需要精心选取一些URL作为起点,然后我们的爬虫从这些起点出发,抓取并解析所抓取到的页面,将所需要的信息提取出来,同时获得的新的URL插入到队列中作为下一次爬取的起点。这样不断地循环,一直到获得你想得到的所有的信息爬虫的任务就算结束了。我们通过一张图片来看一下。

  好的 下面进入正题,来讲解下程序的实现。

  首先要分析一下电影天堂网站的首页结构。

  从上面的菜单栏中我们可以看到整个网站资源的总体分类情况。刚刚好我们可以利用到它的这个分类,将每一个分类地址作为爬虫的起点。

  ①解析首页地址 提取分类信息

在这个函数中,首先将网页的源码下载下来,通过XPath解析出其中的菜单分类信息。并创建相应的文件目录。有一个需要注意的地方就是编码问题,但是也是被这个编码纠缠了好久,通过查看网页的源代码,我们可以发现,网页的编码采用的是GB,这里通过XPath构造Tree对象是需要对文本信息进行解码操作,将gb变成Unicode编码,这样DOM树结构才是正确的,要不然在后面解析的时候就会出现问题。

使用Python多线程爬虫爬取电影天堂资源(python 多线程)

  ②解析每个分类的主页

打开每一个分类的首页会发现都有一个相同的结构(点击打开示例)首先解析出包含资源URL的节点,然后将名称和URL提取出来。这一部分有两个需要注意的地方。一是因为最终想要把资源保存到一个txt文件中,但是在命名时不能出现一些特殊符号,所以需要处理掉。二是一定要对分页进行处理,网站中的数据都是通过分页这种形式展示的,所以如何识别并抓取分页也是很重要的。通过观察发现,分页的地址前面没有“/”,所以只需要通过正则表达式找出分页地址链接,然后嵌套调用即可解决分页问题。

③解析资源地址保存到文件中

这段就比较简单了,将提取出来的内容写到一个文件中就行了

  为了能够提高程序的运行效率,使用了多线程进行抓取,在这里我是为每一个分类的主页都开辟了一个线程,这样极大地加快了爬虫的效率。想当初,只是用单线程去跑,结果等了一下午最后因为一个异常没处理到结果一下午都白跑了!!!!心累

以上只是部分代码,全部代码可以到GitHub上面去下载(点我跳转)

最后爬取的结果如下。

以上所述是小编给大家介绍的使用Python多线程爬虫爬取电影天堂资源 ,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对积木网网站的支持!

利用Python为iOS生成图标和截屏 简介这两天更新完Xcode8之后发现Xcode对图标的要求又有了变化,之前用的一个小应用IconKit还没赶上节奏,已经不能满足Xcode8的要求了。于是就想起来用Py

Linux 下 Python 实现按任意键退出的实现方法 某天在群内有同学问到,在python下我用input或者raw_input都得输入完后回车才能获取到输入的值,那如何实现任意键退出暂停等功能呢,我当时也没有多想

实现python版本的按任意键继续/退出 某天在群内有同学问到,在python下我用input或者raw_input都得输入完后回车才能获取到输入的值,那如何实现任意键退出暂停等功能呢,我当时也没有多想

标签: python 多线程

本文链接地址:https://www.jiuchutong.com/biancheng/384486.html 转载请保留说明!

上一篇:Python 爬虫模拟登陆知乎(python爬虫模拟浏览器)

下一篇:利用Python为iOS10生成图标和截屏(python3.9.1怎么用)

  • 金融资产交易增值税
  • 亏损属于什么科目
  • 其他应付款和其他应付款可以重分类
  • 进口消费税为什么一定要组价
  • 代销货物收取手续怎么写
  • 金税盘地区编号淄博
  • 解除劳动合同员工不同意
  • 应收利息对应什么科目
  • 抵扣红冲发票怎么报税
  • 在建工程之前是什么
  • 挂靠工程如何交纳税金帐务处理?
  • 车辆购置税过户流程
  • 企业网银短信提醒费用
  • 实验用原材料的会计处理
  • 企业申请增值税专用发票
  • 油品沥青消费税征收范围
  • 委任方名称代表的是什么意思?
  • 出口退税收汇凭证是什么
  • 付款信息和开票信息区别
  • 不良品退回处理流程
  • shine.exe - shine是什么进程 有什么用
  • 增值税留抵退税账务处理
  • phpstorm怎么用
  • antvl7
  • php自定义函数的语法格式
  • vite中文网
  • 办公楼需要什么
  • 日本的萤火虫
  • php版本7和5区别
  • 文化事业2021
  • 持有至到期投资减值准备
  • 采用定额法计算产品成本,其程序如何?
  • uniapp和vue混合开发
  • 基于html的旅游网站设计源代码
  • WGAN(Wasserstein GAN)看这一篇就够啦,WGAN论文解读
  • 史上最强i3
  • php制作日历代码
  • 以前多计提的工资怎么办
  • 无纸化的好处和坏处
  • 新开办公司如何办理金税盘
  • 存根联是自己留着吗
  • 当月认证的发票可以撤销吗
  • 小规模收入超过30万的会计分录大全
  • 一般纳税人首次申领专票
  • 个人社保信息变更流程
  • 银行开户费属于现金流量表的哪一类
  • 农业发展公司有没有库存商品的
  • 初次购买金税盘怎么做账
  • 房地产增值税计入什么科目
  • 工程收到款项会计分录
  • 流动比率计算公式是年初还是年末
  • 发票金额跟实际金额为什么不一样
  • 应收账款的金额包括增值税吗
  • 电子发票怎么会失效
  • 在建工程转固定资产的账务处理
  • mysql 基本操作
  • windows mysql5.5升级5.7
  • centos7安装mysql并jdbc测试教程
  • win8屏幕显示时间
  • ubuntu的快捷键
  • 获取linux系统版本
  • fedora os
  • 微软推送win10更新 蓝牙
  • 苹果mac os x 10.7.5如何升级
  • win7使用率
  • win 10移动版
  • 用python的turtle画图代码
  • Perl的Mail::POP3Client模块和Gmail通信实例
  • JavaScript—window对象使用示例
  • 深入理解ts
  • 基于vue的购物系统
  • javascript解码与编码
  • 基于jquery的框架
  • 百度关键字搜索员是干嘛的
  • unity soket
  • android 标签页
  • 四川国税局普通发票查询?
  • 河南省国家税务局通用定额发票
  • 营改增对医药企业影响
  • 主管税务机关指的是
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设