位置: 编程技术 - 正文

使用Python多线程爬虫爬取电影天堂资源(python 多线程)

编辑:rootadmin

推荐整理分享使用Python多线程爬虫爬取电影天堂资源(python 多线程),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python多线程怎么用,python多线程应用,python多线程例子,python 多线程,python多线程应用,python多线程怎么用,python中多线程,python多线程怎么用,内容如对您有帮助,希望把文章链接给更多的朋友!

最近花些时间学习了一下Python,并写了一个多线程的爬虫程序来获取电影天堂上资源的迅雷下载地址,代码已经上传到GitHub上了,需要的同学可以自行下载。刚开始学习python希望可以获得宝贵的意见。

  先来简单介绍一下,网络爬虫的基本实现原理吧。一个爬虫首先要给它一个起点,所以需要精心选取一些URL作为起点,然后我们的爬虫从这些起点出发,抓取并解析所抓取到的页面,将所需要的信息提取出来,同时获得的新的URL插入到队列中作为下一次爬取的起点。这样不断地循环,一直到获得你想得到的所有的信息爬虫的任务就算结束了。我们通过一张图片来看一下。

  好的 下面进入正题,来讲解下程序的实现。

  首先要分析一下电影天堂网站的首页结构。

  从上面的菜单栏中我们可以看到整个网站资源的总体分类情况。刚刚好我们可以利用到它的这个分类,将每一个分类地址作为爬虫的起点。

  ①解析首页地址 提取分类信息

在这个函数中,首先将网页的源码下载下来,通过XPath解析出其中的菜单分类信息。并创建相应的文件目录。有一个需要注意的地方就是编码问题,但是也是被这个编码纠缠了好久,通过查看网页的源代码,我们可以发现,网页的编码采用的是GB,这里通过XPath构造Tree对象是需要对文本信息进行解码操作,将gb变成Unicode编码,这样DOM树结构才是正确的,要不然在后面解析的时候就会出现问题。

使用Python多线程爬虫爬取电影天堂资源(python 多线程)

  ②解析每个分类的主页

打开每一个分类的首页会发现都有一个相同的结构(点击打开示例)首先解析出包含资源URL的节点,然后将名称和URL提取出来。这一部分有两个需要注意的地方。一是因为最终想要把资源保存到一个txt文件中,但是在命名时不能出现一些特殊符号,所以需要处理掉。二是一定要对分页进行处理,网站中的数据都是通过分页这种形式展示的,所以如何识别并抓取分页也是很重要的。通过观察发现,分页的地址前面没有“/”,所以只需要通过正则表达式找出分页地址链接,然后嵌套调用即可解决分页问题。

③解析资源地址保存到文件中

这段就比较简单了,将提取出来的内容写到一个文件中就行了

  为了能够提高程序的运行效率,使用了多线程进行抓取,在这里我是为每一个分类的主页都开辟了一个线程,这样极大地加快了爬虫的效率。想当初,只是用单线程去跑,结果等了一下午最后因为一个异常没处理到结果一下午都白跑了!!!!心累

以上只是部分代码,全部代码可以到GitHub上面去下载(点我跳转)

最后爬取的结果如下。

以上所述是小编给大家介绍的使用Python多线程爬虫爬取电影天堂资源 ,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对积木网网站的支持!

利用Python为iOS生成图标和截屏 简介这两天更新完Xcode8之后发现Xcode对图标的要求又有了变化,之前用的一个小应用IconKit还没赶上节奏,已经不能满足Xcode8的要求了。于是就想起来用Py

Linux 下 Python 实现按任意键退出的实现方法 某天在群内有同学问到,在python下我用input或者raw_input都得输入完后回车才能获取到输入的值,那如何实现任意键退出暂停等功能呢,我当时也没有多想

实现python版本的按任意键继续/退出 某天在群内有同学问到,在python下我用input或者raw_input都得输入完后回车才能获取到输入的值,那如何实现任意键退出暂停等功能呢,我当时也没有多想

标签: python 多线程

本文链接地址:https://www.jiuchutong.com/biancheng/384486.html 转载请保留说明!

上一篇:Python 爬虫模拟登陆知乎(python爬虫模拟浏览器)

下一篇:利用Python为iOS10生成图标和截屏(python3.9.1怎么用)

  • 财税201920号文件解读
  • 完税证明是可以抵扣吗
  • 从价税是什么意思
  • 高速公路通行费电子发票怎么打印
  • 税务局代个人开票
  • 跨月能更正个税吗
  • 分公司不独立核算怎么做账
  • 当前时间该属期不可申报
  • 购进生产设备的会计分录
  • 收到代发工资的信息
  • 查账征收的个体户怎么报税
  • 公司租车要交什么费用
  • 应收账款核销后收回
  • 招待客人的场景图
  • 财务报表层次重大错报风险增大了认定层次
  • 增值税电子发票怎么开具流程
  • 人力资源外包差额计税税率
  • 利润表所得税费用怎么填
  • 基建拨款账务处理
  • 结存材料实际成本计算公式例题
  • 海外佣金税务怎么缴纳
  • 红冲发票后 库存怎么处理
  • 财务科目明细表格模板
  • 无法偿还的应付款项予以转账
  • qt5core.dll丢失解决方法
  • 应用程序出现异常怎么办
  • 2020税务预警后如何解除
  • 建筑业成本核算表格百度网盘
  • php occ
  • 辅导期一般纳税人可以抵扣进项吗
  • 录入财务凭证
  • 房地产企业增值税扣除土地成本
  • php中session使用
  • uniapp webgl
  • 教你一行代码
  • 借递延所得税资产贷以前年度损益调整
  • 划拨建设用地使用权没有使用期限的限制
  • 增值税专用发票丢了怎么补救
  • pytorch中embedding
  • 购进免税农产品进项税额转出
  • 收到投资款怎么做账
  • 公司没业务可以暂停营业吗
  • 红字发票是不是就是红冲了
  • python怎么查看文件路径
  • 税控机清单
  • php单例模式优点
  • 企业的管理费用占比
  • 小规模纳税人免征增值税的账务处理
  • 织梦cms为什么不维护了
  • 筹建期间的费用计入什么费用
  • 小企业会计准则和一般企业会计准则的区别
  • 补贴收入是否缴纳个税
  • 企业收到收据后怎么处理
  • 结算备付金账户是什么帐户
  • 其他应收款收不回来怎么写情况说明
  • 有什么科目需要考试吗英语翻译
  • 去年亏损今年盈利怎么弥补
  • 数据库语言主要有哪几种
  • 如何实现多条件查询
  • 富士通FUJITSU笔记本电脑开机进入BIOS的方法(F2)
  • 硬盘安装ubuntu18
  • 虚拟光驱安装
  • xp系统如何查看系统配置
  • 如何提升windows版本
  • win8无法关机一直转圈
  • linux wc-l
  • win8系统教程
  • 宽带连接错误628win10
  • 批处理怎么用
  • linux中tar命令
  • Python爬取qq music中的音乐url及批量下载
  • 创建javascript对象
  • shell脚本简单例子
  • python ftp文件上传
  • javascript文档对象
  • 出口退税全流程
  • 深圳地方税务局电话
  • 金税三期是什么内容
  • 人社局要求社保补缴
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设