使用Python多线程爬虫爬取电影天堂资源(python 多线程)

推荐整理分享使用Python多线程爬虫爬取电影天堂资源(python 多线程)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:python多线程怎么用,python多线程应用,python多线程例子,python 多线程,python多线程应用,python多线程怎么用,python中多线程,python多线程怎么用,内容如对您有帮助，希望把文章链接给更多的朋友！

最近花些时间学习了一下Python，并写了一个多线程的爬虫程序来获取电影天堂上资源的迅雷下载地址，代码已经上传到GitHub上了，需要的同学可以自行下载。刚开始学习python希望可以获得宝贵的意见。

　　先来简单介绍一下，网络爬虫的基本实现原理吧。一个爬虫首先要给它一个起点，所以需要精心选取一些URL作为起点，然后我们的爬虫从这些起点出发，抓取并解析所抓取到的页面，将所需要的信息提取出来，同时获得的新的URL插入到队列中作为下一次爬取的起点。这样不断地循环，一直到获得你想得到的所有的信息爬虫的任务就算结束了。我们通过一张图片来看一下。

　　好的 下面进入正题，来讲解下程序的实现。

　　首先要分析一下电影天堂网站的首页结构。

　　从上面的菜单栏中我们可以看到整个网站资源的总体分类情况。刚刚好我们可以利用到它的这个分类，将每一个分类地址作为爬虫的起点。

　　①解析首页地址 提取分类信息

在这个函数中，首先将网页的源码下载下来，通过XPath解析出其中的菜单分类信息。并创建相应的文件目录。有一个需要注意的地方就是编码问题，但是也是被这个编码纠缠了好久，通过查看网页的源代码，我们可以发现，网页的编码采用的是GB，这里通过XPath构造Tree对象是需要对文本信息进行解码操作，将gb变成Unicode编码，这样DOM树结构才是正确的，要不然在后面解析的时候就会出现问题。

　　②解析每个分类的主页

打开每一个分类的首页会发现都有一个相同的结构（点击打开示例）首先解析出包含资源URL的节点，然后将名称和URL提取出来。这一部分有两个需要注意的地方。一是因为最终想要把资源保存到一个txt文件中，但是在命名时不能出现一些特殊符号，所以需要处理掉。二是一定要对分页进行处理，网站中的数据都是通过分页这种形式展示的，所以如何识别并抓取分页也是很重要的。通过观察发现，分页的地址前面没有“/”,所以只需要通过正则表达式找出分页地址链接，然后嵌套调用即可解决分页问题。

③解析资源地址保存到文件中

这段就比较简单了，将提取出来的内容写到一个文件中就行了

　　为了能够提高程序的运行效率，使用了多线程进行抓取，在这里我是为每一个分类的主页都开辟了一个线程，这样极大地加快了爬虫的效率。想当初，只是用单线程去跑，结果等了一下午最后因为一个异常没处理到结果一下午都白跑了！！！！心累

以上只是部分代码，全部代码可以到GitHub上面去下载（点我跳转）

最后爬取的结果如下。

以上所述是小编给大家介绍的使用Python多线程爬虫爬取电影天堂资源 ，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对积木网网站的支持！

利用Python为iOS生成图标和截屏 简介这两天更新完Xcode8之后发现Xcode对图标的要求又有了变化，之前用的一个小应用IconKit还没赶上节奏，已经不能满足Xcode8的要求了。于是就想起来用Py

Linux 下 Python 实现按任意键退出的实现方法 某天在群内有同学问到，在python下我用input或者raw_input都得输入完后回车才能获取到输入的值，那如何实现任意键退出暂停等功能呢，我当时也没有多想

实现python版本的按任意键继续/退出 某天在群内有同学问到，在python下我用input或者raw_input都得输入完后回车才能获取到输入的值，那如何实现任意键退出暂停等功能呢，我当时也没有多想