位置: 编程技术 - 正文
使用Python编写基于DHT协议的BT资源爬虫(python的基础代码)
编辑：rootadmin推荐整理分享使用Python编写基于DHT协议的BT资源爬虫(python的基础代码)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:python的基础代码,python的基础代码,python基本程序编写方法,python基本程序编写方法,python基础编程例子,python基本程序编写方法,python基本编写方法,python基本程序编写方法,内容如对您有帮助，希望把文章链接给更多的朋友！
关于DHT协议
DHT协议作为BT协议的一个辅助，是非常好玩的。它主要是为了在BT正式下载时得到种子或者BT资源。传统的网络，需要一台中央服务器存放种子或者BT资源，不仅浪费服务器资源，还容易出现单点的各种问题，而DHT网络则是为了去中心化，也就是说任意时刻，这个网络总有节点是亮的，你可以去询问问这些亮的节点，从而将自己加入DHT网络。
要实现DHT协议的网络爬虫，主要分3步，第一步是得到资源信息(infohash，bit，字节，可以编码为字节的十六进制字符串)，第二步是确认这些infohash是有效的，第三步是通过有效的infohash下载到BT的种子文件，从而得到对这个资源的完整描述。
其中第一步是其他节点用DHT协议中的get_peers方法向爬虫发送请求得到的，第二步是其他节点用DHT协议中的announce_peer向爬虫发送请求得到的，第三步可以有几种方式得到，比如可以去一些保存种子的网站根据infohash直接下载到，或者通过announce_peer的节点来下载到，具体如何实现，可以取决于你自己的爬虫。
DHT协议中的主要几个操作：
主要负责通过UDP与外部节点交互，封装4种基本操作的请求以及相应。
ping：检查一个节点是否“存活”
在一个爬虫里主要有两个地方用到ping，第一是初始路由表时，第二是验证节点是否存活时
find_node：向一个节点发送查找节点的请求
在一个爬虫中主要也是两个地方用到find_node，第一是初始路由表时，第二是验证桶是否存活时
get_peers：向一个节点发送查找资源的请求
在爬虫中有节点向自己请求时不仅像个正常节点一样做出回应，还需要以此资源的info_hash为机会尽可能多的去认识更多的节点。如图，get_peers实际上最后一步是announce_peer，但是因为爬虫不能announce_peer，所以实际上get_peers退化成了find_node操作。
announce_peer：向一个节点发送自己已经开始下载某个资源的通知
爬虫中不能用announce_peer，因为这就相当于通报虚假资源，对方很容易从上下文中判断你是否通报了虚假资源从而把你禁掉。
基于Python的DHT爬虫修改自github开源爬虫，原作者名字有些。。，这里直接将项目地址列出： DHT协议中有几个重点的需要澄清的地方：
1. node与infohash同样使用bit的表示方式，bit意味着整个节点空间有2^ = ，是位进制，也就是说有百亿亿亿亿亿个节点空间，这么大的节点空间，是足够存放你的主机节点以及任意的资源信息的。
2. 每个节点有张路由表。每张路由表由一堆K桶组成，所谓K桶，就是桶中最多只能放K个节点，默认是8个。而桶的保存则是类似一颗前缀树的方式。相当于一张8桶的路由表中最多有-4个K桶。
3. 根据DHT协议的规定，每个infohash都是有位置的，因此，两个infohash之间就有距离一说，而两个infohash的距离就可以用异或来表示，即infohash1 xor infohash2，也就是说，高位一样的话，他们的距离就近，反之则远，这样可以快速的计算两个节点的距离。计算这个距离有什么用呢，在DHT网络中，如果一个资源的infohash与一个节点的infohash越近则该节点越有可能拥有该资源的信息，为什么呢？可以想象，因为人人都用同样的距离算法去递归的询问离资源接近的节点，并且只要该节点做出了回应，那么就会得到一个announce信息，也就是说跟资源infohash接近的节点就有更大的概率拿到该资源的infohash
4. 根据上述算法，DHT中的查询是跳跃式查询，可以迅速的跨越的的节点桶而接近目标节点桶。之所以在远处能够大幅度跳跃，而在近处只能小幅度跳跃，原因是每个节点的路由表中离自身越接近的节点保存得越多，如下图
5. 在一个DHT网络中当爬虫并不容易，不像普通爬虫一样，看到资源就可以主动爬下来，相反，因为得到资源的方式(get_peers, announce_peer)都是被动的，所以爬虫的方式就有些变化了，爬虫所要做的事就是像个正常节点一样去响应其他节点的查询，并且得到其他节点的回应，把其中的数据收集下来就算是完成工作了。而爬虫唯一能做的，是尽可能的去多认识其他节点，这样，才能有更多其他节点来向你询问。
6. 有人说，那么我把DHT爬虫的K桶中的容量K增大是不是就能增加得到资源的机会，其实不然，之前也分析过了，DHT爬虫最重要的信息来源全是被动的，因为你不能增大别人的K，所以距离远的节点保存你自身的概率就越小，当然距离远的节点去请求你的概率相对也比较小。
Python的Socket编程过程中实现UDP端口复用的实例分享 关于端口复用一个套接字不能同时绑定多个端口，如果客户端想绑定端口号，一定要调用发送信息函数之前绑定(bind)端口，因为在发送信息函数(sendto,或
Python中列表、字典、元组数据结构的简单学习笔记 列表列表是Python中最具灵活性的有序集合对象类型。与字符串不同的是，列表可以包含任何类型的对象:数字、字符串甚至其他列表。列表是可变对象，
两个命令把 Vim 打造成 Python IDE的方法 运行下面两个命令，即可把Vim（含插件）配置成PythonIDE。目前支持MAC和Ubuntu。curl-
标签: python的基础代码
本文链接地址:https://www.jiuchutong.com/biancheng/384385.html 转载请保留说明！
