位置: IT常识 - 正文
python 爬虫详细步骤(python爬虫详细教程)
编辑：rootadmin1、 需求分析（人做）
推荐整理分享python 爬虫详细步骤(python爬虫详细教程)，希望有所帮助，仅作参考，欢迎阅读内容。
文章相关热门搜索词:python爬虫的几种方法,python. 爬虫,python爬虫快速入门,python爬虫快速入门,Python爬虫详细步骤,python爬虫快速入门,python爬虫详解,python爬虫详解,内容如对您有帮助，希望把文章链接给更多的朋友！
2、寻找网站（人）3、下载网站的返回内容（requests）4、通过返回的信息找到需要爬取的数据内容(正则表达式-re,xpath-lxml)5、存储找到的数据内容(mysql)
二、requestsimport requestsurl = 'http://www.baidu.com/'response = requests.get(url)print(response)返回当前url的html信息，（其他url还可能获取图片等）Response[200],Response是一个类，这个类重写了__str__方法（）返回值，如果一个url能正常返回html内容，返回值就是200
处理乱码的方式1.查看编码方式：右键检查—>找到head—>charset就是编码方式2.通过response指定编码方式
response.encoding = 'utf-8'print(response.text)print('=' * 30)print(response.content)三、http协议1.协议：即双方遵守的语言，相当于语言，相同的语言能够相互理解
2.HTTP协议
方法：GET POST
GET：通过URLl获取网站的信息，不改变网站的状态（不改变服务器的任何内容）
POST：通过URL向网站传输信息，改变网站的状态（POST比GET多from/body信息)
import requestsform = { 'kw':'同'}url = 'https://fanyi.baidu.com/sug'response = requests.post(url, data = form)print(response.text)HEAD:跟GET类似，但只有head信息sOPTIONS:PUT通常指定了资源的存放位置PUT:跟POST类似，但通常指定了资源的存放位置DELET:删除某个资源
3.HTTP协议的传输
Request —URL + request headers(请求头信息)Response —HTML ++ responce headers(返回头信息)
GeneralRequest URL: https://www.baidu.com/Request Method: GET requests的获取方法Status Code: 200 OK 返回值Remote Address: 14.215.177.39:443 服务器名称Referrer Policy: no-referrer-when-downgrade
4.请求头信息中重要的三个信息
a)User-Agent —身份是什么b)Referer —跳转网页是什么（即现在的网页是从哪个网页来的）c)cookie —本地存储信息的—与服务器的session一 一对应添加的顺序：a—>b—>c如果能够获取，不再添加如果加上都不行，把headers全部复制下来
import requestsurl = 'https://www.xicidaili.com/nn/'添加请求头信息,字典的方式写入headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36'}response = requests.get(url, headers = headers)with open('xicidaili.txt', 'wb') as f: f.write(response.content)5.url的组成
1.协议部分，常见的有"http:", “ftp:”2.域名部分，如"www.baidu.com",也可以用IP地址代替3.端口部分，跟在域名后面的是端口，域名和端口用":“作为分隔符，端口不是必须的，如果省略端口，采用默认端口，常见的端口"8080”4.虚拟目录部分：从域名（端口）后面第一个“\”到最后一个“\”为止，是虚拟目录部分5.文件名部分：从最后一个"“到”?“为止，或者从最后一个”“到”#“为止，或者从最后一个”“到最后6.参数部分：从”?“开始到”#“为止之间的部分为参数部分，也叫搜索部分，查询部分。参数与参数之间用”&“作为分位符7.锚部分：从”#"开始到最后，都是锚部分，他的作用是跳转到本页面的子目录下，不加载新的页面
6.Ajax：异步加载，即url不变，经行操作后页面发生变化，去看network里的XHR
7.jsonimport requestsimport jsonform = { 'kw':'同'}url = 'https://fanyi.baidu.com/sug'response = requests.post(url, data = form)# json是一个包，函数loads的作用是输入一个字符串，输出这个json字符串的python类型数据
json_dict = json.loads(response.text)print(response.text)print("=" * 30)print(json_dict)translated = json_dict['data'][0]['v']print("翻译后的内容是：", translated)8.去重1、set的实现方式通过hash函数和hash表实现的，（分而治之的思想）如10000 % 20把这些数分为20类2、位图比如存100000个不重复的数字，0-1000000之间，int形，一个int要占32bit,位图即给10000位，数字0存在写入1，不存在写入0，以此类推3、布隆过滤器对于很多url,用hash函数对每个URL分组，对应一个数字，再根据这些数字做位图
上一篇：python中Sample函数是什么？(python中sample函数怎么用)
下一篇：dedecms织梦网站后台免登录方法便于采集(织梦商城)
