位置: IT常识 - 正文

4.网络爬虫—Post请求(实战演示)(“网络爬虫”)

编辑:rootadmin
4.网络爬虫—Post请求(实战演示) 网络爬虫—Post请求实战演示POST请求GET请求POST请求和GET请求的区别获取二进制数据爬[百度官网](https://www.baidu.com/)logo实战发送post请求百度翻译实战使用session发送请求模拟登录17k小说网常见问题

推荐整理分享4.网络爬虫—Post请求(实战演示)(“网络爬虫”),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:网络爬虫实战,网络爬虫全解析:技术、原理与实践,网络爬虫入门,网络爬虫全解析:技术、原理与实践,网络爬虫全解析:技术、原理与实践,网络爬虫入门,网络爬虫全解析,网络爬虫实现,内容如对您有帮助,希望把文章链接给更多的朋友!

前言: 📝​📝​此专栏文章是专门针对Python零基础爬虫,欢迎免费订阅! 📝​📝第一篇文章获得全站热搜第一,python领域热搜第一,欢迎阅读! 🎈🎈欢迎大家一起学习,一起成长!! 💕💕:悲索之人烈焰加身,堕落者不可饶恕。永恒燃烧的羽翼,带我脱离凡间的沉沦。

POST请求

Python中的POST请求是HTTP协议中的一种请求方法,用于向服务器提交数据。与GET请求不同,POST请求将数据封装在请求体中,而不是在URL中传递。通常情况下,POST请求用于向服务器提交表单数据、上传文件等操作。 示例代码如下:

import requestsurl = 'http://example.com/api/data'data = {'name': 'John', 'age': 25}response = requests.post(url, data=data)print(response.text)

这个例子中,我们向http://example.com/api/data这个URL发送了一个POST请求,请求体中包含了name和age两个字段的数据。服务器接收到请求后,可以根据数据进行相应的处理,并返回响应结果。response.text表示服务器返回的文本内容。

GET请求

Python中的GET请求也是HTTP协议中的一种请求方法,用于向服务器请求数据。与POST请求不同,GET请求将数据以查询字符串的形式附加在URL后面,而不是封装在请求体中。通常情况下,GET请求用于向服务器请求某个资源,比如获取网页、图片、视频等。 示例代码如下:

import requestsurl = 'http://example.com/api/data?id=123'response = requests.get(url)print(response.text)

这个例子中,我们向http://example.com/api/data这个URL发送了一个GET请求,查询字符串中包含了id=123的参数。服务器接收到请求后,根据参数返回相应的数据,response.text表示服务器返回的文本内容。

POST请求和GET请求的区别

(1)post请求更安全

不会作为url的一部分,不会被缓存、保存在服务器日志、以及浏览器浏览记录中,get请求的是静态资源,则会缓存,如果是数据,则不会缓存

(2)post请求发送的数据更大

get请求有url长度限制,http协议本身不限制,请求长度限制是由浏览器和web服务器决定和设置

(3)post请求能发送更多的数据类型

get请求只能发送ASCII字符

(4)传参方式不同

get请求参数通过url传递,post请求放在request body中传递

(5)get请求产生一个TCP数据包;post请求产生两个TCP数据包

get请求,浏览器会把http header和data一并发送出去,服务器响应200返回数据;post请求,浏览器先发送header,服务器响应100 continue,浏览器再发送data,服务器响应200 返回数据

获取二进制数据爬百度官网logo实战

快速找到图片链接位置

右键空白处 --> 检查 --> 鼠标附魔 --> 点击图片找到对应的链接 需要确认和检查图片链接是否完整

确认目标!!!

右键空白处 --> 检查 --> 鼠标附魔 --> 点击图片找到对应的链接

点开链接后,里面有三条链接,到底哪一个是我们需要的,我们需要一个一个点开看。

接着就是敲代码,把照片获取到本地。

代码如下:

import requests# 确认数据的链接url = 'https://www.baidu.com/img/PCtm_d9c8750bed0b3c7d089fa7d55720d6cf.png'# headers 90%情况下是不需要的,特别是图片 (当获取不到图片数据的时候才加上请求头数据)# print(image.content)# 获取响应对象的进制数据data = requests.get(url)f = open("百度logo.png", 'wb') # 把数据保存到文件中f.write(data.content)f.close()4.网络爬虫—Post请求(实战演示)(“网络爬虫”)

导入requests库,用于发送HTTP请求和获取响应数据。 定义一个URL变量,表示要下载的图片的链接。 使用requests.get()方法发送GET请求,获取图片的二进制数据。 打开一个文件(这里是百度logo.png),使用wb模式打开,表示以二进制写入模式打开文件。 将获取到的二进制数据写入文件中。 关闭文件。 最终,运行这段代码会在当前目录下生成一个名为百度logo.png的图片文件,内容为从指定URL下载的图片。

发送post请求百度翻译实战

1.确认爬虫的流程(获取数据的时候,根据流程操作)

找数据(先到网页源代码里面找数据) 如果数据不在网页源代码 数据在哪里? 如何快速找到数据并确认它? 三种方法 筛选 刷新 搜索

筛选:

刷新

搜索

找到数据了!!!

通过三种方式找到数据,接下来写代码拿出我们想要的数据

import requestsurl = 'https://fanyi.baidu.com/v2transapi?from=zh&to=en'headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36', 'Cookie': 'BIDUPSID=12D9950A2673951B2629A85BC6A1EA8E; PSTM=1677676852; BAIDUID=12D9950A2673951B0F0D1B4587FF5EA1:FG=1; BDUSS_BFESS=JXTmpvVEtVSWxtRTVwY3dJbXA1b2h5Vk5xeVQzLTlFS25tblUyQWl3Vm9uRHBrSUFBQUFBJCQAAAAAAAAAAAEAAADA4O~RAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAGgPE2RoDxNkdD; BDORZ=FFFB88E999055A3F8A630C64834BD6D0; APPGUIDE_10_0_2=1; REALTIME_TRANS_SWITCH=1; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; BA_HECTOR=25202k0g2ga524210k2ha08k1i1d89t1m; ZFY=rLRjwO2KKciLyDaiAWkUkVrYFXcodJI9dLOc263KUTI:C; BAIDUID_BFESS=12D9950A2673951B0F0D1B4587FF5EA1:FG=1; BDRCVFR[bPTzwF-RsLY]=mk3SLVN4HKm; H_PS_PSSID=; PSINO=5; delPer=0; BCLID=11200678177449842076; BCLID_BFESS=11200678177449842076; BDSFRCVID=WOkOJexroG07VWbfQIXxU9c9ruweG7bTDYrEOwXPsp3LGJLVFe3JEG0Pts1-dEu-S2OOogKKQgOTHRkF_2uxOjjg8UtVJeC6EG0Ptf8g0M5; BDSFRCVID_BFESS=WOkOJexroG07VWbfQIXxU9c9ruweG7bTDYrEOwXPsp3LGJLVFe3JEG0Pts1-dEu-S2OOogKKQgOTHRkF_2uxOjjg8UtVJeC6EG0Ptf8g0M5; H_BDCLCKID_SF=tRAOoC_-tDvDqTrP-trf5DCShUFsLMRWB2Q-XPoO3KtbSx3PblQzWbkAef-8bJQf5mkf3fbgy4op8P3y0bb2DUA1y4vp0tLeWeTxoUJ2-KDVeh5Gqq-KXU4ebPRiQ4b9QgbNBhQ7tt5W8ncFbT7l5hKpbt-q0x-jLTnhVn0MBCK0HPonHj_KjToL3q; H_BDCLCKID_SF_BFESS=tRAOoC_-tDvDqTrP-trf5DCShUFsLMRWB2Q-XPoO3KtbSx3PblQzWbkAef-8bJQf5mkf3fbgy4op8P3y0bb2DUA1y4vp0tLeWeTxoUJ2-KDVeh5Gqq-KXU4ebPRiQ4b9QgbNBhQ7tt5W8ncFbT7l5hKpbt-q0x-jLTnhVn0MBCK0HPonHj_KjToL3q; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1679039134,1679143234,1679204636,1679231203; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1679231203; ab_sr=1.0.1_MzRlMjk2ZGYwYzRhNzk5MGY1MjA2NDc5OWFkY2MwYjM0ZTQxOGYyYjczNWQyOTE0MWJhYTkxNmJmZWFiYTU4ZmRjZjcxZjhmZDNlZmVkYWZhMmY4MmQwYjYyYWE5M2RhYjIzMjYyNTMzNzBmYjcyMzMyNTVkMjRiMTBkZjI3MmE2YjgzNDU4YmY4Mjc5ZWRhODY1NzkxMzc5MjBiMTBhYmE0NGE0NTY2MTY5MzI2ODQ1MzQ1ZGJhYTY4YTMzOGZj', 'Acs-Token': '1679231203273_1679231215801_TZnmUVeLuVlVCXU675lmFL7KXT+qZWTpNkvwrKj1/azwt2t9OYJni7f/HuDsQoPprquOTaEto81VaJEnjHeY/FjtVICpqxnDHWZZbIWO5NltIttKh4Bg74eYS7b86eVzcvVgkIDn9kR9V13wNYJyyapcvo2SeSLf1OWzc9Y0Byn3v/R+0hUvgWoAd0PsAxSkwy4kv4D+aDQFmy1SwM4P9tMy010GUgQspRcT3FBQ0bFWL67oAwYBkbqrJ2+I6G0i4wh67+uBxO73nn+I3M1dH4MZml16j0bU7rzdGDf2gI6HIM2vmwuAlARmYZJvPNmiaDgnaqbImC8kfXZGptQuTMp/8MK13wJULF//+k6HxoM='}data = { 'from': 'zh', 'to': 'en', 'query': '西瓜', 'transtype': 'translang', 'simple_means_flag': '3', 'sign': '550632.820697', 'token': '89c89225cdb36e24dea4bcf09eed1996', 'domain': 'common'}rest = requests.post(url, headers=headers, data=data)trans_dict = rest.json()print(trans_dict['trans_result']['data'][0]['dst'])print(trans_dict['trans_result']['data'][0]['src'])

拿到我们的数据了

使用session发送请求模拟登录17k小说网

先了解本次实战目标 我们的目标就是通过模拟登录然后获取账户个人主页的内容

接下来开始找数据,账号密码,方便我们登录个人主页

找到数据后,我们开始写代码

import requestsfrom requests import Sessionsession = requests.Session()url = "https://passport.17k.com/ck/user/login"headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36',}data = { 'loginName': '以山河作礼', 'password': '********'}# session对象登录,记录登录的状态html = session.post(url=url, headers=headers, data=data)print(html.json())

运行代码,看看我们是否登录成功。

看到我们的登录昵称,说明我们登录成功了,接下来我们通过代码进入个人主页

import requestsfrom requests import Sessionsession = requests.Session()url = "https://passport.17k.com/ck/user/login"headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36',}data = { 'loginName': '以山河作礼', 'password': '******'}# session对象登录,记录登录的状态html = session.post(url=url, headers=headers, data=data)print(html.json())# session对象的登录的状态去请求url_main = 'https://user.17k.com/www/'html = session.get(url_main, headers=headers)html.encoding = 'utf-8'print(html.text)

运行结果:

我们得到了个人主页的html页面代码,在里面我们可以看到,最近阅读和最近收藏等,说明我们本次成功的获取了想要的数据。

常见问题

获取不到需要的数据

增加cookie等其他比较重要的请求头信息

获取的数据是乱码状态

写Accept-Encoding 容易乱码 请求头里面不要写

html = requests.get(url,headers=head_data) html.encoding = 'utf-8' # 解决数据乱码

🍁 🍁今日学习笔记到此结束,感谢你的阅读,如有疑问或者问题欢迎私信,我会帮忙解决,如果没有回,那我就是在教室上课,抱歉。 🍂🍂🍂🍂

本文链接地址:https://www.jiuchutong.com/zhishi/287148.html 转载请保留说明!

上一篇:Vite如何配置路径别名(vite config)

下一篇:win7系统更改属性OEM信息与还原的方法(win7系统更改属性内存信息的方法有哪些)

  • word打不开发送错误报告怎么办(word打不开发送错误报告)(word打不开发送指令错误)

    word打不开发送错误报告怎么办(word打不开发送错误报告)(word打不开发送指令错误)

  • 快手怎么关闭通讯录好友(快手怎么关闭通过手机号找到我)

    快手怎么关闭通讯录好友(快手怎么关闭通过手机号找到我)

  • windows7系统如何重置电脑

    windows7系统如何重置电脑

  • 块存储Cinder主要功能(块存储cinder主要功能不包括)

    块存储Cinder主要功能(块存储cinder主要功能不包括)

  • win7用户名和密码(win7用户名和密码怎么查看)

    win7用户名和密码(win7用户名和密码怎么查看)

  • wps的邮件合并功能在哪里(wps的邮件合并功能在哪里无法打开数据源)

    wps的邮件合并功能在哪里(wps的邮件合并功能在哪里无法打开数据源)

  • 苹果设置隐私相机选项空白(苹果设置隐私相机)

    苹果设置隐私相机选项空白(苹果设置隐私相机)

  • 美版有锁是什么意思(美版有锁是什么型号)

    美版有锁是什么意思(美版有锁是什么型号)

  • 原装手机壳变黄怎么办(原装手机壳变黄了怎么变白)

    原装手机壳变黄怎么办(原装手机壳变黄了怎么变白)

  • 华为手机取卡孔戳不动(华为手机取卡孔堵了怎么办)

    华为手机取卡孔戳不动(华为手机取卡孔堵了怎么办)

  • iphone11如何开机关机(iphone11怎么开机的)

    iphone11如何开机关机(iphone11怎么开机的)

  • ipadpro发布时间(m2ipadpro发布时间)

    ipadpro发布时间(m2ipadpro发布时间)

  • gpu缩放有什么用(gpu缩放有什么用吗)

    gpu缩放有什么用(gpu缩放有什么用吗)

  • 抖音直播间抽卡怎么用(抖音抽卡怎么才能抽到2021)

    抖音直播间抽卡怎么用(抖音抽卡怎么才能抽到2021)

  • 怎么用迅雷下载网页的视频(怎么用迅雷下载文件)

    怎么用迅雷下载网页的视频(怎么用迅雷下载文件)

  • 手机热点拉黑怎么恢复(手机热点拉黑怎么打开)

    手机热点拉黑怎么恢复(手机热点拉黑怎么打开)

  • 大众点评在哪里看匿名(大众点评在哪里找自己的评价)

    大众点评在哪里看匿名(大众点评在哪里找自己的评价)

  • 电脑微信如何保存图片(电脑微信如何保存聊天记录)

    电脑微信如何保存图片(电脑微信如何保存聊天记录)

  • 抖音恶魔缠身特效怎么拍(抖音恶魔缠身特效视频)

    抖音恶魔缠身特效怎么拍(抖音恶魔缠身特效视频)

  • 苹果手机怎么换购新手机(苹果手机怎么换电池)

    苹果手机怎么换购新手机(苹果手机怎么换电池)

  • oppoa7x什么时候上市(oppoa7x什么时候发布的价格)

    oppoa7x什么时候上市(oppoa7x什么时候发布的价格)

  • u盘win10安装教程(u盘win10系统安装教程)

    u盘win10安装教程(u盘win10系统安装教程)

  • 如何导入并使用插件市场里的插件(如何导入并使用数据库)

    如何导入并使用插件市场里的插件(如何导入并使用数据库)

  • 麦地那的彩色小巷, 摩洛哥得土安市 (© Jan Wlodarczyk/eStock Photo)(麦地那老城)

    麦地那的彩色小巷, 摩洛哥得土安市 (© Jan Wlodarczyk/eStock Photo)(麦地那老城)

  • 个税申报的收入扣除社保吗
  • 注册资本印花税减半征收政策
  • 无住所居民个人所得税的计算
  • 设定受益计划会计处理案例
  • 免税项目怎么做账
  • 丢失增值税发票最新处理办法
  • 会计核算过程中的计量尺度通常有
  • 工程报废及毁损如何做会计处理合适呢?
  • 哪些税不适用征管法
  • 外币账户的银行信息在哪查询
  • 企业购买银行理财
  • 增值税税额转出申报怎么填写
  • 企业业务招待费标准规定
  • 预提职工存量怎么做会计凭证
  • 购货方收到代垫运费的发票怎么做会计分录?
  • 过路费企业所得税汇算清缴计入什么科目?
  • 对子公司计提减值准备影响合并利润吗
  • 预提费用年底必须结转吗
  • 小规模企业企业所得税优惠政策2022年
  • 年初未交增值税借方怎么处理
  • 如何增加发票数量和额度
  • 零售金银首饰消费税税率是多少
  • 在win10系统中,如何限制孩子玩原神游戏
  • 华硕主板进入bios设置
  • 公司费用高好还是低好
  • 收到棚户区改造资金
  • 没有劳动合同不给工资怎么办
  • 企业委托境外研发所发生的费用
  • 合并财务报表抵消损益怎么理解
  • dl是什么文件
  • 中国各省市区域划分
  • 为什么不能零申报
  • 如何分清福利性劳动
  • 转出未交增值税和未交增值税区别
  • PHP:imagecolorclosest()的用法_GD库图像处理函数
  • spring boot 接受参数
  • list.php
  • 生产企业可以抵扣进项税的
  • 小规模纳税人免税会计分录
  • 金蝶软件可以自学吗
  • php 截断
  • 用友u8反结账反记账的操作步骤
  • 汇算清缴后缴纳的企业所得税怎么做分录
  • 工会经费和残保金不交有什么影响
  • 一个月可以勾选多少进项税额
  • 织梦不更新了
  • 资产负债表是根据科目余额表填的吗
  • 外国常驻代表机构经费支出范围
  • 金融企业往来支出属于什么科目
  • 补缴以前年度的增值税以及附加税,还有罚款的账务处理
  • 工程物资是
  • 收到一张发票摘要怎么填
  • 扣税时账上没钱怎么办
  • 计提风险准备金是什么意思
  • 建筑企业结转收入成本
  • 销售会员卡怎么开票
  • 公司的应付票据
  • sql批量导出数据
  • 服务器远程超出配置范围
  • Linux系统防火墙的命令
  • 开源镜像是什么意思
  • macbookpro通知栏
  • media.codec是什么软件
  • linux将文件移到指定文件夹
  • ps显示操作步骤
  • KbdTray.exe - KbdTray是什么进程 有什么作用
  • win7禁用administrator
  • 开源镜像下载到本地
  • win8丢失msvcp140.dll的解决办法
  • Android屏幕外侧滑条
  • javascript字符串操作函数
  • nodejs连接sqlserver数据库
  • android应用开发基础
  • js函数里的函数怎么调用
  • 东莞市税务局稽查局
  • 怎么在开票系统导出开票明细
  • 走入基层
  • 印花税核定依据填写什么
  • 营业税属于地方税
  • 深圳电子税务局入口
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设