位置: IT常识 - 正文

python如何快速采集美~女视频?无反爬(python快速检索)

编辑:rootadmin
python如何快速采集美~女视频?无反爬 人生苦短 我用python~

推荐整理分享python如何快速采集美~女视频?无反爬(python快速检索),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python快速上手,python快速检索,python怎么快速运行,python怎么抓取数据,python怎么抓取数据,python编程快速,python简单的数据采集,python快速上手,内容如对您有帮助,希望把文章链接给更多的朋友!

这次康康能给大家整点好看的不~

环境使用:

Python 3.8

Pycharm

mou歌浏览器 mou歌驱动 —> 驱动版本要和浏览器版本最相近 <大版本一样, 小版本最相近>

模块使用:

requests >>> pip install requests

selenium >>> pip install selenium==3.141.0 <需要浏览器和浏览器驱动> 默认安装 4.0版本 语法上面有点区别

re

json

卸载模块: pip uninstall selenium 卸载模块

安装python第三方模块:

win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

在pycharm中点击Terminal(终端) 输入安装命令

基本思路流程: <通用>

一. 数据来源分析:

明确需求:

采集什么数据内容

I. 视频播放链接

II. 视频标题

通过浏览器自带工具: 开发者工具, 进行抓包分析

打开开发者工具: F12 / 鼠标右键点击检查选择network

刷新网页: 让本网页数据内容重新加载一遍

分析/找到 视频播放链接在哪里

选择 media <媒体文件> 可以直接看到 视频播放链接

通过搜索分析可以直接找到 视频播放链接/ 视频标题

python如何快速采集美~女视频?无反爬(python快速检索)

二. 代码实现步骤:

发送请求, 模拟浏览器对于url地址发送请求

获取数据, 获取服务器返回响应数据

开发者工具: response <网页源代码>

解析数据, 提取我们想要的数据内容

视频标题

视频播放链接

保存数据, 把视频内容保存本地文件夹

代码展示

导入模块

导入数据请求模块import requestsimport reimport jsonfrom pprint import pprintfrom selenium import webdriverimport time

创建浏览器对象, 实例化对象 自动打开浏览器

driver = webdriver.Chrome()访问网址【需要网址的私我吧这不给放】

执行页面滚动的操作

def drop_down(): for x in range(1, 40, 4): time.sleep(1) j = x / 9 js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j driver.execute_script(js)

可以直接定位元素提取内容

lis = driver.find_elements_by_css_selector('.Eie04v01')for li in lis: url = li.find_element_by_css_selector('a').get_attribute('href')

1. 发送请求, 模拟浏览器对于url地址发送请求

<Response [200]> 响应对象, 表示请求成功仅表示请求成功, 但是不代表一定得到数据<你想要的数据> 没有得到我们想要的数据内容:原因: 是因为代码被服务器识别出来了, 是pachong程序解决:把代码伪装成浏览器去发送请求 —> headers 请求头 print(url) time.sleep(1)

确定请求链接 <视频播放页面>

模拟伪装 headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36' }发送请求 response = requests.get(url=url, headers=headers)

获取数据, 获取服务器返回响应数据

开发者工具: response <网页源代码>

解析数据, 提取我们想要的数据内容

视频标题

视频播放链接

正则表达式, 你要获取什么数据, 直接复制过来, 然后要的数据内容用 (.*?) 表示, 会直接给返回相应的内容

.*? 表示可以匹配任意字符串, 除了\n换行符以外

提取标题 title = re.findall('<title data-react-helmet="true">(.*?)</title>', response.text, re.S)[0]

替换一下特殊字符

title = re.sub(r'[\/:*?"<>|\n]', '', title)

提取视频信息

video_info = re.findall('<script id="RENDER_DATA" type="application/json">(.*?)</script', response.text)[0]

数据进行解码

html_data = requests.utils.unquote(video_info)

转换数据类型

json_data = json.loads(html_data)

键值对取值, 根据冒号左边的内容[键], 提取冒号右边的内容[值]

video_url = 'https:' + json_data['41']['aweme']['detail']['video']['bitRateList'][0]['playAddr'][0]['src']print(title)print(video_url)

4. 保存数据

video_content = requests.get(url=video_url, headers=headers).content with open('video\\' + title + '.mp4', mode='wb') as f: f.write(video_content)我是爱学python的蚂蚁,咱下篇文章再见啦(✿◡‿◡)

有更多建议或问题可以评论区或私信我哦!一起加油努力叭(ง •_•)ง

喜欢就关注一下博主,或点赞收藏评论一下我的文章叭!!!

本文链接地址:https://www.jiuchutong.com/zhishi/300254.html 转载请保留说明!

上一篇:车载技术—CarFramework框架【AOSP 源码编译】(carplcy车载有什么用)

下一篇:深度学习之concatenate和elementwise操作(二)

  • 法人是残疾人有什么优惠政策
  • 出口退税调整后退税率包括什么档次
  • 使用增值税发票的条件
  • 留抵抵欠条件
  • 应收出口退税金额无法收回怎么做账?
  • 公司的个人所得税是多少
  • 用房子贷款印花税怎么交
  • 小规模发票冲红怎么申报
  • 小规模纳税人收到专票后如何处理
  • 员工报销款可以公转私吗
  • 增值税需要结转到本年利润吗
  • 电商刷单的成本如何处理?
  • 新公司第一个月报税怎么弄
  • 股东贷款可以转给其他人吗
  • 参加公司比赛后的感想
  • 应纳税所得额和应纳税额的区别
  • 资产负债表里应交税费里都包含什么
  • 私人账户转到企业账户
  • 食堂货款报账明细表
  • 企业会计准则固定资产解释
  • 个体工商户开票免税额度是多少
  • 工资结算天数
  • 融资租赁业务如何纳税
  • 挂靠车辆可以抵扣进项税么?
  • 公司收回货款会计分录
  • 苹果手机下载手机克隆哪个版本
  • 网关设置
  • 制造费用主要包括哪些费用
  • 确认坏账的会计处理
  • 进价金额核算法的账务处理特点
  • php做
  • 特立尼达和多巴哥
  • 交易性金融资产属于什么科目
  • 住房公积金领出来用了影响以后买房贷款吗
  • 自有物业出租需交税吗
  • 特定业务预缴
  • 爬虫基本原理有哪些
  • vue做项目的流程
  • thinkphp6验证
  • 会计证的作用和用途
  • 库存商品暂估入库金额如何确定
  • python 嵌入
  • 记账凭证银行利息入息
  • 公司捐款怎样抵扣
  • c标准库pdf下载
  • python slic
  • 企业购房怎么贷款
  • mysql数据类型怎么判断
  • 设备购入后又退出怎么办
  • 什么时候过路费减半收费
  • 劳务派遣公司必须有劳务派遣证吗
  • 车船税每年都是一样的吗
  • 零申报步骤
  • 经营性流动资产减去经营性流动负债
  • 两家公司的钱混着用怎么做账
  • 电商行业的采购
  • 一般纳税人企业所得税税率
  • 应收账款周转率范围多少合适
  • 如何设计高效合理的未来课程
  • mysql8.0.23
  • win8系统连接网络
  • ubuntu查看内存占用最多的进程ID
  • 开源镜像是什么意思
  • win8系统如何关闭杀毒系统
  • supporter5.exe - supporter5是什么进程
  • windows createfile
  • Win7自带的扫雷怎么都打不开
  • 雨林木风 winxp sp3 安装版 ys8.0
  • linux中的
  • win8系统笔记本怎么恢复出厂设置
  • excel初始化时出错
  • jquery如何获取input的值
  • 关于js的描述错误的是
  • js如何输出页面内容
  • jquery基本操作
  • js的span标签
  • 经开区税务局党委委员 副局长 杨兴爱
  • 递延所得税资产怎么计算
  • 如何查询甘肃省清产核资系统扶贫项目资产金额
  • 注册税务师条件要求
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设