位置: IT常识 - 正文

python如何快速采集美~女视频?无反爬(python快速检索)

编辑:rootadmin
python如何快速采集美~女视频?无反爬 人生苦短 我用python~

推荐整理分享python如何快速采集美~女视频?无反爬(python快速检索),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python快速上手,python快速检索,python怎么快速运行,python怎么抓取数据,python怎么抓取数据,python编程快速,python简单的数据采集,python快速上手,内容如对您有帮助,希望把文章链接给更多的朋友!

这次康康能给大家整点好看的不~

环境使用:

Python 3.8

Pycharm

mou歌浏览器 mou歌驱动 —> 驱动版本要和浏览器版本最相近 <大版本一样, 小版本最相近>

模块使用:

requests >>> pip install requests

selenium >>> pip install selenium==3.141.0 <需要浏览器和浏览器驱动> 默认安装 4.0版本 语法上面有点区别

re

json

卸载模块: pip uninstall selenium 卸载模块

安装python第三方模块:

win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

在pycharm中点击Terminal(终端) 输入安装命令

基本思路流程: <通用>

一. 数据来源分析:

明确需求:

采集什么数据内容

I. 视频播放链接

II. 视频标题

通过浏览器自带工具: 开发者工具, 进行抓包分析

打开开发者工具: F12 / 鼠标右键点击检查选择network

刷新网页: 让本网页数据内容重新加载一遍

分析/找到 视频播放链接在哪里

选择 media <媒体文件> 可以直接看到 视频播放链接

通过搜索分析可以直接找到 视频播放链接/ 视频标题

python如何快速采集美~女视频?无反爬(python快速检索)

二. 代码实现步骤:

发送请求, 模拟浏览器对于url地址发送请求

获取数据, 获取服务器返回响应数据

开发者工具: response <网页源代码>

解析数据, 提取我们想要的数据内容

视频标题

视频播放链接

保存数据, 把视频内容保存本地文件夹

代码展示

导入模块

导入数据请求模块import requestsimport reimport jsonfrom pprint import pprintfrom selenium import webdriverimport time

创建浏览器对象, 实例化对象 自动打开浏览器

driver = webdriver.Chrome()访问网址【需要网址的私我吧这不给放】

执行页面滚动的操作

def drop_down(): for x in range(1, 40, 4): time.sleep(1) j = x / 9 js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j driver.execute_script(js)

可以直接定位元素提取内容

lis = driver.find_elements_by_css_selector('.Eie04v01')for li in lis: url = li.find_element_by_css_selector('a').get_attribute('href')

1. 发送请求, 模拟浏览器对于url地址发送请求

<Response [200]> 响应对象, 表示请求成功仅表示请求成功, 但是不代表一定得到数据<你想要的数据> 没有得到我们想要的数据内容:原因: 是因为代码被服务器识别出来了, 是pachong程序解决:把代码伪装成浏览器去发送请求 —> headers 请求头 print(url) time.sleep(1)

确定请求链接 <视频播放页面>

模拟伪装 headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36' }发送请求 response = requests.get(url=url, headers=headers)

获取数据, 获取服务器返回响应数据

开发者工具: response <网页源代码>

解析数据, 提取我们想要的数据内容

视频标题

视频播放链接

正则表达式, 你要获取什么数据, 直接复制过来, 然后要的数据内容用 (.*?) 表示, 会直接给返回相应的内容

.*? 表示可以匹配任意字符串, 除了\n换行符以外

提取标题 title = re.findall('<title data-react-helmet="true">(.*?)</title>', response.text, re.S)[0]

替换一下特殊字符

title = re.sub(r'[\/:*?"<>|\n]', '', title)

提取视频信息

video_info = re.findall('<script id="RENDER_DATA" type="application/json">(.*?)</script', response.text)[0]

数据进行解码

html_data = requests.utils.unquote(video_info)

转换数据类型

json_data = json.loads(html_data)

键值对取值, 根据冒号左边的内容[键], 提取冒号右边的内容[值]

video_url = 'https:' + json_data['41']['aweme']['detail']['video']['bitRateList'][0]['playAddr'][0]['src']print(title)print(video_url)

4. 保存数据

video_content = requests.get(url=video_url, headers=headers).content with open('video\\' + title + '.mp4', mode='wb') as f: f.write(video_content)我是爱学python的蚂蚁,咱下篇文章再见啦(✿◡‿◡)

有更多建议或问题可以评论区或私信我哦!一起加油努力叭(ง •_•)ง

喜欢就关注一下博主,或点赞收藏评论一下我的文章叭!!!

本文链接地址:https://www.jiuchutong.com/zhishi/300254.html 转载请保留说明!

上一篇:车载技术—CarFramework框架【AOSP 源码编译】(carplcy车载有什么用)

下一篇:深度学习之concatenate和elementwise操作(二)

  • 在外地预缴的印花税如何扣除
  • 外商投资合伙企业的性质与特征
  • 个人所得税减免 租房没有合同编号
  • 固定资产丢失
  • 股权出让需要交税吗
  • 有哪些发票可以开成餐饮服务
  • 自制农产品采摘机器设备
  • 客户退货金额小怎么说
  • 发行长期债券会计分录例题
  • 机打发票丢失如何处理报销
  • 关联业务报告表需要填吗
  • 关联交易类型有哪些
  • 临时工怎样做账
  • 企业的低值易耗品主要包括什么等
  • 建筑服务工程款会计分录
  • 银行转账结算凭证按照填制手续和内容
  • 开发票有时间限制吗?
  • 资产减值损失怎么计提
  • 腾讯电脑管家帮忙卸载
  • 房租发票需要缴房产税吗
  • 累进税率的特点是课税对象的数额越大,税率越
  • 新成立公司工会经费什么时候交
  • 债券转让增值税例子
  • 高新企业研发费用会计分录
  • 应付债券借贷
  • php字符串处理函数
  • 稿酬特许权使用费的预扣率是多少
  • 加速折旧法计算公式 CFA
  • pnp.npn
  • PHP:zip_entry_open()的用法_Zip函数
  • codeigniter中文手册
  • php利用数组完成党员信息表
  • 城建税10%用于教育哪方面
  • webpack插件执行顺序
  • 电赛例题
  • 怎样安装∪sb
  • 销售费用计提分录
  • 中小型科技企业所面临的普遍问题是资金缺乏
  • mongodb集群启动顺序
  • dedecms怎么改图片
  • 开具红字增值税普通发票
  • sql怎么用sql语句创建表
  • sql server概述
  • 业务活动成本和管理费用能不能写在一起
  • 公司找个人干活
  • 冲销以前年度多计提的费用分录
  • 汽车折旧会计凭证怎么做
  • 公司租赁的车辆发生的费用都可以报销吗?
  • 购买货物对方代垫的运输费分录
  • 固定资产以提足金为准吗
  • 支付结算的法律构成
  • 黄金入账如何做会计分录
  • 同一客户有应收应付可以相互抵消吗
  • 劳务派遣税率是多少2023
  • 培训费怎么算个人所得税
  • 加班餐补需要发票嘛
  • 在你登陆时发生了问题
  • 应付职工薪酬账户贷方登记的是
  • sqlserver怎么使用索引
  • window放大之后怎么缩小
  • windowsxp注册表在哪
  • windows10正式版
  • ubuntu14.04启动不了
  • windows8中“同步你的设置”使用介绍(让你的设置自动同步)
  • win7恶意程序怎么清除
  • 安装与配置linux操作系统
  • win8文件夹打不开
  • android自定义样式
  • it unes
  • android开源app
  • 等待窗口
  • javascript截图找图
  • android 启动器 设置
  • 河南商丘联通宽带最低多少钱
  • 曲靖市国家税务局杨春天
  • 西安车辆购置税缴纳多少
  • 营改增后的工程造价怎么算
  • 免除滞纳金的条件
  • 北京朝阳国家税务总局
  • 税务师怎么备考才能考过
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设