位置: IT常识 - 正文

python如何快速采集美~女视频?无反爬(python快速检索)

编辑:rootadmin
python如何快速采集美~女视频?无反爬 人生苦短 我用python~

推荐整理分享python如何快速采集美~女视频?无反爬(python快速检索),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python快速上手,python快速检索,python怎么快速运行,python怎么抓取数据,python怎么抓取数据,python编程快速,python简单的数据采集,python快速上手,内容如对您有帮助,希望把文章链接给更多的朋友!

这次康康能给大家整点好看的不~

环境使用:

Python 3.8

Pycharm

mou歌浏览器 mou歌驱动 —> 驱动版本要和浏览器版本最相近 <大版本一样, 小版本最相近>

模块使用:

requests >>> pip install requests

selenium >>> pip install selenium==3.141.0 <需要浏览器和浏览器驱动> 默认安装 4.0版本 语法上面有点区别

re

json

卸载模块: pip uninstall selenium 卸载模块

安装python第三方模块:

win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

在pycharm中点击Terminal(终端) 输入安装命令

基本思路流程: <通用>

一. 数据来源分析:

明确需求:

采集什么数据内容

I. 视频播放链接

II. 视频标题

通过浏览器自带工具: 开发者工具, 进行抓包分析

打开开发者工具: F12 / 鼠标右键点击检查选择network

刷新网页: 让本网页数据内容重新加载一遍

分析/找到 视频播放链接在哪里

选择 media <媒体文件> 可以直接看到 视频播放链接

通过搜索分析可以直接找到 视频播放链接/ 视频标题

python如何快速采集美~女视频?无反爬(python快速检索)

二. 代码实现步骤:

发送请求, 模拟浏览器对于url地址发送请求

获取数据, 获取服务器返回响应数据

开发者工具: response <网页源代码>

解析数据, 提取我们想要的数据内容

视频标题

视频播放链接

保存数据, 把视频内容保存本地文件夹

代码展示

导入模块

导入数据请求模块import requestsimport reimport jsonfrom pprint import pprintfrom selenium import webdriverimport time

创建浏览器对象, 实例化对象 自动打开浏览器

driver = webdriver.Chrome()访问网址【需要网址的私我吧这不给放】

执行页面滚动的操作

def drop_down(): for x in range(1, 40, 4): time.sleep(1) j = x / 9 js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j driver.execute_script(js)

可以直接定位元素提取内容

lis = driver.find_elements_by_css_selector('.Eie04v01')for li in lis: url = li.find_element_by_css_selector('a').get_attribute('href')

1. 发送请求, 模拟浏览器对于url地址发送请求

<Response [200]> 响应对象, 表示请求成功仅表示请求成功, 但是不代表一定得到数据<你想要的数据> 没有得到我们想要的数据内容:原因: 是因为代码被服务器识别出来了, 是pachong程序解决:把代码伪装成浏览器去发送请求 —> headers 请求头 print(url) time.sleep(1)

确定请求链接 <视频播放页面>

模拟伪装 headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36' }发送请求 response = requests.get(url=url, headers=headers)

获取数据, 获取服务器返回响应数据

开发者工具: response <网页源代码>

解析数据, 提取我们想要的数据内容

视频标题

视频播放链接

正则表达式, 你要获取什么数据, 直接复制过来, 然后要的数据内容用 (.*?) 表示, 会直接给返回相应的内容

.*? 表示可以匹配任意字符串, 除了\n换行符以外

提取标题 title = re.findall('<title data-react-helmet="true">(.*?)</title>', response.text, re.S)[0]

替换一下特殊字符

title = re.sub(r'[\/:*?"<>|\n]', '', title)

提取视频信息

video_info = re.findall('<script id="RENDER_DATA" type="application/json">(.*?)</script', response.text)[0]

数据进行解码

html_data = requests.utils.unquote(video_info)

转换数据类型

json_data = json.loads(html_data)

键值对取值, 根据冒号左边的内容[键], 提取冒号右边的内容[值]

video_url = 'https:' + json_data['41']['aweme']['detail']['video']['bitRateList'][0]['playAddr'][0]['src']print(title)print(video_url)

4. 保存数据

video_content = requests.get(url=video_url, headers=headers).content with open('video\\' + title + '.mp4', mode='wb') as f: f.write(video_content)我是爱学python的蚂蚁,咱下篇文章再见啦(✿◡‿◡)

有更多建议或问题可以评论区或私信我哦!一起加油努力叭(ง •_•)ง

喜欢就关注一下博主,或点赞收藏评论一下我的文章叭!!!

本文链接地址:https://www.jiuchutong.com/zhishi/300254.html 转载请保留说明!

上一篇:车载技术—CarFramework框架【AOSP 源码编译】(carplcy车载有什么用)

下一篇:深度学习之concatenate和elementwise操作(二)

  • 怎么看qq情侣空间跟谁绑定过(怎么看qq情侣空间以前绑定过多少人)

    怎么看qq情侣空间跟谁绑定过(怎么看qq情侣空间以前绑定过多少人)

  • 小米civi怎么关闭hd(小米Civi怎么关闭充电声音)

    小米civi怎么关闭hd(小米Civi怎么关闭充电声音)

  • 红米k40相机专业模式怎么调(红米K40相机专业分别代表什么)

    红米k40相机专业模式怎么调(红米K40相机专业分别代表什么)

  • 淘宝拍卖延时规则(淘宝拍卖延时规则最新)

    淘宝拍卖延时规则(淘宝拍卖延时规则最新)

  • 无gui引导的后果(无gui引导什么意思)

    无gui引导的后果(无gui引导什么意思)

  • wps退出全屏快捷键(wps退出全屏快捷键是哪个)

    wps退出全屏快捷键(wps退出全屏快捷键是哪个)

  • 虎牙直播是哪个公司旗下的(虎牙直播是哪个公司的软件)

    虎牙直播是哪个公司旗下的(虎牙直播是哪个公司的软件)

  • uncx显示器是什么牌子(unv是什么牌子显示器)

    uncx显示器是什么牌子(unv是什么牌子显示器)

  • 手机号核检是什么意思(手机核检是怎么回事儿)

    手机号核检是什么意思(手机核检是怎么回事儿)

  • 淘宝多少分升一心(淘宝等级多少分升一级)

    淘宝多少分升一心(淘宝等级多少分升一级)

  • xbox无线适配器二代灯不会亮(xbox无线适配器有必要买吗)

    xbox无线适配器二代灯不会亮(xbox无线适配器有必要买吗)

  • iphone手机怎么设置白名单(iphone手机怎么设置振动模式)

    iphone手机怎么设置白名单(iphone手机怎么设置振动模式)

  • 流速屏是什么意思(流速屏手机有哪些)

    流速屏是什么意思(流速屏手机有哪些)

  • 美版a1661有网络锁吗(美版a1660)

    美版a1661有网络锁吗(美版a1660)

  • word没点保存怎么恢复(word没保存怎么找备份)

    word没点保存怎么恢复(word没保存怎么找备份)

  • 苹果的volte是什么意思(iphone手机volte有什么用)

    苹果的volte是什么意思(iphone手机volte有什么用)

  • 分页符的功能(分页符功能在哪里)

    分页符的功能(分页符功能在哪里)

  • 快手私密别人能看到吗(快手私密账户别人能发私信吗)

    快手私密别人能看到吗(快手私密账户别人能发私信吗)

  • 安卓手机怎么设置铃声(安卓手机怎么设置来电铃声)

    安卓手机怎么设置铃声(安卓手机怎么设置来电铃声)

  • 合约机怎么解除合约(合约机怎么解除合约电信停机)

    合约机怎么解除合约(合约机怎么解除合约电信停机)

  • 抢到的快手币怎么提现(抢到的快手币怎么使用)

    抢到的快手币怎么提现(抢到的快手币怎么使用)

  • 苏宁易购怎样实名认证(苏宁易购试用怎么申请)

    苏宁易购怎样实名认证(苏宁易购试用怎么申请)

  • 让图片反色的app(能让图片颜色反转的软件)

    让图片反色的app(能让图片颜色反转的软件)

  • 小红书退货流程(小红书退货流程图片)

    小红书退货流程(小红书退货流程图片)

  • r5 1600配什么主板(r5 1600主板推荐)

    r5 1600配什么主板(r5 1600主板推荐)

  • removed.exe - removed是什么进程 有什么用

    removed.exe - removed是什么进程 有什么用

  • 一般纳税人转为小规模纳税人
  • 小规模纳税人开普票要交税吗
  • 报废固定资产可以收定金吗合法吗
  • 技术支持费用取费依据
  • 红字专用发票信息表用什么纸打印
  • 进项税的现金流量项目
  • 一般纳税人转让二手车增值税税率
  • 进项税有余额但没有余额
  • 一般纳税人税负率一般控制在多少?法律依据
  • 分配利润和分配股利
  • 待处理财产损益是什么意思
  • 购入固定资产挂帐记其他应付款还是应付账款
  • 盈余公积转增资本有限制吗
  • 奖金退还
  • 土地增值税缴纳标准
  • 费用结转到本年利润是手动还自动结转?
  • 金蝶财务软件不能反结账
  • 资产基金科目如何选择
  • 如何理解结转资金与结余资金的区别
  • 开票的增值税与附加税
  • 收购企业的账务处理流程
  • 代收代付业务怎么交税
  • 无形资产有哪些摊销方法
  • linux系统网络日志
  • 农产品专票可以开零税率吗
  • 科克伯什么意思
  • php://input用法
  • php批量发送邮件
  • 不能报销的发票可以丢掉吗
  • 商业汇票计入什么科目技能高考
  • php获取当天是星期几
  • 员工不愿意缴纳个税 需要公司承担吗
  • 使用灭火器人要站在上风口还是下风口
  • for of 与for in
  • linux清理文件内容
  • 什么是技术服务工程师
  • 不想预缴所得税交多了怎样先把利润转到费用
  • sql性能优化方法
  • python中的比较
  • 计提提成是什么意思
  • 小规模纳税人补开发票如何申报
  • 小规模纳税人免税会计分录
  • 自产产品用于业务招待费
  • 办公桌椅入什么会计科目
  • 车船税手续费返还时间
  • 银行存款支付业务招待费
  • 应付账款调整科目余额分录
  • 公司股权作价转让会计分录案例
  • 银行支付结算管理办法
  • 股东分红的会计分录怎么做
  • 所得税审核一般需要多久
  • 关于幼儿园的会议内容
  • 印花税的计入科目有哪些
  • 小规模税收酒店做账报税
  • 并购贷款是固定资产贷款吗
  • 小规模纳税人季度申报哪些税
  • 旅游应当提示参加团队旅游的旅游者按照规定购买什么
  • 商业仓储
  • 公司财务人员的作用
  • 商业企业注销应检查哪方面的问题
  • sql server如何远程登录
  • 免激活合法使用的软件
  • linux calloc
  • linux常用命令top
  • win8.1原版系统安装教程
  • windows7开机
  • winxp如何设置文件共享
  • 怎么使用Win10自带绘画软件
  • Win7安装VPN软件后无法上网是什么原因如何解决
  • win7如何关闭ie浏览器
  • win7打印机图标显示感叹号
  • jquery 刷新div
  • unity怎么替换模型位置
  • 如何用python编写脚本
  • unity3d知乎
  • canvas的原理
  • 基于javascript的毕业设计
  • 安卓开源组件
  • 排污费属于什么费用科目
  • 如何查北京
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设