位置: IT常识 - 正文

python如何快速采集美~女视频?无反爬(python快速检索)

编辑:rootadmin
python如何快速采集美~女视频?无反爬 人生苦短 我用python~

推荐整理分享python如何快速采集美~女视频?无反爬(python快速检索),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python快速上手,python快速检索,python怎么快速运行,python怎么抓取数据,python怎么抓取数据,python编程快速,python简单的数据采集,python快速上手,内容如对您有帮助,希望把文章链接给更多的朋友!

这次康康能给大家整点好看的不~

环境使用:

Python 3.8

Pycharm

mou歌浏览器 mou歌驱动 —> 驱动版本要和浏览器版本最相近 <大版本一样, 小版本最相近>

模块使用:

requests >>> pip install requests

selenium >>> pip install selenium==3.141.0 <需要浏览器和浏览器驱动> 默认安装 4.0版本 语法上面有点区别

re

json

卸载模块: pip uninstall selenium 卸载模块

安装python第三方模块:

win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

在pycharm中点击Terminal(终端) 输入安装命令

基本思路流程: <通用>

一. 数据来源分析:

明确需求:

采集什么数据内容

I. 视频播放链接

II. 视频标题

通过浏览器自带工具: 开发者工具, 进行抓包分析

打开开发者工具: F12 / 鼠标右键点击检查选择network

刷新网页: 让本网页数据内容重新加载一遍

分析/找到 视频播放链接在哪里

选择 media <媒体文件> 可以直接看到 视频播放链接

通过搜索分析可以直接找到 视频播放链接/ 视频标题

python如何快速采集美~女视频?无反爬(python快速检索)

二. 代码实现步骤:

发送请求, 模拟浏览器对于url地址发送请求

获取数据, 获取服务器返回响应数据

开发者工具: response <网页源代码>

解析数据, 提取我们想要的数据内容

视频标题

视频播放链接

保存数据, 把视频内容保存本地文件夹

代码展示

导入模块

导入数据请求模块import requestsimport reimport jsonfrom pprint import pprintfrom selenium import webdriverimport time

创建浏览器对象, 实例化对象 自动打开浏览器

driver = webdriver.Chrome()访问网址【需要网址的私我吧这不给放】

执行页面滚动的操作

def drop_down(): for x in range(1, 40, 4): time.sleep(1) j = x / 9 js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j driver.execute_script(js)

可以直接定位元素提取内容

lis = driver.find_elements_by_css_selector('.Eie04v01')for li in lis: url = li.find_element_by_css_selector('a').get_attribute('href')

1. 发送请求, 模拟浏览器对于url地址发送请求

<Response [200]> 响应对象, 表示请求成功仅表示请求成功, 但是不代表一定得到数据<你想要的数据> 没有得到我们想要的数据内容:原因: 是因为代码被服务器识别出来了, 是pachong程序解决:把代码伪装成浏览器去发送请求 —> headers 请求头 print(url) time.sleep(1)

确定请求链接 <视频播放页面>

模拟伪装 headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36' }发送请求 response = requests.get(url=url, headers=headers)

获取数据, 获取服务器返回响应数据

开发者工具: response <网页源代码>

解析数据, 提取我们想要的数据内容

视频标题

视频播放链接

正则表达式, 你要获取什么数据, 直接复制过来, 然后要的数据内容用 (.*?) 表示, 会直接给返回相应的内容

.*? 表示可以匹配任意字符串, 除了\n换行符以外

提取标题 title = re.findall('<title data-react-helmet="true">(.*?)</title>', response.text, re.S)[0]

替换一下特殊字符

title = re.sub(r'[\/:*?"<>|\n]', '', title)

提取视频信息

video_info = re.findall('<script id="RENDER_DATA" type="application/json">(.*?)</script', response.text)[0]

数据进行解码

html_data = requests.utils.unquote(video_info)

转换数据类型

json_data = json.loads(html_data)

键值对取值, 根据冒号左边的内容[键], 提取冒号右边的内容[值]

video_url = 'https:' + json_data['41']['aweme']['detail']['video']['bitRateList'][0]['playAddr'][0]['src']print(title)print(video_url)

4. 保存数据

video_content = requests.get(url=video_url, headers=headers).content with open('video\\' + title + '.mp4', mode='wb') as f: f.write(video_content)我是爱学python的蚂蚁,咱下篇文章再见啦(✿◡‿◡)

有更多建议或问题可以评论区或私信我哦!一起加油努力叭(ง •_•)ง

喜欢就关注一下博主,或点赞收藏评论一下我的文章叭!!!

本文链接地址:https://www.jiuchutong.com/zhishi/300254.html 转载请保留说明!

上一篇:车载技术—CarFramework框架【AOSP 源码编译】(carplcy车载有什么用)

下一篇:深度学习之concatenate和elementwise操作(二)

  • 微信营销应该怎么做,微信营销有什么技巧(微信营销怎么避免封号)

    微信营销应该怎么做,微信营销有什么技巧(微信营销怎么避免封号)

  • 苹果手机怎么给微信换图标(苹果手机怎么给微信设置密码锁)

    苹果手机怎么给微信换图标(苹果手机怎么给微信设置密码锁)

  • 华为手机彻底删除的视频怎么恢复(华为手机彻底删除在哪里)

    华为手机彻底删除的视频怎么恢复(华为手机彻底删除在哪里)

  • 健康码可以解绑家人吗(健康码可以解绑几次手机号)

    健康码可以解绑家人吗(健康码可以解绑几次手机号)

  • 微信视频号怎么发(微信视频号怎么弄)

    微信视频号怎么发(微信视频号怎么弄)

  • 华为荣耀10青春版没有耳机吗(华为荣耀10青春版拆机视频)

    华为荣耀10青春版没有耳机吗(华为荣耀10青春版拆机视频)

  • 秘乐短视频里面的秘宝是(秘乐短视频怎么没了)

    秘乐短视频里面的秘宝是(秘乐短视频怎么没了)

  • oppor17长多少cm(oppor17长宽厚是多少)

    oppor17长多少cm(oppor17长宽厚是多少)

  • ipad3现在太卡了(ipad3越来越卡怎么办)

    ipad3现在太卡了(ipad3越来越卡怎么办)

  • 朋友圈防折叠(朋友圈防折叠小程序)

    朋友圈防折叠(朋友圈防折叠小程序)

  • 手机进水了和没事一样(手机进水了和没事一样可以充电吗)

    手机进水了和没事一样(手机进水了和没事一样可以充电吗)

  • dbms提供的数据保护功能主要有(DBMS提供的数据控制功能包括)

    dbms提供的数据保护功能主要有(DBMS提供的数据控制功能包括)

  • 华为gt首次充电时间(华为gt 充电)

    华为gt首次充电时间(华为gt 充电)

  • 苹果腾讯会议没有共享屏幕(苹果腾讯会议没有声音)

    苹果腾讯会议没有共享屏幕(苹果腾讯会议没有声音)

  • 苹果6发热严重是什么原因(苹果发热严重还是安卓)

    苹果6发热严重是什么原因(苹果发热严重还是安卓)

  • 4g电话卡可以升级5g吗(4g电话卡可以升到5g吗)

    4g电话卡可以升级5g吗(4g电话卡可以升到5g吗)

  • xr没有声音了怎么回事(xr无声音)

    xr没有声音了怎么回事(xr无声音)

  • 华为手机型号怎么看(华为手机型号怎么看是不是翻新机)

    华为手机型号怎么看(华为手机型号怎么看是不是翻新机)

  • vivo手机咋插内存卡(怎么插vivo手机内存卡)

    vivo手机咋插内存卡(怎么插vivo手机内存卡)

  • 哔哩哔哩视频保存手机(哔哩哔哩视频保存本地)

    哔哩哔哩视频保存手机(哔哩哔哩视频保存本地)

  • 电脑如何进入运行界面(电脑如何进入运行列表)

    电脑如何进入运行界面(电脑如何进入运行列表)

  • 台式电脑卡死怎么解决(台式电脑直接卡死)

    台式电脑卡死怎么解决(台式电脑直接卡死)

  • 手机锁屏热点咨询怎么关闭(手机锁屏热点就没了)

    手机锁屏热点咨询怎么关闭(手机锁屏热点就没了)

  • 红米k20pro和k20有什么区别(红米k20与k20pro)

    红米k20pro和k20有什么区别(红米k20与k20pro)

  • 资源管理器被关闭但没有自动重启怎么办(资源管理器被关闭了怎么恢复)

    资源管理器被关闭但没有自动重启怎么办(资源管理器被关闭了怎么恢复)

  • 工会经费每月必须60块钱
  • 核定征收季度核定销售额
  • 资产减值损失与资产处置损益区别
  • 科目余额表一定要编吗
  • 应付账款是负数怎么回事
  • 个人合伙企业有没有企业所得税
  • 增值税专用发票电子版
  • 一般纳税人开具3%专票的条件
  • 股权激励技术入股的最新政策
  • 注销往来怎么清理
  • 收到税局代增值税专用发票已作废的退款怎么做账
  • 工程结算完后剩余资金如何处理?
  • 筹建期间开办费账务处理
  • 个人装修可以开发票吗?
  • 原材料计入资产成本吗
  • 新版edge浏览器兼容性视图怎么设置
  • 税收返还的账务处理
  • 预付会议费会计分录
  • 没有发票申报纳税怎么办
  • pniopcacexe是什么进程
  • 库存退回
  • 生产提供什么产品
  • Win7系统电脑c盘什么都没有为什么满了
  • 一般纳税人出售旧设备的税率
  • php怎么转换
  • php getdate
  • 海关滞报金可以税前扣除吗 江苏
  • 库存现金要设置明细科目吗
  • 企业清算的会计科目
  • php实现文件的下载
  • php中的正则表达式怎么使用
  • 本月增加的无形资产数量
  • 少数股东权益贷方表示什么意思
  • node安装配置环境变量
  • echartsgrid属性
  • gpt3 transformer
  • 增值税进项和销项怎么抵扣
  • 失业保险金退回告知书
  • 其他收益所得税汇算清缴时需要调增吗
  • 座谈会费用报销明细怎么填写
  • 应付工资怎么记账
  • 比赛奖金怎么做账
  • 员工出差回来会计分录
  • 套期保值和套期图利
  • 通过SQL Server 2008数据库复制实现数据库同步备份
  • 增值税为什么不在利润表里体现
  • 工会经费会计分录最新
  • 合同资产和合同负债的区别
  • 无形资产减值准备借贷
  • 2019员工旅游费最新规定
  • 差额征税的账务处理教学视频
  • 小规模纳税人免税政策2023年
  • 工程主营业务收入会计分录
  • 无进项发票开具销项发票
  • 其他应付款包括哪些内容
  • 补税的会计分录
  • 目标考核奖金做什么科目
  • 收到票据之后贴什么标签
  • 销售空调并提供安装如何征增值税
  • having的用法详解
  • debian8安装
  • freebsd的软件多吗
  • centos文档
  • centos7.5切换图形界面
  • win10预览版和正式版
  • linux网络编程宋敬彬pdf
  • linux做raid10
  • win7系统摄像头不可用怎么办
  • win7激活工具怎么使用
  • win7 64位纯净版图标变成了一样该怎么办?win7旗舰版图标变成一样的解决方法
  • perl中的$_
  • 计算机中丢失opencv_core249.dll
  • js按位运算符
  • jquery和dom对象之间怎么转换
  • pycharm sftp
  • python使用pymysql实现操作mysql
  • 页面跳转后js还会执行吗
  • 包装物押金收入含税吗
  • 珠宝消费税怎么征收
  • 买新车的注意事项有哪些比较重要的
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设