位置: IT常识 - 正文

python带你采集桌游、剧本杀游戏店数据信息~(python 数据采集卡)

编辑:rootadmin
前言 嗨喽~大家好呀,这里是魔王呐 ! 又是学习的一天,让我们开始叭~ 环境使用: Python 3.8 Pycharm 模块使用: requests >>> pip install requests re csv 如果安装python第三方模块: win + R 输入 cmd 点击确定, 输入安装 ... 前言

嗨喽~大家好呀,这里是魔王呐 !

又是学习的一天,让我们开始叭~

环境使用:

推荐整理分享python带你采集桌游、剧本杀游戏店数据信息~(python 数据采集卡),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:python 采集数据,python采集教程,python调用采集卡,python数据采集系统,python调用采集卡,python数据采集系统,python采集器,python采集器,内容如对您有帮助,希望把文章链接给更多的朋友!

Python 3.8

Pycharm

模块使用:

requests >>> pip install requests

re

csv

如果安装python第三方模块:

win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

python带你采集桌游、剧本杀游戏店数据信息~(python 数据采集卡)

在pycharm中点击Terminal(终端) 输入安装命令

基本流程思路: <通用>一. 数据来源分析

抓包分析我们想要数据内容, 请求的那个网站 url地址得到

F12 或者 鼠标右键点击检查选择network, 点击第二页

选中xhr 第一个数据包就是我们想要的内容用到开发者工具搜索功能

二. 代码实现步骤过程: 固定四大步骤

发送请求, 对于刚刚分析得到url地址发送请求

获取数据, 获取服务器返回响应数据 ---> 开发者工具里面response

解析数据, 提取我们想要数据内容 ---> 店铺基本信息

保存数据, 保存数据, 保存表格里面

多页数据采集

多页数据采集 ---> 循环 for <目的>

分析请求url地址参数变化

采集代码# 导入数据请求模块 ---> 第三方模块 需要 pip install requestsimport requests# 导入格式化输出模块 --> 内置模块 不需要安装from pprint import pprint# 导入csv模块 --> 内置模块 不需要安装import csv# 导入时间模块 --> 内置模块 不需要安装import time# 导入正则模块 --> 内置模块 不需要安装import re# 3. 发送请求html_data = requests.get(url=link, headers=headers).text# 4. 获取数据print(html_data)"""5. 解析数据, re正则 会用 1 不会 2re.findall() 找到所有我们想要数据告诉程序: 从什么地方 去找什么数据从 html_data 去找 "address":"(.*?)","phone":"(.*?)","openTime":"(.*?)", 这段内容其中 (.*?) 就是我们要的数据"""shop_info = re.findall('"address":"(.*?)","phone":"(.*?)","openTime":"(.*?)",', html_data)[0]print(shop_info)# shop_info 元组 ---> [0] 根据索引位置取值 / 计数从0开始计数address = shop_info[0]# [1] 什么意思?phone = shop_info[1]# replace 是什么 字符串替换方法 把 \\n 替换 空的 \<转义字符串> \n 还换行符openTime = shop_info[2].replace('\\n', '')print(address, phone, openTime)# 创建文件 相对路径 你代码在哪里 文件就写在哪里f = open('男人的小秘密多页.csv', mode='a', encoding='utf-8', newline='')# 字典写入 f ---> 文件对象 fieldnames 字段名 表头表格第一行内容csv_writer = csv.DictWriter(f, fieldnames=[ '店铺', '店铺类型', '商圈', '人均消费', '最低消费', '评分', '评论', '纬度', '经度', '详情页',])# 写入表头csv_writer.writeheader()发送请求, 模拟浏览器发送请求代码都是可以复制粘贴

长链接可以分段写入

批量替换 ---> 批量添加引号和逗号1.选中替换内容2.按 ctrl + R3.勾选上.* 输入正则命令

(.*?): (.*)'$1': '$2',如果当你请求网站, 被反爬的时候

一种最简单反反爬手段, 用headers请求头伪装成浏览器去发送请求

# 发送请求 response = requests.get(url=url, params=data, headers=headers) # <Response [403]>: 整体表示响应对象 403状态码 表示 没有访问权限 # <Response [200]> 200 状态码表示请求成功 print(response) # 2. 获取数据, 获取服务器返回响应数据 ---> 开发者工具里面response --> response.json() 获取响应对象json字典数据 print(response.json()) # 3. 解析数据, 提取我们想要的数据内容 ---> 字典取值: 键值对取值 <根据冒号左边的内容[键], 提取冒号右边的内容[值]> for index in response.json()['data']['searchResult']: # for循环遍历, 把列表里面元素一个一个提取出来 # 写入数据 csv_writer.writerow(dit) print(dit)可视化代码import pandas as pdimport numpy as npfrom pyecharts.charts import *from pyecharts import options as optsfrom pyecharts.globals import ThemeType #引入主题df = pd.read_csv('武汉桌游多页.csv',encoding='utf-8',engine="python")df.sample(5)df.info()df = df.fillna('暂无数据')cut = lambda x : '一般' if x <= 3.5 else ('不错' if x <= 4.0 else('好' if x <= 4.5 else '很好'))df['评分类型'] = df['评分'].map(cut)df.describe()import matplotlib.pyplot as pltimport seaborn as sns%matplotlib inlineplt.rcParams['font.sans-serif'] = ['SimHei'] # 设置加载的字体名plt.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显示为方块的问题fig,axes=plt.subplots(2,1,figsize=(12,12))sns.regplot(x='人均消费',y='评分',data=df,color='r',marker='+',ax=axes[0])sns.regplot(x='评论',y='评分',data=df,color='g',marker='*',ax=axes[1])df2 = df.groupby('商圈')['店名'].count()df2 = df2.sort_values(ascending=True)[-10:]df2 = df2.round(2)c = ( Bar(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND)) .add_xaxis(df2.index.tolist()) .add_yaxis("",df2.tolist()).reversal_axis() #X轴与y轴调换顺序 .set_global_opts(title_opts=opts.TitleOpts(title="武汉桌游商圈数量top10",subtitle="数据来源:美团",pos_left = 'center'), xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=16)), #更改横坐标字体大小 yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=16)), #更改纵坐标字体大小 ) .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right')) )c.render_notebook()df4 = df.groupby('评分')['店名'].count()df4 = df4.sort_values(ascending=False)regions = df4.index.tolist()values = df4.tolist()c = ( Pie(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND)) .add("", [z for z in zip(regions,values)]) .set_global_opts(title_opts=opts.TitleOpts(title="不同评分类型店铺数量",subtitle="数据来源:美团",pos_top="-1%",pos_left = 'center')) .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%",font_size=18)) )c.render_notebook()df6 = df.groupby('店铺类型')['店名'].count()df6 = df6.sort_values(ascending=False)[:10]df6 = df6.round(2)regions = df6.index.tolist()values = df6.tolist()c = ( Pie(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND)) .add("", [i for i in zip(regions,values)],radius=["40%", "75%"]) .set_global_opts(title_opts=opts.TitleOpts(title="不同店铺类型店铺数量",pos_top="-1%",pos_left = 'center')) .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}",font_size=18)) )c.render_notebook()df6 = df.groupby('店铺类型')['评分'].mean()df6 = df6.sort_values(ascending=True)df6 = df6.round(2)df6 = df6.tail(10)c = ( Bar(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND)) .add_xaxis(df6.index.tolist()) .add_yaxis("",df6.tolist()).reversal_axis() #X轴与y轴调换顺序 .set_global_opts(title_opts=opts.TitleOpts(title="不同店铺类型评分",subtitle="数据来源:美团",pos_left = 'center'), xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=16)), #更改横坐标字体大小 yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=16)), #更改纵坐标字体大小 ) .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right')) )c.render_notebook()df7 = df.groupby('店铺类型')['评论'].sum()df7 = df7.sort_values(ascending=True)df7 = df7.tail(10)c = ( Bar(init_opts=opts.InitOpts(theme=ThemeType.WONDERLAND)) .add_xaxis(df7.index.tolist()) .add_yaxis("",df7.tolist()).reversal_axis() #X轴与y轴调换顺序 .set_global_opts(title_opts=opts.TitleOpts(title="不同店铺类型评论人数",subtitle="数据来源:美团",pos_left = 'center'), xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=16)), #更改横坐标字体大小 yaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(font_size=16)), #更改纵坐标字体大小 ) .set_series_opts(label_opts=opts.LabelOpts(font_size=16,position='right')) )c.render_notebook()尾语

要成功,先发疯,下定决心往前冲!

学习是需要长期坚持的,一步一个脚印地走向未来!

未来的你一定会感谢今天学习的你。

—— 心灵鸡汤

本文章到这里就结束啦~感兴趣的小伙伴可以复制代码去试试哦 ?

对啦!!记得三连哦~ ? 另外,欢迎大家阅读我往期的文章呀~

本文链接地址:https://www.jiuchutong.com/zhishi/304141.html 转载请保留说明!

上一篇:phpcms安装无法连接数据库(phpcms安装无法连接数据库服务器)

下一篇:JavaWeb之Servlet

  • 抖音极速版签到在哪里(抖音极速版签到怎么恢复正常)

    抖音极速版签到在哪里(抖音极速版签到怎么恢复正常)

  • 华为mate30pro有几个卡槽(华为mate30pro有几个分身)

    华为mate30pro有几个卡槽(华为mate30pro有几个分身)

  • 怎么给抖音直播点赞(怎么给抖音直播间投流)

    怎么给抖音直播点赞(怎么给抖音直播间投流)

  • qq邮箱的漂流瓶怎么没了(qq邮箱漂流瓶取消了吗)

    qq邮箱的漂流瓶怎么没了(qq邮箱漂流瓶取消了吗)

  • 此图形中的一个或多个对象无法保存为指定格式(此图形中的一个或多个对象)

    此图形中的一个或多个对象无法保存为指定格式(此图形中的一个或多个对象)

  • ae预览视频为啥不能播放全部(为什么ae突然预览播放不了)

    ae预览视频为啥不能播放全部(为什么ae突然预览播放不了)

  • 为什么加别人qq要发短信(为什么加别人QQ加不上)

    为什么加别人qq要发短信(为什么加别人QQ加不上)

  • 钉钉未激活能接收群信息吗(钉钉未激活有什么影响)

    钉钉未激活能接收群信息吗(钉钉未激活有什么影响)

  • 探探付款成功能退回吗(探探付款成功能退款吗)

    探探付款成功能退回吗(探探付款成功能退款吗)

  • 微信朋友圈显示一条线(微信朋友圈显示三天可见怎么设置)

    微信朋友圈显示一条线(微信朋友圈显示三天可见怎么设置)

  • 固态硬盘m2是什么意思(固态硬盘m2什么牌子好)

    固态硬盘m2是什么意思(固态硬盘m2什么牌子好)

  • 华为畅享10有指纹识别吗(华为畅享10有指纹解锁功能吗)

    华为畅享10有指纹识别吗(华为畅享10有指纹解锁功能吗)

  • ps属于什么专业(大学ps属于什么专业)

    ps属于什么专业(大学ps属于什么专业)

  • hdm11是什么意思(hdm12是什么意思是usb吗)

    hdm11是什么意思(hdm12是什么意思是usb吗)

  • 三星s10ufs是多少(三星s10用的ufs多少的闪存)

    三星s10ufs是多少(三星s10用的ufs多少的闪存)

  • 闲鱼拉黑对方知道吗(闲鱼拉黑对方后对方还能看到我的个人资料吗)

    闲鱼拉黑对方知道吗(闲鱼拉黑对方后对方还能看到我的个人资料吗)

  • 怎么找天猫超市包邮款(怎么找天猫超市聚划算商品)

    怎么找天猫超市包邮款(怎么找天猫超市聚划算商品)

  • 手机qq的安全中心在哪里打开(手机qq安全中心看不到登录足迹)

    手机qq的安全中心在哪里打开(手机qq安全中心看不到登录足迹)

  • 华为视频铃声来电显示(华为视频铃声来电没声音)

    华为视频铃声来电显示(华为视频铃声来电没声音)

  • 苹果x怎么设置微信美颜(苹果x怎么设置陌生来电拦截)

    苹果x怎么设置微信美颜(苹果x怎么设置陌生来电拦截)

  • 京东白条分期利息是多少(京东白条分期利息是先扣除吗)

    京东白条分期利息是多少(京东白条分期利息是先扣除吗)

  • 腾讯视频截图在哪里找(腾讯视频截图在哪里找到)

    腾讯视频截图在哪里找(腾讯视频截图在哪里找到)

  • linux设置默认网关教程(linux 设置默认路由)

    linux设置默认网关教程(linux 设置默认路由)

  • 最新2021win10专业版/企业版/教育版激活秘钥推荐 附激活工具(最新专业版win10)

    最新2021win10专业版/企业版/教育版激活秘钥推荐 附激活工具(最新专业版win10)

  • 学习React中的jsx-保证你看的明明白白(reactjs.org)

    学习React中的jsx-保证你看的明明白白(reactjs.org)

  • 加计扣除减免税额怎么计算
  • 房地产企业税收优惠政策
  • 印花税会计分录怎么做
  • 兼职会计工资多少钱一个月
  • 补缴税款的会计怎么做账
  • 一个小广告公司一年可以赚多少钱
  • 境外企业转让非居民企业
  • 赠送样品视同销售增值税该怎么做账务处理呢?
  • 劳动仲裁经济补偿金的事实和理由
  • 防伪标识会有假的吗
  • 企业收到发要失控发票做进项税额转出如何做税务处理?
  • 资产负债表里所有者权益合计为负数正常吗
  • 当月工资额什么意思
  • 土地增值税暂行条例实施细则2022
  • 职工教育经费税前扣除标准2023年
  • 广告业增值税税率6%是多少
  • 固定资产一次性计入费用的账务处理
  • 网上申请的增值税专用纸质发票收到后如何确认已收到
  • 面粉厂怎样做帐,税率是多少?
  • 辅助生产费用的核算
  • 个体户生产经营费用与家庭生活费用无法划分
  • 生物制品可以开箱验货吗
  • php怎么添加样式
  • wordpress访客插件
  • 曼哈顿2021
  • linux安装tk
  • 广告费和业务宣传费15%还是30%
  • 其他业务收入对方科目
  • PHP:time_nanosleep()的用法_misc函数
  • ctfmon.exe文件在哪
  • 无痛人流多少钱?
  • php 查找数组元素
  • 金银首饰消费税计税依据
  • php生成压缩包
  • 应收借方表示什么
  • php图片上传代码详解
  • hive dt
  • win11安卓子系统教程
  • Python中tkinter的 Variable类
  • 微擎框架开发小程序
  • 季度所得税申报怎么弥补以前年度亏损
  • 公司法关于公司变更后权利义务的规定
  • 公司购进软件的账务处理
  • 如何扣除企业接单费用
  • 分公司负责人如何开展工作的
  • 供货商少开发票金额如何进行会计处理?
  • 小规模购进原材料可以抵扣税金吗
  • 股权变更后税务登记
  • 长期借款利息如何计算
  • 建筑企业印花税应税凭证名称
  • 计提坏账准备如何做会计分录
  • 商品互换概念
  • 高新企业预缴增值税税率
  • 补发以前年度工资的账务处理
  • 股东之间资金往来
  • 公允价值的通俗理解
  • 会计需知应收账款吗
  • 解读分布式光伏开发前期工作要点及措施
  • win10注册表主键
  • 无法使用ie浏览器
  • 以管理员的身份运行是什么意思win10
  • xp设置程序开机启动
  • windows7与xp
  • win10一年更新几次
  • 怎样查看windows10版本
  • win10系统开机自动还原
  • win8 怎么样
  • 安卓游戏用什么软件开发
  • 还原分区和引导分区
  • 教你三招让电脑打字
  • node.js windows
  • jquery插件库免费
  • ActivityManager: Warning: Activity not started, its current task has been brought to the front 的的问题
  • 销售黄金的基本知识
  • 就业核查怎么核查
  • 福州税务局几点关门
  • 河南省税务总局网站官网
  • 云南港口城市
  • 收购烟叶多少公斤违法
  • 股权转让是否要交土地增值税
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设