位置: 编程技术 - 正文

Python程序中设置HTTP代理(python函数设置)

编辑:rootadmin

推荐整理分享Python程序中设置HTTP代理(python函数设置),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:设置pythonpath,python程序设置密码,python函数设置,python怎么设计程序,python程序设置密码,python怎么设计程序,python编程界面设置,python函数设置,内容如对您有帮助,希望把文章链接给更多的朋友!

0x 前言

大家对HTTP代理应该都非常熟悉,它在很多方面都有着极为广泛的应用。HTTP代理分为正向代理和反向代理两种,后者一般用于将防火墙后面的服务提供给用户访问或者进行负载均衡,典型的有Nginx、HAProxy等。本文所讨论的是正向代理。

HTTP代理最常见的用途是用于网络共享、网络加速和网络限制突破等。此外,HTTP代理也常用于Web应用调试、Android/IOS APP 中所调用的Web API监控和分析,目前的知名软件有Fiddler、Charles、Burp Suite和mitmproxy等。HTTP代理还可用于请求/响应内容修改,在不改变服务端的情况下为Web应用增加额外的功能或者改变应用行为等。

0x HTTP代理是什么

HTTP代理本质上是一个Web应用,它和其他普通Web应用没有根本区别。HTTP代理收到请求后,根据Header中Host字段的主机名和Get/POST请求地址综合判断目标主机,建立新的HTTP请求并转发请求数据,并将收到的响应数据转发给客户端。

如果请求地址是绝对地址,HTTP代理采用该地址中的Host,否则使用Header中的HOST字段。做一个简单测试,假设网络环境如下:

使用telnet进行测试

注意最后需要连续两个回车,这是HTTP协议要求。完成后,可以收到 的页面内容。下面做一下调整,GET请求时带上绝对地址

注意这里同样设置了HOST为..1.2,但运行结果却返回了 页面的内容,也就是公网IP地址信息。

从上面的测试过程可以看出,HTTP代理并不是什么很复杂的东西,只要将原始请求发送到代理服务器即可。在无法设置HTTP代理的情况下,对于少量Host需要走HTTP代理的场景来说,最简单的方式就是将目标Host域名的IP指向代理服务器,可以采取修改hosts文件的方式来实现。

0x Python程序中设置HTTP代理

urllib2/urllib 代理设置

urllib2是Python标准库,功能很强大,只是使用起来稍微麻烦一点。在Python 3中,urllib2不再保留,迁移到了urllib模块中。urllib2中通过ProxyHandler来设置使用代理服务器。

Python程序中设置HTTP代理(python函数设置)

也可以用install_opener将配置好的opener安装到全局环境中,这样所有的urllib2.urlopen都会自动使用代理。

在Python 3中,使用urllib。

requests 代理设置

requests是目前最优秀的HTTP库之一,也是我平时构造http请求时使用最多的库。它的API设计非常人性化,使用起来很容易上手。给requests设置代理很简单,只需要给proxies设置一个形如 {'http': 'x.x.x.x:', 'https': 'x.x.x.x:'} 的参数即可。其中http和https相互独立。

可以直接设置session的proxies属性,省去每次请求都要带上proxies参数的麻烦。

0x HTTP_PROXY / HTTPS_PROXY 环境变量

urllib2 和 Requests 库都能识别 HTTP_PROXY 和 HTTPS_PROXY 环境变量,一旦检测到这些环境变量就会自动设置使用代理。这在用HTTP代理进行调试的时候非常有用,因为不用修改代码,可以随意根据环境变量来调整代理服务器的ip地址和端口。*nix中的大部分软件也都支持HTTP_PROXY环境变量识别,比如curl、wget、axel、aria2c等。

在IPython交互环境中,可能经常需要临时性地调试HTTP请求,可以简单通过设置 os.environ['http_proxy'] 增加/取消HTTP代理来实现。

0x MITM-Proxy

MITM 源于 Man-in-the-Middle Attack,指中间人攻击,一般在客户端和服务器之间的网络中拦截、监听和篡改数据。

mitmproxy 是一款Python语言开发的开源中间人代理神器,支持SSL,支持透明代理、反向代理,支持流量录制回放,支持自定义脚本等。功能上同Windows中的 Fiddler 有些类似,但mitmproxy是一款console程序,没有GUI界面,不过用起来还算方便。使用mitmproxy可以很方便的过滤、拦截、修改任意经过代理的HTTP请求/响应数据包,甚至可以利用它的scripting API,编写脚本达到自动拦截修改HTTP数据的目的。

上面的脚本会在所有经过代理的Http响应包头里面加上一个名为BOOM的header。用 mitmproxy -s 'test.py' 命令启动mitmproxy,curl验证结果发现的确多了一个BOOM头。

显然mitmproxy脚本能做的事情远不止这些,结合Python强大的功能,可以衍生出很多应用途径。除此之外,mitmproxy还提供了强大的API,在这些API的基础上,完全可以自己定制一个实现了特殊功能的专属代理服务器。

经过性能测试,发现mitmproxy的效率并不是特别高。如果只是用于调试目的那还好,但如果要用到生产环境,有大量并发请求通过代理的时候,性能还是稍微差点。我用twisted实现了一个简单的proxy,用于给公司内部网站增加功能、改善用户体验,以后有机会再和大家分享。

python自带的http模块详解 挺久没写博客了,因为博主开始了今年另一段美好的实习经历,学习加做项目,时间已排满;很感谢今年这两段经历,让我接触了golang和python,学习不

简单谈谈python中的多进程 进程是由系统自己管理的。1:最基本的写法frommultiprocessingimportPooldeff(x):returnx*xif__name__=='__main__':p=Pool(5)print(p.map(f,[1,2,3]))[1,4,9]2、实际上是通过os.fork的

windows系统中安装python3.x+scrapy教程 官网下载就好,

标签: python函数设置

本文链接地址:https://www.jiuchutong.com/biancheng/383457.html 转载请保留说明!

上一篇:Python 搭建Web站点之Web服务器网关接口(python搭建网站并在服务器上部署)

下一篇:python自带的http模块详解

  • 非税收入票据能否税前扣除
  • 什么是税额和计税金额
  • 增值税专用发票明细太多怎么办
  • 特殊性税务处理所得税怎么算
  • 小规模没有成本票企业所得税怎么办呀
  • 一般纳税人购入商品取得普通发票
  • 进项票退回已抵扣税额
  • 工程预付款的规定
  • 小规模纳税人税收优惠政策变化
  • 权责发生制如何计算
  • 固定资产实物归哪个部门管理
  • 服务费计入什么收入
  • 小微企业关闭
  • 管理费用与税金的比例
  • 新版edge浏览器极速模式
  • 如何使用腾讯手机管家
  • Win10家庭版安装教程
  • 公务接待和商务接待自查
  • 新成立企业什么时候有财务报表
  • 房产契税怎样交费
  • 未开票收入申报后又要开票
  • 苹果a1586是什么配置
  • linux 管道命令详解
  • 图像类别
  • 营改增后土地增值税
  • 税控机动车销售统一发票抵扣
  • 电力安装公司需要什么资质证书
  • elementui级联选择器清空方法
  • PHP实现中国公民身份证号码有效性验证示例代码
  • 什么是Unicode
  • 企业汇算清缴发现之前收入记多了可以调整吗
  • vue懒加载机构树刷新
  • 发票融资会计处理
  • Python怎么把数据倒着输出
  • 火车票抵税申报表怎么填
  • 办理外经证缴税流程
  • 进项大于销项附加税怎么处理
  • 预收物业费纳税义务发生时间
  • 投资理财产品的骗术
  • 刻章费用如何做账务处理
  • 累计折旧在资产负债表中填在哪里
  • 期权分为哪几种
  • 劳务分包劳务费付款比例
  • 公司刚成立没有员工需要申报个税吗
  • 按信用风险特征组合
  • 去年的成本发票做错了需要补税吗
  • 存货跌价准备如何影响利润
  • 售后回租如何做会计处理
  • 残保金申报常见问题
  • 工程履约保证金退还申请书
  • 购买样品入库的账务处理
  • 个税计提多了怎么办,跨年度了
  • 企业年底亏损怎么结转
  • 服务业成本的会计核算
  • 临建费用包含在哪里
  • 在途物资和材料采购的区别
  • 房地产开发企业增值税税率
  • 商业企业批发商是什么
  • sqlserver数据库版本号怎么查
  • mysql用中文字段
  • win7全屏游戏怎么窗口化
  • win8系统如何激活
  • win10的安装目录在哪
  • linux的安装
  • win 7操作系统安装
  • 主板不支持u盘装系统怎么办
  • win7系统怎么重置网络
  • 如何打开mac系统终端
  • linux用户账户管理
  • win7如何变快
  • 【Cocso2d-x Lua笔记五】quick中的display
  • unity用visual
  • Unity3D游戏开发标准教程
  • nodejs 静态页面
  • python计算文件大小
  • 2015年5-6月关于Android用户隐私保护的3篇顶级论文【2015.5-2015.6】
  • Python3使用requests包抓取并保存网页源码的方法
  • javascript几种类型
  • 纳税人逾期未申报的原因有哪些
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设