当你爬取一些动态网站或者测试一些接口时,常见的套路是使用一些网络的监视工具比如著名的Firebug等网页调试工具,抓到接口请求,并分析出接口的各种参数后,用Python(或者其他语言)写一个简单的爬虫程序,来测试向接口发送请求能否正常返回一些数据.
这个过程非常耗时间,而且不方便调节向接口发送的参数,只能在Python代码里一个一个入参进行调试.
今天给大家介绍的这款网页调试工具不仅可以调试简单的css、html、脚本等简单的网页基本信息，它还可以发送几乎所有类型的HTTP请求！Postman在发送网络HTTP请求方面可以说是Chrome插件类产品中的代表产品之一,你可以在Postman界面里选择要发送的请求类型,接口地址,请求头信息以及向接口发送的入参.Postman完全是界面化的操作,非常直观.
Postman可以发送多种请求,可以满足多种需求,通过控件下拉列表更改请求方法是最直接的方法。请求主题编辑器区域将根据请求方法的改变而改变.
对于爬虫爱好者而言,request headers通常是限制限制爬虫的首要因素.我们需要测试,到底是哪个参数对爬虫进行了影响,触发了反爬虫,使用Postman就可以很方便地完成这一需求.
同样地,对于向接口发送的入参,也经常需要做出修改,使用Postman可以修改入参的格式,字段名称以及入参的值.(Postman同时还支持其他类型的参数,甚至可以提供数据预处理的功能)
对于发出请求后,接口返回的数据,Postman也支持多种展示的方式(JSON,XML,Html,Text),或者自动识别返回数据的类型,用合理的方式展示出来,方便对数据进行初步分析.
Postman最让我意外的一个功能是当你在界面上测试好接口各方面的参数后,可以直接点击Code按键,选择你熟悉的编程语言,然后就可以得到代码了,可以直接运行.简单的爬虫需求在这些代码上修改一下,添加翻页等功能,基本上就可以完成整个爬虫.
Postman不仅使用方便,功能强大,而且还有很好的跨平台性,完美支持MAC,Windows,Linux三大操作系统.不管你是哪种操作系统的用户,你都可以享受到Postman带来的便利.
Postman会记录你发送请求的历史记录,即使换了电脑,只要你没有将历史记录删除,你都可以对历史的记录进行测试.
发表回复