postman是一个非常好的接口调试工具,对于爬虫爱好者来说,用来爬虫也是非常顺手的。
对于动态的页面,直接在postman中发送request是十分便捷的,用户可以在postman中可视化地完成request的包装,postman能自动生成代码,最近在爬IT橘子,里面含有大量的动态接口,我选择了其中的一个进行爬虫。
然后,我进入了调试步骤,但是怎么样都没法成功,OK,我自己写一遍请求过程吧!自己用Python的requests包很快写出了一个请求程序。运行可以跑通,获得json字符串。
那postman为什么不行呢?接口地址,入参,headers都是一样的。找了很久,最后我终于找到了原因,是用postman发送请求,headers信息里会包含一个postman-token字段。有些网站的反爬虫做的比较好,会识别这个字段。然后禁止你访问。
如果要禁止post-man发送postman-token,可以在设置里关闭这个功能。
这里浪费了不少时间,记录下来,希望能帮助到有同样困惑的朋友。
发表回复