浅谈美团爬虫
最近有做爬虫的需求,也做了好久,简单说下感受:大公司的数据是真的难爬,说难是因为别人有完全防止爬虫的手段,构造token仅仅只是九牛一毛,访问频率控制,图片验证码等等才是比较麻烦的事情。
构造token通过浏览器的控制台可以解决,具体解决办法就是找到那个异步请求,构造相关参数,相关参数的构造在页面是可以找到,通过找参数名称,全局搜索,找到参数的定义,赋值就可
...