pyspider+PhantomJS的代理设置

2019-03-10 11:51:41来源:博客园 阅读 ()

新老客户大回馈,云服务器低至5折

环境:pyspider0.3.9 PhantomJS2.1.1,均为最新版

进程用supervisor托管的。

其中需要加的几个地方:

webui进程:

pyspider -c config.json --phantomjs-proxy=127.0.0.1:25555 webui

processor进程:

pyspider -c config.json --phantomjs-proxy=127.0.0.1:25555 processor

fetcher进程:

pyspider -c config.json --phantomjs-proxy=127.0.0.1:25555 fetcher

phantomjs进程:

pyspider -c config.json phantomjs -- --proxy=ip:port --proxy-auth=name:password

 

以上需要注意的是,webui、processor 、fetcher 都加了phantomjs的本地地址支持。

phantomjs 进程后面设置phantomjs 的代理端口,文中的加了验证,免密的可以直接写 -- --proxy=ip:port 不写--proxy-auth=name:password

------------------------------

遇到这个提示,应该可以忽略不计,意思是提示你,任务里面的代理设置并不会影响phantomjs

phantomjs does not support specify proxy from script, use phantomjs args instead

 


原文链接:https://www.cnblogs.com/alpiny/p/10492170.html
如有疑问请与原作者联系

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:python数据分析之pandas数据选取:df[] df.loc[] df.iloc[] df.i

下一篇:Python3 列表