标签: splash

7 篇文章

docker内存问题
背景 使用docker的缘由是pyspider,最开始使用phantomjs来实现页面的js,但phantomjs后来停止更新,而且经常存在无法退出重启的问题,导致爬取数据出现问题. docker最初使用 为了能够周期性爬取数据,同时便于管理,还是希望使用pyspider框架,于是换了支持js的splash.这个splash使用系统环境很难装,我使…