作者: ddzzhen

571 篇文章

世界局势2
世界局势2:世界趋势正在悄然变化,中国和美国很难立即打成双方满意的协议,谈判可能会持续到明年,当前复杂的世界环境随时可能从量变引起质变.
thumbnail
为了方便看新闻印发的一连串问题
为了方便看新闻印发的一连串问题,从信息来源、信息收集与整理、信息存储和使用三个方面简要论述信息的管理,也是知识的管理,只不过知识的来源更多、更广、更系统,整理起来也更复杂。从开头写到这里已经是20天之后了,与当初想要方便看新闻的初衷相比已经有些跑题,但归根结底是信息的使用,如何更方便、更系统、更迅捷的获取和使用信息将变得越来越重要,毕竟在信息爆炸的时代,垃圾信息和无用信息的数量和传播都远远超过有效信息。新闻也好,信息也好,知识也罢,希望文章能够对大家有所裨益。
解决pyspider页面改变问题
解决pyspider页面改变问题:1.对于一次性任务,即不需要周期抓取的任务,例如档案类资料。可以不需要设置@every()或者age(),即按照规则只抓取一次,且不会周期抓取。2.对于周期性任务,分为两种情况:- 对于同一个页面的数据不存在更新的情况:增加@every()和age()。- 对于同一个页面的数据存在更新的情况:对于更新页面单独使用taskid函数,增加时间变量,这样可以保证每次爬取的时候md5都不一样。需要注意的是,重写taskid函数时如果增加了时间,会与age()`不兼容,存在重复爬取同一个页面多次,及时页面的数据没有任何改变,建议在使用taskid时只抓取动态页面本身的数据。
keras基础
介绍 keras是一个机器学习的前端库,tensorflow把其作为前端封装了数据,模型等方法,能够方便的开始数据训练. 实际中可以直接使用tensorflow调用keras库. keras可以实现以下内容: 1. 简单和快速的原型设计 2. 支持CNN和RNN,或者自行设计模型层 3. 无缝CPU和GPU的切换,支持python2.7-3.6 简…
keras基础介绍
keras基础介绍:keras是一个机器学习的前端库,tensorflow把其作为前端封装了数据,模型等方法,能够方便的开始数据训练.实际中可以直接使用tensorflow调用keras库.keras可以实现以下内容:1. 简单和快速的原型设计2. 支持CNN和RNN,或者自行设计模型层3. 无缝CPU和GPU的切换,支持python2.7-3.6
docker内存问题
背景 使用docker的缘由是pyspider,最开始使用phantomjs来实现页面的js,但phantomjs后来停止更新,而且经常存在无法退出重启的问题,导致爬取数据出现问题. docker最初使用 为了能够周期性爬取数据,同时便于管理,还是希望使用pyspider框架,于是换了支持js的splash.这个splash使用系统环境很难装,我使…