docker内存问题解决
背景 使用docker的缘由是pyspider,最开始使用phantomjs来实现页面的js,但phantomjs后来停止更新,而且经常存在无法退出重启的问题,导致爬取数据出现问题. docker最初使用 为了能够周期性爬取数据,同时便于管理,还是希望使用pyspider框架,于是换了支持js的splash.这个splash使用系统环境很难装,我使…
pyspider遇到中文域名的坑
A股上市公司数量及行业汇总：上市公司共计3605家,分布在110个细分行业中;排名前三的行业是:软件服务,电气设备,元器件,数量分别是174家,171家,171家;房地产行业包括其中的四个类别:全国地产,区域地产,园区开发,房产服务,数量分别是37家,63家,15家,8家,共计123家.
1.mysql 安装修改配置文件增加用户和权限重启 2.zabbix 安装修改配置重启 3.docker 安装检测是否安装成功 4.pyspider 安装依赖安装pyspider修改mysql-connector修改webdav.py配置supervisor的配置文件启动 5.splash docker下载配置启动查看状态
数据分析师速成的必备资源
记录BERT复现Squad1.1：本次虽然训练时间较长[按照100w的平均功率,耗电约12°,约6.3元],但好在基本复现了预期结果,没有出错,但由于硬件配置较低,特别是内存,导致train_batch_size和max_seq_length两个参数设置的较小,这应该是影响准确度的原因所在.根据分析结果,主要结论如下。
城乡融合发展体制机制的一些想法
机器学习/深度学习相关库
tesseract取词介绍