机器学习对于普通人的意义是什么？机器学习只有产生价值才能广泛传播，这个过程需要需求、开发、算力等各类软件和硬件的积累，还需要学习的思想！这种思想体现在两个方面：一是学习的思想，以提高效率、增强稳定性为目标，二是算法，能够实现目标的基本原理。两者相辅相成，层层递进，学习的思想是机器学习的原动力，算法是实现机器学习的必要途径。机器学习发展的路还很长，无论我们是否已经做好准备，发展趋势无法撼动，应用正在飞速发展。

上市公司行业研究。得到的数据表将21个指标的分支加总后降序排列，即可看到企业的得分序列，此时只需要取得分最高的10%即可。为了体现企业数据的情况，考虑将样本中的一部分数据拟合成行业数据并得到分值，以便将优秀的企业和行业平均情况进行对比

解决pyspider页面改变问题：1.对于一次性任务，即不需要周期抓取的任务，例如档案类资料。可以不需要设置@every()或者age（），即按照规则只抓取一次，且不会周期抓取。2.对于周期性任务，分为两种情况：- 对于同一个页面的数据不存在更新的情况：增加@every（）和age（）。- 对于同一个页面的数据存在更新的情况：对于更新页面单独使用taskid函数，增加时间变量，这样可以保证每次爬取的时候md5都不一样。需要注意的是，重写taskid函数时如果增加了时间，会与age（）`不兼容，存在重复爬取同一个页面多次，及时页面的数据没有任何改变，建议在使用taskid时只抓取动态页面本身的数据。

docker内存问题解决

背景 使用docker的缘由是pyspider,最开始使用phantomjs来实现页面的js,但phantomjs后来停止更新,而且经常存在无法退出重启的问题,导致爬取数据出现问题. docker最初使用 为了能够周期性爬取数据,同时便于管理,还是希望使用pyspider框架,于是换了支持js的splash.这个splash使用系统环境很难装,我使…

pyspider遇到中文域名的坑

A股上市公司数量及行业汇总：上市公司共计3605家,分布在110个细分行业中;排名前三的行业是:软件服务,电气设备,元器件,数量分别是174家,171家,171家;房地产行业包括其中的四个类别:全国地产,区域地产,园区开发,房产服务,数量分别是37家,63家,15家,8家,共计123家.

1.mysql 安装修改配置文件增加用户和权限重启 2.zabbix 安装修改配置重启 3.docker 安装检测是否安装成功 4.pyspider 安装依赖安装pyspider修改mysql-connector修改webdav.py配置supervisor的配置文件启动 5.splash docker下载配置启动查看状态

数据分析师速成的必备资源

记录BERT复现Squad1.1：本次虽然训练时间较长[按照100w的平均功率,耗电约12°,约6.3元],但好在基本复现了预期结果,没有出错,但由于硬件配置较低,特别是内存,导致train_batch_size和max_seq_length两个参数设置的较小,这应该是影响准确度的原因所在.根据分析结果,主要结论如下。