ubuntu18新系统配置

passwd 修改密码

系统更新

apt update && apt upgrade -y && \
apt install python3 python3-pip screen unzip p7zip-full -y && \
pip3 install setuptools && \
pip3 install scikit-learn seaborn numpy pandas scipy nltk wheel tushare && \
cd /home

pyspider

主要依赖

apt-get install python python-dev python-distribute python-pip \
libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml \
libssl-dev zlib1g-dev

apt install mysql-server mysql-client -y

apt install redis-server -y

pip3 install redis mysql-connector-python

pip3 install pyspider

nano /etc/resolv.conf
nameserver 8.8.8.8
nameserver 114.114.114.114
nameserver 74.82.42.42

主要步骤:

1. 安装依赖
2. 安装pyspider
3. 修改mysql-connector
4. 修改webdav.py
5. 配置supervisor的配置文件
6. 启动

mysql

create user 'name'@'%' identified by 'password';
grant all on . to 'name'@'%';
flush privileges;

create database taskdb;
create database projectdb;
create database resultdb;

主要步骤:

1. 安装
2. 修改配置文件
3. 增加用户和权限
4. 重启

zabbix-agent

主要步骤:

1. 安装
2. 修改配置
3. 重启

docker部分

https://yeasy.gitbooks.io/docker_practice/install/ubuntu.html

$ apt install curl -y
$ curl -fsSL get.docker.com -o get-docker.sh
$ sudo sh get-docker.sh --mirror Aliyun

安装splash并启动

https://splash.readthedocs.io/en/stable/install.html#linux-docker

后台方式启动
docker run -d --restart=always --name=docker_splash -p 8050:8050 scrapinghub/splash --disable-private-mode

–max-timeout 3600 超时时间
–memory=6G 容器最大内存
–maxrss 1500 splash最大内存

docker run -itd -p 8050:8050 --memory=1.3G --restart=always --name=d_splash scrapinghub/splash --max-timeout 3600 --maxrss 1200 --disable-private-mode

需要注意使用memory参数时,必须将memory放在restart前边.

pyspider的splash设置

pyspider -c config.json fetcher --splash-endpoint=http://splash:8050/execute

调用时fetch_type=’splash’

首先启动fetcher,然后是scheduler,processor,result,webui.