pyspider爬取数据来源

为了方便学习,使用强大的pyspider工具自动收集一些信息,都是公众公开的信息,也为了后续自己的使用,在这里记录一下.

1.数据类

数据是python学习的重要凭借,利用数据可以调用scikit-learn, scipy, pandas, numpy等库进行数据分析和预测.

• 美债实时数据,usdebt

http://www.usdebtclock.org/

columns:
--too many to list.

• tushare数据(待添加)（cctv_news）
• 国研网

2.新闻类

新闻是文本分析的基础,利用文本可以调用textrank, google机器学习算法等分析语义和缩减文本.

• 豆瓣电影

https://movie.douban.com/subject/

columns:
rate title url

• 凤凰新闻系列

1. 头条
http://www.ifeng.com/

columns:
date title url

2. 证券要闻
http://finance.ifeng.com/listpage/110/1/list.shtml

columns:
content date title url

3. 财经速报
http://finance.ifeng.com/shanklist/1-66-

需要js,否则打不开

columns:
content date title url

• 哈佛商业评论

http://www.hbrchina.org/140803-1/

columns:
original_date url date content title