80s_spider

www.80s.tw 爬虫，用 pyspider，只爬电影、电视剧、动漫、综艺，爬取后存储至 MongoDB

model

model 见 model/resource.py，数据清洗和保存更新操作都放在 utils.py 中。

pyspider --config config.json

先爬一遍整站的话成功率在 94% 左右，电影、电视剧、综艺基本都爬下来了，动漫的失败率最高，应该是数据解析处理没有完全考虑到位。

MIT

Name		Name	Last commit message	Last commit date
Latest commit History 40 Commits
data		data
model		model
.gitignore		.gitignore
.python-version		.python-version
80s_daily.py		80s_daily.py
80s_dm.py		80s_dm.py
80s_ju.py		80s_ju.py
80s_movie.py		80s_movie.py
80s_zy.py		80s_zy.py
LICENCE		LICENCE
README.md		README.md
config.json		config.json
requirements.txt		requirements.txt
utils.py		utils.py