Crawler

一个抓取线上学习资源的爬虫网站。

Introduction

线上的生产环境：http://crawler.aloo.cn 这是一个抓取线上学习资源的爬虫网站,通过node和cron来实现的。

Web

这里用来展示数据,展示了读取来的全量数据。

Requirement

2.3 crontab generate search index

1. 16/9/8 生成了index索引
2. 16/9/8 生成原文件json data集合

2.2 server render template

1. 16/9/8 express输出静态文件
2. 16/9/8 vue server render
3. 16/9/8 abolish ejs template
4. 16/9/8 生成最近搜索的tag
5. 16/8/17 更新弹出状态提示框。

2.1 列表热词检索

1. 16/9/8 时间格式
2. 16/9/7 搜索大小写通用匹配
3. 16/9/4 通用Tag搜索API
4. 16/9/2 Tag倒排索引
5. 16/9/2 Tag搜索
6. 16/9/2 Tag搜索结果对应的tag高亮

2.0 版本功能列表

1. 16/8/17 热词分析。
2. 16/8/17 Word Tag Cloud。
3. 16/8/17 定时去重。
4. 16/8/17 跨分页去重。
5. 16/8/17 拿到记录总数-在去重页里面拿到的数据。
6. 16/8/17 CQL查询的应用。

1.0 版本功能列表

1. 16/8/11 需要自动部署到服务器上。
2. 16/8/11 web数据加载不完整,需要加分页。
3. 16/8/15 分页抓取。
4. 16/8/15 放弃了在leancoud去重，因为权限控制的问题ACL。
5. 16/8/11 数据重复的问题还是没有解决。
6. 16/8/11 web数据数据完善样式文件。
7. 16/8/9 需要添加定时的任务。
8. 16/8/9 需要一个展示的Web