Shiny

Shiny (diStributed Highly Instant Notification sYstem，分布式高度即时通知系统)

项目简介

本项目采用分布式爬虫+中央控制系统，利用 Websocket 等技术提供高度即时的信息聚合及推送服务。

项目原理

本项目含一个中央控制节点（Node.js，下称作中控），若干爬虫结点（Python，下称爬虫）以及一个消息转发结点（Node.js，下称转发）。

爬虫结点定时向中控结点请求任务数据，中控结点根据刷新时间等因素下发任务交由爬虫执行，爬虫将结果回报。如果有新的内容，中控将把消息交由转发结点下发给用户。

其中中控向转发和转发到用户是采用 Websocket 的，一般在 10s 之内可以下发到用户。

当前架构示意图

服务

目前，本项目对外采用微博（@闪耀推送）对国内外自然灾害及其预警信息进行速报发布。对内发布更多内容，包括 YouTube 订阅等。