利用python编写数据采集脚本，并结合django+echarts对采集的数据进行分析

代码还不够完善，欢迎各位大佬们提出改进意见！

使用本程序前需要先配置系统的环境

配置的系统环境如下：
本系统使用的是Python3.4和Django1.8.2
用到的编译器是Sublime和Pycharm
用到的数据库是Mysql5.6,
用到的数据库管理工具是Navicat.

需要先开启爬虫程序进行数据的采集

首先执行的程序是crawl_baidunuomi.py
或者执行crawl_baidunuomi_toal.py

开启美食地图系统

使用Pycharm打开美食地图系统，然后执行python manager.py runserver 即可打开程序

环境依赖

1.lxml
2.xpath
3.pyquery
4.bs4
5.etree
6.re

运行方法

pip 安装依赖
$pip install -r requirments.txt

运行爬虫程序

$python craw_baidunuomi.py

爬取的美食数据量在9万左右

对路径稍作修改可以爬取其他类型的数据（酒店、机票、旅游等）

数据爬取流程

先获取所有城市的URL地址并将其放入列表中，然后每从列表中取一个城市的url地址就获取其城市的所有美食数据，拼接地址、翻页等。在爬取过程中用到了IP代理池，每次都会确定使用的ip，若ip失效，则替换掉，从断点处继续爬取。并将爬到的数据保存在mysql数据库中。

将爬取的数据进行展示

热力图展示

美食地图主页展示

美食数据云图展示

美食数据饼状图展示

美食地图详细数据展示