PyCrawler

这是一个由Python实现的、基于MySQL的电商网站爬虫项目，整个项目是我和杰哥、瑶哥三个人在2016年11月到12月利用业余时间完成的，主要是爬取了阿里的1688等7个网站的部分商品信息和图片。

对于我而言学到的新东西是如何将爬到的数据放到MySQL中，如何分析URL来获取到网站上的整个商品列表，如何爬取动态加载的网站（用了Phantomjs和Selenium）。关于如何爬取动态加载的网站请看我的博客。