同济大学软件学院2022年秋数据仓库课程项目
项目结构:
.
├── README.md
├── data-process # 爬虫 pandas数据混乱(较为混乱)
├── data-warehouse-backend # 项目后端(flask)
├── data-warehouse-frontend # 项目前端(仿照vue-admin-template)
├── docker-hadoop-workbench # Spark分布式配置
├── 数据仓库项目报告.assets # 图片
├── 数据存储设计说明.assets # 图片
├── 数据仓库项目报告.md # 两份报告
└── 数据存储设计说明.md
本项目涉及多个Git项目 故采用submodule进行管理
使用时
git clone https://github.com/Baokker/data-warehouse-project.git # clone
git submodule init # 初始化(一次即可)
git submodule update # 更新
见我的Blog教程,除了readme的内容外,还重点更新了
- Spark的配置
- pandas的使用心得
- 前后端对接
等等心得