Автор: Ло Хао
Примечание: Если доступ к GitHub медленный, вы можете следить за моим номером Zhihu (Python-Jack), над колонкой Learning Python from Scratch (соответствует первым 20 дням этого проекта).Изучайте Python с нуля больше подходит для новичков, а другие колонки, такие как Обработка данных и статистическое мышление, Анализ данных на основе Python, Путешествие говорящего ИИ и др. Постоянно создавая и обновляя, мы рады вашему вниманию, лайкам и комментариям. Если вы хотите бесплатно научиться играть в карты или принять участие в обсуждении вопроса, то можете присоединиться к следующей группе обмена QQ (три группы плюс одна может быть), пожалуйста, не повторяйте группу, и не публикуйте рекламу и другие порнографические, вульгарные или чувствительного содержания в группе. Если есть необходимость в платном обучении или платной консультации, то можете добавить мой личный WeChat (микросигнал: jackfrued), отметить свое имя и потребности, я окажу вам всю посильную помощь.
Некоторые из видеороликов, соответствующих этому проекту, были синхронизированы на Bilibili, заинтересованные партнеры могут ставить лайки, донатить, обращать внимание, поддерживать в один клик трифекты!
Проще говоря, Python - это «элегантный», «понятный» и «простой» язык программирования.
- Низкая скорость обучения, даже непрофессионалы могут приступить к работе.
- Система с открытым исходным кодом и развитой экосистемой
- Интерпретируемый язык, идеальная переносимость платформы
- Динамически типизированный язык, поддерживающий объектно-ориентированное и функциональное программирование.
- Высокостандартизированный и читаемый код
Python полезен во всех следующих областях.
- Бэкэнд-разработка - Python / Java / Go / PHP
- DevOps - Python / Shell / Ruby
- Сбор данных - Python / C++ / Java
- Количественный трейдинг - Python / C++ / R
- Наука о данных - Python / R / Julia / Matlab
- Машинное обучение - Python / R / C++ / Julia
- Автоматическое тестирование - Python / Shell
В зависимости от предпочтений и карьерных планов разработчика Python можно выбрать самые разные сферы занятости.
- Инженер по разработке бэкенда на Python (сервер, облачная платформа, интерфейс данных)
- Python Ops Engineer (Automation Ops, SRE, DevOps)
- Python Data Analyst (аналитика данных, бизнес-аналитика, цифровые операции)
- Python Data Scientist (машинное обучение, глубокое обучение, эксперт по алгоритмам)
- Python Crawler Engineer (не рекомендуется для этого трека!!!)
- Python Test Engineer (автоматизированное тестирование, разработка тестов)
Описание: В настоящее время Data Science трек является очень популярным направлением, потому что будь то интернет-индустрия или традиционные отрасли накопили большое количество данных, все отрасли нуждаются в ученых данных из существующих данных, чтобы найти больше бизнес-ценности, с тем чтобы обеспечить данные поддержки принятия решений предприятия, что известно как принятие решений на основе данных.
Несколько советов для начинающих:
- Сделайте английский своим рабочим языком.
- Практика делает совершенным.
- Весь опыт приходит через ошибки, которые вы совершили.
- Не будьте халявщиком.
- Либо выдающийся, либо нет.
День 01 - Первое знакомство с Python
- Введение в Python
- Хроники Python
- Плюсы и минусы Python
- Приложения Python
- Установка Python
- среда Windows
- среда macOS
День 02 - Первая программа на Python
- Инструменты для написания кода
- Hello world
- Комментирование кода
День 03 - Переменные в Python
- Некоторые общие знания
- Переменные и типы
- Именование переменных
- Использование переменных
День 04 - Операторы в Python
- Арифметические операторы
- Операторы присваивания
- Операторы сравнения и логические операторы
- Применение операторов и выражений
- Преобразование температур по Фаренгейту к Цельсию
- Вычисление длины окружности и площади круга
- Определение високосности лет
День 05 - Условный оператор
- Использование if и else для построения ветвящихся структур
- Использование Match и Case для построения разветвляющихся структур
- Применение условных операторов
- Нахождение значения сегментированной функции
- Преобразование процентных баллов в оценки
- Вычисление периметра и площади треугольника
День 06 - Структура цикла
- цикл for-in
- цикл while
- break и continue
- Вложенные циклы
- Применение циклов
- Определение простых чисел
- Наибольший общий знаменатель
- Игра "Угадай число"
День 07 - Структура ветвлений и циклов в действии
- Пример 1: простые числа до 100
- пример 2: ряд Фибоначчи
- Пример 3: Нахождение нарциссических чисел
- Пример 4: Задача о ста центах и ста цыплятах
- Пример 5: азартная игра CRAPS
- Создание списков
- Операции над списками
- Итерация над элементами
- Методы составления списков
- Добавление и удаление элементов
- Позиция и частота элементов
- Сортировка и инверсия элементов
- Генераторы списков
- Вложенные списки
- Приложения для работы со списками
- Определение и операции с кортежами
- Операции упаковки и распаковки
- Обмен значениями переменных
- Сравнение кортежей и списков
- Определение строк
- Escape-символы
- Сырые строки
- Специальное представление символов
- Строковые операции
- Разбиение и повторение
- Операции сравнения
- Операторы принадлежности
- Получение длины строки
- Индексирование и срезы
- Перебор символов
- Строковые методы
- Операции, связанные с регистром
- Операции поиска
- Суждение о характере
- Форматирование
- Обрезка
- Замена
- Разделение и объединение
- Кодирование и декодирование
- Другие методы
- Создание множеств
- Перебор элементов
- Операции над множествами
- Операции принадлежности
- Бинарные операции
- Операции сравнения
- Методы множеств
- Неизменяемые множества
- Создание и использование словарей
- Операции со словарями
- Методы работы со словарями
- Применение словарей
День 14 - Функции и модули
- Определение функций
- Параметры функции
- Позиционные и именованные параметры
- Значения аргументов по умолчанию
- Неопределенное количество параметров
- Управление функциями с помощью модулей
- Модули и функции в стандартной библиотеке
Day15 - Практическое применение функций
- 例子1：随机验证码
- 例子2：判断素数
- 例子3：最大公约数和最小公倍数
- 例子4：数据统计
- 例子5：双色球随机选号
Day16 - Расширеное использование функций
- 高阶函数
- Lambda函数
- 偏函数
Day17 - Расширенное применение функций
- 装饰器
- 递归调用
Day18 - Введение в ООП
- 类和对象
- 定义类
- 创建和使用对象
- 初始化方法
- 面向对象的支柱
- 面向对象案例
- 例子1：数字时钟
- 例子2：平面上的点
Day19 - Продвинутое ООП
- 可见性和属性装饰器
- 动态属性
- 静态方法和类方法
- 继承和多态
Day20 - Приложения ООП
- 扑克游戏
- 工资结算系统
- 打开和关闭文件
- 读写文本文件
- 异常处理机制
- 上下文管理器语法
- 读写二进制文件
- JSON概述
- 读写JSON格式的数据
- 包管理工具pip
- 使用网络API获取数据
- CSV文件介绍
- 将数据写入CSV文件
- 从CSV文件读取数据
- Excel简介
- 读Excel文件
- 写Excel文件
- 调整样式
- 公式计算
- Excel简介
- 读Excel文件
- 写Excel文件
- 调整样式
- 生成统计图表
- 操作Word文档
- 生成PowerPoint
Day27 - Работа с файлами PDF в Python
- 从PDF中提取文本
- 旋转和叠加页面
- 加密PDF文件
- 批量添加水印
- 创建PDF文件
Day28 - Обработка изображений в Python
- 入门知识
- 用Pillow处理图像
- 使用Pillow绘图
Day29 - Отправка электронной почты и SMS
- 发送电子邮件
- 发送短信
Day30 - Применение регулярных выражений
- 正则表达式相关知识
- Python对正则表达式的支持
- 例子1：输入验证
- 例子2：内容提取
- 例子3：内容替换
- 例子4：长句拆分
- 重要知识点
- 数据结构和算法
- 函数的使用方式
- 面向对象相关知识
- 迭代器和生成器
- 并发编程
- 用HTML标签承载页面内容
- 用CSS渲染页面
- 用JavaScript处理交互式行为
- Vue.js入门
- Element的使用
- Bootstrap的使用
- История развития операционных систем и обзор Linux
- Основные команды Linux
- Утилиты в Linux
- Файловая система Linux
- Приложения редактора Vim
- Переменные среды и программирование оболочки
- Установка программного обеспечения и настройка сервисов
- Доступ и управление сетью
- Другие материалы по теме
- 关系型数据库概述
- MySQL简介
- 安装MySQL
- MySQL基本命令
Day37 - SQL DDL
- 建库建表
- 删除表和修改表
Day38 - SQL DML
- insert操作
- delete操作
- update操作
Day39 - SQL DQL
- 投影和别名
- 筛选数据
- 空值处理
- 去重
- 排序
- 聚合函数
- 嵌套查询
- 分组操作
- 表连接
- 笛卡尔积
- 内连接
- 自然连接
- 外连接
- 窗口函数
- 定义窗口
- 排名函数
- 取数函数
Day40 - SQL DCL
- 创建用户
- 授予权限
- 召回权限
Day41 - Что нового в MySQL
- JSON类型
- 窗口函数
- 公共表表达式
- 视图
- 使用场景
- 创建视图
- 使用限制
- 函数
- 内置函数
- 用户自定义函数（UDF）
- 过程
- 创建过程
- 调用过程
Day43 - Индексирование
- 执行计划
- 索引的原理
- 创建索引
- 普通索引
- 唯一索引
- 前缀索引
- 复合索引
- 注意事项
- 安装三方库
- 创建连接
- 获取游标
- 执行SQL语句
- 通过游标抓取数据
- 事务提交和回滚
- 释放连接
- 编写ETL脚本
- Hadoop生态圈
- Hive概述
- 准备工作
- 数据类型
- DDL操作
- DML操作
- 数据查询
Day46 - Быстрый старт с Django
- Web应用工作机制
- HTTP请求和响应
- Django框架概述
- 5分钟快速上手
Day47 - Углубленная модель
- 关系型数据库配置
- 使用ORM完成对模型的CRUD操作
- 管理后台的使用
- Django模型最佳实践
- 模型定义参考
Day48 - 静态资源和Ajax请求
- 加载静态资源
- Ajax概述
- 用Ajax实现投票功能
Day49 - Cookie和Session
- 实现用户跟踪
- cookie和session的关系
- Django框架对session的支持
- 视图函数中的cookie读写操作
Day50 - 报表和日志
- 通过
HttpResponse修改响应头 - 使用
StreamingHttpResponse处理大文件 - 使用
xlwt生成Excel报表 - 使用
reportlab生成PDF报表 - 使用ECharts生成前端图表
Day51 - 日志和调试工具栏
- 配置日志
- 配置Django-Debug-Toolbar
- 优化ORM代码
Day52 - 中间件的应用
- 什么是中间件
- Django框架内置的中间件
- 自定义中间件及其应用场景
Day53 - 前后端分离开发入门
- 返回JSON格式的数据
- 用Vue.js渲染页面
Day54 - RESTful架构和DRF入门
- REST概述
- DRF库使用入门
- 前后端分离开发
- JWT的应用
Day55 - RESTful架构和DRF进阶
- 使用CBV
- 数据分页
- 数据筛选
Day56 - 使用缓存
- 网站优化第一定律
- 在Django项目中使用Redis提供缓存服务
- 在视图函数中读写缓存
- 使用装饰器实现页面缓存
- 为数据接口提供缓存服务
Day57 - 接入三方平台
- 文件上传表单控件和图片文件预览
- 服务器端如何处理上传的文件
Day58 - 异步任务和定时任务
- 网站优化第二定律
- 配置消息队列服务
- 在项目中使用Celery实现任务异步化
- 在项目中使用Celery实现定时任务
Day59 - 单元测试
Day60 - 项目上线
- Python中的单元测试
- Django框架对单元测试的支持
- 使用版本控制系统
- 配置和使用uWSGI
- 动静分离和Nginx配置
- 配置HTTPS
- 配置域名解析
Day61 - 网络数据采集概述
- 网络爬虫的概念及其应用领域
- 网络爬虫的合法性探讨
- 开发网络爬虫的相关工具
- 一个爬虫程序的构成
- 使用
requests三方库实现数据抓取 - 页面解析的三种方式
- 正则表达式解析
- XPath解析
- CSS选择器解析
Day64 - 使用Selenium抓取网页动态内容
- 安装Selenium
- 加载页面
- 查找元素和模拟用户行为
- 隐式等待和显示等待
- 执行JavaScript代码
- Selenium反爬破解
- 设置无头浏览器
Day65 - 爬虫框架Scrapy简介
- Scrapy核心组件
- Scrapy工作流程
- 安装Scrapy和创建项目
- 编写蜘蛛程序
- 编写中间件和管道程序
- Scrapy配置文件
Day66 - Обзор анализа данных
- 数据分析师的职责
- 数据分析师的技能栈
- 数据分析相关库
Day67 - Экологическая подготовка
- 安装和使用anaconda
- conda相关命令
- 安装和使用jupyter-lab
- 安装和启动
- 使用小技巧
Day68 - Области применения NumPy-1
- 创建数组对象
- 数组对象的属性
- 数组对象的索引运算
- 普通索引
- 花式索引
- 布尔索引
- 切片索引
- 案例：使用数组处理图像
Day69 - Области применения NumPy-2
- 数组对象的相关方法
- 获取描述性统计信息
- 其他相关方法
Day70 - Области применения NumPy-3
- 数组的运算
- 数组跟标量的运算
- 数组跟数组的运算
- 通用一元函数
- 通用二元函数
- 广播机制
- Numpy常用函数
Day71 - Области применения NumPy-4
- 向量
- 行列式
- 矩阵
- 多项式
Day72 - Подробный обзор pandas-1
- 创建Series对象
- Series对象的运算
- Series对象的属性和方法
Day73 - Подробный обзор pandas-2
- 创建DataFrame对象
- DataFrame对象的属性和方法
- 读写DataFrame中的数据
Day74 - Подробный обзор pandas-3
- 数据重塑
- 数据拼接
- 数据合并
- 数据清洗
- 缺失值
- 重复值
- 异常值
- 预处理
Day75 - 深入浅出pandas-4
- 数据透视
- 获取描述性统计信息
- 排序和头部值
- 分组聚合
- 透视表和交叉表
- 数据呈现
Day76 - 深入浅出pandas-5
- 计算同比环比
- 窗口计算
- 相关性判定
Day77 - 深入浅出pandas-6
- 索引的使用
- 范围索引
- 分类索引
- 多级索引
- 间隔索引
- 日期时间索引
Day78 - Визуализация данных-1
- 安装和导入matplotlib
- 创建画布
- 创建坐标系
- 绘制图表
- 折线图
- 散点图
- 柱状图
- 饼状图
- 直方图
- 箱线图
- 显示和保存图表
Day79 - Визуализация данных-2
- 高阶图表
- 气泡图
- 面积图
- 雷达图
- 玫瑰图
- 3D图表
Day80 - Визуализация данных-3
- Seaborn
- Pyecharts
Day81 - Введение в машинное обучение
- 人工智能发展史
- 什么是机器学习
- 机器学习应用领域
- 机器学习的分类
- 机器学习的步骤
- 第一次机器学习
Day82 - k最近邻算法
- 距离的度量
- 数据集介绍
- kNN分类的实现
- 模型评估
- 参数调优
- kNN回归的实现
Day83 - 决策树和随机森林
- 决策树的构建
- 特征选择
- 数据分裂
- 树的剪枝
- 实现决策树模型
- 随机森林概述
Day84 - 朴素贝叶斯算法
- 贝叶斯定理
- 朴素贝叶斯
- 算法原理
- 训练阶段
- 预测阶段
- 代码实现
- 算法优缺点
Day85 - 回归模型
- 回归模型的分类
- 回归系数的计算
- 新数据集介绍
- 线性回归代码实现
- 回归模型的评估
- 引入正则化项
- 线性回归另一种实现
- 多项式回归
- 逻辑回归
Day86 - K-Means聚类算法
- 算法原理
- 数学描述
- 代码实现
Day87 - 集成学习算法
- 算法分类
- AdaBoost
- GBDT
- XGBoost
- LightGBM
Day88 - 神经网络模型
- 基本构成
- 工作原理
- 代码实现
- 模型优缺点
Day89 - 自然语言处理入门
- 词袋模型
- 词向量
- NPLM和RNN
- Seq2Seq
- Transformer
Day90 - 机器学习实战
- 数据探索
- 特征工程
- 模型训练
- 模型评估
- 模型部署
День91~99 - Разработка командного проекта
-
软件过程模型
-
经典过程模型（瀑布模型）
- 可行性分析（研究做还是不做），输出《可行性分析报告》。
- 需求分析（研究做什么），输出《需求规格说明书》和产品界面原型图。
- 概要设计和详细设计，输出概念模型图（ER图）、物理模型图、类图、时序图等。
- 编码 / 测试。
- 上线 / 维护。
瀑布模型最大的缺点是无法拥抱需求变化，整套流程结束后才能看到产品，团队士气低落。
-
敏捷开发（Scrum）- 产品所有者、Scrum Master、研发人员 - Sprint
- 产品的Backlog（用户故事、产品原型）。
- 计划会议（评估和预算）。
- 日常开发（站立会议、番茄工作法、结对编程、测试先行、代码重构……）。
- 修复bug（问题描述、重现步骤、测试人员、被指派人）。
- 发布版本。
- 评审会议（Showcase，用户需要参与）。
- 回顾会议（对当前迭代周期做一个总结）。
补充：敏捷软件开发宣言
- 个体和互动 高于 流程和工具
- 工作的软件 高于 详尽的文档
- 客户合作 高于 合同谈判
- 响应变化 高于 遵循计划
角色：产品所有者（决定做什么，能对需求拍板的人）、团队负责人（解决各种问题，专注如何更好的工作，屏蔽外部对开发团队的影响）、开发团队（项目执行人员，具体指开发人员和测试人员）。
准备工作：商业案例和资金、合同、憧憬、初始产品需求、初始发布计划、入股、组建团队。
敏捷团队通常人数为8-10人。
工作量估算：将开发任务量化，包括原型、Logo设计、UI设计、前端开发等，尽量把每个工作分解到最小任务量，最小任务量标准为工作时间不能超过两天，然后估算总体项目时间。把每个任务都贴在看板上面，看板上分三部分：to do（待完成）、in progress（进行中）和done（已完成）。
-
-
项目团队组建
-
团队的构成和角色
-
编程规范和代码审查（
flake8、pylint）
-
Python中的一些“惯例”（请参考《Python惯例-如何编写Pythonic的代码》）
-
影响代码可读性的原因：
- 代码注释太少或者没有注释
- 代码破坏了语言的最佳实践
- 反模式编程（意大利面代码、复制-黏贴编程、自负编程、……）
-
-
团队开发工具介绍
请参考《团队项目开发的问题和解决方案》。
-
选题范围设定
-
CMS（用户端）：新闻聚合网站、问答/分享社区、影评/书评网站等。
-
MIS（用户端+管理端）：KMS、KPI考核系统、HRS、CRM系统、供应链系统、仓储管理系统等。
-
App后台（管理端+数据接口）：二手交易类、报刊杂志类、小众电商类、新闻资讯类、旅游类、社交类、阅读类等。
-
其他类型：自身行业背景和工作经验、业务容易理解和把控。
-
-
需求理解、模块划分和任务分配
- 需求理解：头脑风暴和竞品分析。
- 模块划分：画思维导图（XMind），每个模块是一个枝节点，每个具体的功能是一个叶节点（用动词表述），需要确保每个叶节点无法再生出新节点，确定每个叶子节点的重要性、优先级和工作量。
- 任务分配：由项目负责人根据上面的指标为每个团队成员分配任务。
-
制定项目进度表（每日更新）
模块 功能 人员 状态 完成 工时 计划开始 实际开始 计划结束 实际结束 备注 评论 添加评论 王大锤 正在进行 50% 4 2018/8/7 2018/8/7 删除评论 王大锤 等待 0% 2 2018/8/7 2018/8/7 查看评论 白元芳 正在进行 20% 4 2018/8/7 2018/8/7 需要进行代码审查 评论投票 白元芳 等待 0% 4 2018/8/8 2018/8/8 -
OOAD和数据库设计
-
UML（统一建模语言）的类图
-
通过模型创建表（正向工程），例如在Django项目中可以通过下面的命令创建二维表。
python manage.py makemigrations app python manage.py migrate
-
使用PowerDesigner绘制物理模型图。
-
通过数据表创建模型（反向工程），例如在Django项目中可以通过下面的命令生成模型。
python manage.py inspectdb > app/models.py
- Docker简介
- 安装Docker
- 使用Docker创建容器（Nginx、MySQL、Redis、Gitlab、Jenkins）
- 构建Docker镜像（Dockerfile的编写和相关指令）
- 容器编排（Docker-compose）
- 集群管理（Kubernetes）
- 基本原则
- InnoDB引擎
- 索引的使用和注意事项
- 数据分区
- SQL优化
- 配置优化
- 架构优化
День 94: Разработка интерфейса Web API
- 设计原则
- 关键问题
- 其他问题
- 文档撰写
- 数据库的配置（多数据库、主从复制、数据库路由）
- 缓存的配置（分区缓存、键设置、超时设置、主从复制、故障恢复（哨兵））
- 日志的配置
- 分析和调试（Django-Debug-ToolBar）
- 好用的Python模块（日期计算、图像处理、数据加密、三方API）
- RESTful架构
- API接口文档的撰写
- django-REST-framework的应用
- 使用缓存缓解数据库压力 - Redis
- 使用消息队列做解耦合和削峰 - Celery + RabbitMQ
- 测试的种类
- 编写单元测试（
unittest、pytest、nose2、tox、ddt、……） - 测试覆盖率（
coverage）
- 部署前的准备工作
- 关键设置（SECRET_KEY / DEBUG / ALLOWED_HOSTS / 缓存 / 数据库）
- HTTPS / CSRF_COOKIE_SECUR / SESSION_COOKIE_SECURE
- 日志相关配置
- Linux常用命令回顾
- Linux常用服务的安装和配置
- uWSGI/Gunicorn和Nginx的使用
- Gunicorn和uWSGI的比较
- 对于不需要大量定制化的简单应用程序，Gunicorn是一个不错的选择，uWSGI的学习曲线比Gunicorn要陡峭得多，Gunicorn的默认参数就已经能够适应大多数应用程序。
- uWSGI支持异构部署。
- 由于Nginx本身支持uWSGI，在线上一般都将Nginx和uWSGI捆绑在一起部署，而且uWSGI属于功能齐全且高度定制的WSGI中间件。
- 在性能上，Gunicorn和uWSGI其实表现相当。
- Gunicorn和uWSGI的比较
- 使用虚拟化技术（Docker）部署测试环境和生产环境
- AB的使用
- SQLslap的使用
- sysbench的使用
- 使用Shell和Python进行自动化测试
- 使用Selenium实现自动化测试
- Selenium IDE
- Selenium WebDriver
- Selenium Remote Control
- 测试工具Robot Framework介绍
- 商业模式和需求要点
- 物理模型设计
- 第三方登录
- 缓存预热和查询缓存
- 购物车的实现
- 支付功能集成
- 秒杀和超卖问题
- 静态资源管理
- 全文检索方案
- MySQL数据库调优
- Web服务器性能优化
- Nginx负载均衡配置
- Keepalived实现高可用
- 代码性能调优
- 多线程
- 异步化
- 静态资源访问优化
- 云存储
- CDN
- Основы работы с компьютером
- Основы Python
- Веб-фреймворки
- Вопросы, связанные с Crawler
- Анализ данных
- Вопросы, связанные с проектами
День 100: Дополнительное содержание
-
Руководство по проведению собеседования по Python
- Руководство по собеседованию на Python
- Словарь для собеседования по SQL (аналитика данных)
- Словарь для собеседования по бизнес-аналитике
- Словарь для собеседования по машинному обучению
-
Основы математики машинного обучения
-
Глубокое обучение
- Компьютерное зрение
- Моделирование больших языков