English | 简体中文
MMEditing 是基于 PyTorch 的图像&视频编辑开源工具箱。是 OpenMMLab 项目的成员之一。
目前 MMEditing 支持下列任务：
主分支代码目前支持 PyTorch 1.5 以上的版本。
一些示例:
RealBasicVSR.Demo.mp4
CAIN.Demo.mp4
-
模块化设计
MMEditing 将编辑框架分解为不同的组件，并且可以通过组合不同的模块轻松地构建自定义的编辑器模型。
-
支持多种编辑任务
MMEditing 支持修复、抠图、超分辨率、生成等多种主流编辑任务。
-
SOTA
MMEditing 提供修复/抠图/超分辨率/生成等任务最先进的算法。
需要注意的是 MMSR 已作为 MMEditing 的一部分并入本仓库。 MMEditing 缜密地设计新的框架并将其精心实现，希望能够为您带来更好的体验。
MMEditing 同时维护 0.x 和 1.x 版本，详情见分支维护计划
最新的 0.16.1 版本已经在 24/02/2023 发布：
- 支持新评价指标 FID 和 KID。
- 支持 ResidualBlockNoBN 模块设置
groups参数。 - 修复 RealESRGAN 测试数据集配置。
- 修复
pixel-unshuffle模块动态输入导出 ONNX 的Bug。
如果像了解更多版本更新细节和历史信息，请阅读更新日志。
全新的 MMEditing v1.0.0rc6 已经在 24/02/2023 发布:
- 支持MMGeneration中的全量任务、模型、优化函数和评价指标 😍。
- 基于MMEngine统一了各组件接口。
- 重构之后更加灵活 architecture。
- 支持了著名的文本生成图像方法 Stable Diffusion!
- 支持了一个新的文本到图像生成算法 GLIDE!
- 支持了一个新的文本到图像生成算法 Disco-Diffusion!
- 支持了3D生成算法 EG3D!
- 支持了一个高效的图像复原算法 Restormer!
- 支持了基于swin的图像复原算法 SwinIR!
- 支持图像上色算法 Image Colorization.
- 开启了Projects以便社区用户添加新的项目到MMEditing.
- 支持了 High-level apis and inferencer.
- 支持Inpainting任务的Gradio交互GUI.
- 支持基于patch以及滑动条的图像和视频可视化比较工具.
在1.x 分支中发现更多特性！欢迎提 Issues 和 PRs！
MMEditing 依赖 PyTorch 和 MMCV，以下是安装的简要步骤。
步骤 1. 依照官方教程安装PyTorch
步骤 2. 使用 MIM 安装 MMCV
pip3 install openmim
mim install mmcv-full
步骤 3. 从源码安装 MMEditing
git clone https://github.com/open-mmlab/mmediting.git
cd mmediting
pip3 install -e .
更详细的安装指南请参考 install.md 。
支持的算法:
图像修复
- Global&Local (ToG'2017)
- DeepFillv1 (CVPR'2018)
- PConv (ECCV'2018)
- DeepFillv2 (CVPR'2019)
- AOT-GAN (TVCG'2021)
图像超分辨率
视频超分辨率
- EDVR (CVPR'2019)
- TOF (IJCV'2019)
- TDAN (CVPR'2020)
- BasicVSR (CVPR'2021)
- IconVSR (CVPR'2021)
- BasicVSR++ (CVPR'2022)
- RealBasicVSR (CVPR'2022)
请参考模型库了解详情。
感谢您为改善 MMEditing 所做的所有贡献。请参阅 MMCV 中的 CONTRIBUTING.md 以获取贡献指南。
MMEditing 是一款由不同学校和公司共同贡献的开源项目。我们感谢所有为项目提供算法复现和新功能支持的贡献者，以及提供宝贵反馈的用户。 我们希望该工具箱和基准测试可以为社区提供灵活的代码工具，供用户复现现有算法并开发自己的新模型，从而不断为开源社区提供贡献。
MMCV 目前有两个分支，分别是 master 和 2.x 分支，它们会经历以下三个阶段：
| 阶段 | 时间 | 分支 | 说明 |
|---|---|---|---|
| 公测期 | 2022/9/1 - 2022.12.31 | 公测版代码发布在 1.x 分支；默认主分支 master 仍对应 0.x 版本 | master 和 1.x 分支正常进行迭代 |
| 兼容期 | 2023/1/1 - 2023.12.31 | 切换默认主分支 master 为 1.x 版本；0.x 分支对应 0.x 版本 | 保持对旧版本 0.x 的维护和开发，响应用户需求，但尽量不引进破坏旧版本兼容性的改动；master 分支正常进行迭代 |
| 维护期 | 2024/1/1 - 待定 | 默认主分支 master 为 1.x 版本；0.x 分支对应 0.x 版本 | 0.x 分支进入维护阶段，不再进行新功能支持；master 分支正常进行迭代 |
如果 MMEditing 对您的研究有所帮助，请按照如下 bibtex 引用它。
@misc{mmediting2022,
title = {{MMEditing}: {OpenMMLab} Image and Video Editing Toolbox},
author = {{MMEditing Contributors}},
howpublished = {\url{https://github.com/open-mmlab/mmediting}},
year = {2022}
}本项目开源自 Apache 2.0 license。
- MMEngine: OpenMMLab 深度学习模型训练基础库
- MMCV: OpenMMLab 计算机视觉基础库
- MMEval: 统一开放的跨框架算法评测库
- MIM: MIM 是 OpenMMlab 项目、算法、模型的统一入口
- MMClassification: OpenMMLab 图像分类工具箱
- MMDetection: OpenMMLab 目标检测工具箱
- MMDetection3D: OpenMMLab 新一代通用 3D 目标检测平台
- MMRotate: OpenMMLab 旋转框检测工具箱与测试基准
- MMSegmentation: OpenMMLab 语义分割工具箱
- MMOCR: OpenMMLab 全流程文字检测识别理解工具包
- MMPose: OpenMMLab 姿态估计工具箱
- MMHuman3D: OpenMMLab 人体参数化模型工具箱与测试基准
- MMSelfSup: OpenMMLab 自监督学习工具箱与测试基准
- MMRazor: OpenMMLab 模型压缩工具箱与测试基准
- MMFewShot: OpenMMLab 少样本学习工具箱与测试基准
- MMAction2: OpenMMLab 新一代视频理解工具箱
- MMTracking: OpenMMLab 一体化视频目标感知平台
- MMFlow: OpenMMLab 光流估计工具箱与测试基准
- MMEditing: OpenMMLab 图像视频编辑工具箱
- MMGeneration: OpenMMLab 图片视频生成模型工具箱
- MMDeploy: OpenMMLab 模型部署框架
扫描下方的二维码可关注 OpenMMLab 团队的 知乎官方账号，加入 OpenMMLab 团队的 官方交流 QQ 群，或通过群主小喵加入微信官方交流群。
我们会在 OpenMMLab 社区为大家
- 📢 分享 AI 框架的前沿核心技术
- 💻 解读 PyTorch 常用模块源码
- 📰 发布 OpenMMLab 的相关新闻
- 🚀 介绍 OpenMMLab 开发的前沿算法
- 🏃 获取更高效的问题答疑和意见反馈
- 🔥 提供与各行各业开发者充分交流的平台
干货满满 📘，等你来撩 💗，OpenMMLab 社区期待您的加入 👬