This repository has been archived by the owner on Jan 24, 2024. It is now read-only.

Bert模型子图数量和质量优化 #117

Open

0x45f opened this issue Jun 5, 2023 · 0 comments

Collaborator

0x45f commented Jun 5, 2023

背景：目前我们已经在Bert模型上跑通了symbolic-trace的训练流程，但是只有两个较小的子图进行了静态图的组网，大部分代码还跑在动态图下

目标：优化symbolic-trace的代码，消除unsupport的情况，使得Bert模型在symbolic-trace下有更优的子图质量（最理想情况下只有一个子图，并且所有组网相关的代码都在这个子图中）

思路：目前我们在跑通bert训练流程的过程中，整理了一个文档，记录了遇到的问题、相关排查的思路以及已经暴露的问题。可以重点关注下面PDF中的第二章和第四章了解一下排查的思路，尝试解决第五章中列出的相关问题

Bert跑通symbolic_trace.pdf

SigureMo mentioned this issue

🐾 PaddleSOT 快乐喵喵开源任务 🚀 #133

Closed

Sign up for free to subscribe to this conversation on GitHub. Already have an account? Sign in.