Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

implement RNNtloss op #6682

Closed
wants to merge 17 commits into from
Closed

implement RNNtloss op #6682

wants to merge 17 commits into from

Conversation

lcylcy
Copy link
Contributor

@lcylcy lcylcy commented Nov 3, 2021

No description provided.

@CLAassistant
Copy link

CLAassistant commented Nov 3, 2021

CLA assistant check
All committers have signed the CLA.

@lcylcy lcylcy requested review from luqiang-guo and oneflow-ci-bot and removed request for MARD1NO November 3, 2021 06:18
@lcylcy lcylcy requested review from oneflow-ci-bot and removed request for oneflow-ci-bot November 3, 2021 07:07
@lcylcy lcylcy added the feature label Nov 3, 2021
@lcylcy lcylcy requested review from oneflow-ci-bot and removed request for oneflow-ci-bot November 3, 2021 07:15
@oneflow-ci-bot oneflow-ci-bot removed their request for review November 3, 2021 07:34
@lcylcy lcylcy requested review from oneflow-ci-bot and removed request for oneflow-ci-bot November 3, 2021 08:39
@oneflow-ci-bot oneflow-ci-bot removed their request for review November 3, 2021 09:08
@lcylcy lcylcy requested review from oneflow-ci-bot and removed request for oneflow-ci-bot November 3, 2021 09:31
@lcylcy lcylcy requested a review from oneflow-ci-bot November 3, 2021 10:07
@oneflow-ci-bot oneflow-ci-bot removed their request for review November 3, 2021 10:39
@lcylcy lcylcy requested a review from oneflow-ci-bot November 3, 2021 10:48
@oneflow-ci-bot oneflow-ci-bot removed their request for review November 3, 2021 12:39
@doombeaker
Copy link
Contributor

对开发这个算子我有疑问,周报中你的原始说法是:

开发rnnt-loss(融合声学模型和语言模型),参考.https://github.com/1ytic/warp-rnnt/tree/master/pytorch_binding

我们现在有用到这个(自定义)算子的模型吗?
#4936 里还有不少由模型需求提出的算子需求,他们的优先级是不是可以更高?

你到目前为止开发的算子:https://github.com/Oneflow-Inc/oneflow/pulls/lcylcy 还遗留了 3个月前的 diagonal 没有合并,2个月前的 movedim 没有合并,reviwer 写的 comment 也没有得到你的回应。

个人建议你还是把原来的坑填上后,再开新坑吧。

@lcylcy
Copy link
Contributor Author

lcylcy commented Nov 8, 2021

对开发这个算子我有疑问,周报中你的原始说法是:

开发rnnt-loss(融合声学模型和语言模型),参考.https://github.com/1ytic/warp-rnnt/tree/master/pytorch_binding

我们现在有用到这个(自定义)算子的模型吗? #4936 里还有不少由模型需求提出的算子需求,他们的优先级是不是可以更高?

你到目前为止开发的算子:https://github.com/Oneflow-Inc/oneflow/pulls/lcylcy 还遗留了 3个月前的 diagonal 没有合并,2个月前的 movedim 没有合并,reviwer 写的 comment 也没有得到你的回应。

个人建议你还是把原来的坑填上后,再开新坑吧。

diagonal和movedim都修改完了,ci也测试了,小雨说目前还没人用,等GLM模型弄完,在继续review。
我把rnnt开发完,在找其他事情继续弄

@BBuf
Copy link
Contributor

BBuf commented Nov 8, 2021

对开发这个算子我有疑问,周报中你的原始说法是:

开发rnnt-loss(融合声学模型和语言模型),参考.https://github.com/1ytic/warp-rnnt/tree/master/pytorch_binding

我们现在有用到这个(自定义)算子的模型吗? #4936 里还有不少由模型需求提出的算子需求,他们的优先级是不是可以更高?
你到目前为止开发的算子:https://github.com/Oneflow-Inc/oneflow/pulls/lcylcy 还遗留了 3个月前的 diagonal 没有合并,2个月前的 movedim 没有合并,reviwer 写的 comment 也没有得到你的回应。
个人建议你还是把原来的坑填上后,再开新坑吧。

diagonal和movedim都修改完了,ci也测试了,小雨说目前还没人用,等GLM模型弄完,在继续review。 我把rnnt开发完,在找其他事情继续弄

名字是晓雨。然后我最近会抽空review你前2个pr,促进合并,以及这里我要提出如果你想开发算子我没意见,但目前我认为lstm这个算子是优先级最高的。实际上之江报告了一个语言模型因为lstm太慢以及显存增长异常会崩溃的情况,在oneteam里面已经逐渐被人们忘记,然后你这边也是负责做语音模型的,要不了解一些这个项目,支持一下外部开发者?issue见:https://github.com/Oneflow-Inc/OneTeam/issues/682 。如果不想开发算子感觉应该在models里面做出更多的语音模型出来,4936里面列的算子的优先级开发前最好和我交流一下,我可能清楚哪些应当先开发哪些后开发。

@lcylcy
Copy link
Contributor Author

lcylcy commented Nov 8, 2021

对开发这个算子我有疑问,周报中你的原始说法是:

开发rnnt-loss(融合声学模型和语言模型),参考.https://github.com/1ytic/warp-rnnt/tree/master/pytorch_binding

我们现在有用到这个(自定义)算子的模型吗? #4936 里还有不少由模型需求提出的算子需求,他们的优先级是不是可以更高?
你到目前为止开发的算子:https://github.com/Oneflow-Inc/oneflow/pulls/lcylcy 还遗留了 3个月前的 diagonal 没有合并,2个月前的 movedim 没有合并,reviwer 写的 comment 也没有得到你的回应。
个人建议你还是把原来的坑填上后,再开新坑吧。

diagonal和movedim都修改完了,ci也测试了,小雨说目前还没人用,等GLM模型弄完,在继续review。 我把rnnt开发完,在找其他事情继续弄

名字是晓雨。然后我最近会抽空review你前2个pr,促进合并,以及这里我要提出如果你想开发算子我没意见,但目前我认为lstm这个算子是优先级最高的。实际上之江报告了一个语言模型因为lstm太慢以及显存增长异常会崩溃的情况,在oneteam里面已经逐渐被人们忘记,然后你这边也是负责做语音模型的,要不了解一些这个项目,支持一下外部开发者?issue见:Oneflow-Inc/OneTeam#682 。如果不想开发算子感觉应该在models里面做出更多的语音模型出来,4936里面列的算子的优先级开发前最好和我交流一下,我可能清楚哪些应当先开发哪些后开发。

@lcylcy lcylcy closed this Nov 8, 2021
@lcylcy lcylcy reopened this Nov 8, 2021
@lcylcy
Copy link
Contributor Author

lcylcy commented Nov 8, 2021

lstm把python移植到functor里面?

@BBuf
Copy link
Contributor

BBuf commented Nov 17, 2021

lstm把python移植到functor里面?

移到functor可能效率还是不行,可以看看pytorch是怎么实现的。

@lcylcy
Copy link
Contributor Author

lcylcy commented Nov 17, 2021 via email

@EsdeathYZH EsdeathYZH changed the title Lcy rnnt implement RNNtloss op Apr 15, 2022
@jackalcooper jackalcooper deleted the lcy_rnnt branch April 13, 2023 08:31
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

Successfully merging this pull request may close these issues.

5 participants