Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于采用SR与LR拼接 #5

Open
CuddleSabe opened this issue Dec 19, 2023 · 8 comments
Open

关于采用SR与LR拼接 #5

CuddleSabe opened this issue Dec 19, 2023 · 8 comments

Comments

@CuddleSabe
Copy link

您好,您的工作非常好👍
但是有一些小疑问:
您这里采用SR与LR进行拼接,而不是像DiffIR那样用GT与LR拼接,而后用只有LR输入的Estimator去蒸馏。
请问这两种方式有做过对比实验嘛?

@greatlog
Copy link
Owner

感谢肯定。
我们没有尝试DiffBIR这种蒸馏的方法,如果使用DiffBIR这种方法,整个过程需要分为多个步骤,训练GT Estimator -> 蒸馏 LR Estimator -> 训练 Restorer,思路和早期的IKC有点类似。可以尝试一下,从个人经验上讲,low-level任务中,端到端的方法指标上一般好于多阶段方法。

@para999
Copy link

para999 commented Nov 15, 2024

您好,您的工作非常好👍 但是有一些小疑问: 您这里采用SR与LR进行拼接,而不是像DiffIR那样用GT与LR拼接,而后用只有LR输入的Estimator去蒸馏。 请问这两种方式有做过对比实验嘛?

我个人认为,不使用diff模型生成额外的HR或SR时,基于cnn或transformer的模型在推理时没有HR可用

@CuddleSabe
Copy link
Author

您好,您的工作非常好👍 但是有一些小疑问: 您这里采用SR与LR进行拼接,而不是像DiffIR那样用GT与LR拼接,而后用只有LR输入的Estimator去蒸馏。 请问这两种方式有做过对比实验嘛?

我个人认为,不使用diff模型生成额外的HR或SR时,基于cnn或transformer的模型在推理时没有HR可用

推理的时候肯定是没有HR可用的,我指的是在训练的时候用HR+LQ输入的模块来蒸馏只有LQ输入的模块,通过知识蒸馏的方式来自动学习压缩感知

@para999
Copy link

para999 commented Nov 15, 2024

您好,您的工作非常好👍 但是有一些小疑问: 您这里采用SR与LR进行拼接,而不是像DiffIR那样用GT与LR拼接,而后用只有LR输入的Estimator去蒸馏。 请问这两种方式有做过对比实验嘛?

我个人认为,不使用diff模型生成额外的HR或SR时,基于cnn或transformer的模型在推理时没有HR可用

推理的时候肯定是没有HR可用的,我指的是在训练的时候用HR+LQ输入的模块来蒸馏只有LQ输入的模块,通过知识蒸馏的方式来自动学习压缩感知

您好,请问您有尝试您所说的这种方法吗,想请教这种方法在bsr任务中是否有效。目前也不清楚如何更好的处理hr和sr。此外有看到一篇24cvpr上的cdformer论文,提供了一个处理思路。推荐您看一下。希望能与您进行更多的交流。

@CuddleSabe
Copy link
Author

Reference i

之前CDformer的作者私信我说是看的我的那个blog搞得idea。。。不过我也是解析了一下DiffIR,cdformer总体和diffir并无太大区别。这两个就是我说的那种蒸馏方式

@CuddleSabe
Copy link
Author

您好,您的工作非常好👍 但是有一些小疑问: 您这里采用SR与LR进行拼接,而不是像DiffIR那样用GT与LR拼接,而后用只有LR输入的Estimator去蒸馏。 请问这两种方式有做过对比实验嘛?

我个人认为,不使用diff模型生成额外的HR或SR时,基于cnn或transformer的模型在推理时没有HR可用

推理的时候肯定是没有HR可用的,我指的是在训练的时候用HR+LQ输入的模块来蒸馏只有LQ输入的模块,通过知识蒸馏的方式来自动学习压缩感知

您好,请问您有尝试您所说的这种方法吗,想请教这种方法在bsr任务中是否有效。目前也不清楚如何更好的处理hr和sr。此外有看到一篇24cvpr上的cdformer论文,提供了一个处理思路。推荐您看一下。希望能与您进行更多的交流。

CDformer感觉和DiffIR总体上并无区别。有意思的是作者在论文中引用了DiffiR,但是在效果对比中只和DiffIR的前作KDSR对比,很难评价其真正的创新性。。这两个都有一个普遍的问题就是都建立在图像内不同位置退化相同

@para999
Copy link

para999 commented Nov 18, 2024

您好,您的工作非常好👍 但是有一些小疑问: 您这里采用SR与LR进行拼接,而不是像DiffIR那样用GT与LR拼接,而后用只有LR输入的Estimator去蒸馏。 请问这两种方式有做过对比实验嘛?

我个人认为,不使用diff模型生成额外的HR或SR时,基于cnn或transformer的模型在推理时没有HR可用

推理的时候肯定是没有HR可用的,我指的是在训练的时候用HR+LQ输入的模块来蒸馏只有LQ输入的模块,通过知识蒸馏的方式来自动学习压缩感知

您好,请问您有尝试您所说的这种方法吗,想请教这种方法在bsr任务中是否有效。目前也不清楚如何更好的处理hr和sr。此外有看到一篇24cvpr上的cdformer论文,提供了一个处理思路。推荐您看一下。希望能与您进行更多的交流。

CDformer感觉和DiffIR总体上并无区别。有意思的是作者在论文中引用了DiffiR,但是在效果对比中只和DiffIR的前作KDSR对比,很难评价其真正的创新性。。这两个都有一个普遍的问题就是都建立在图像内不同位置退化相同

大佬能否提供一下您所说的博客地址,希望学习一下。关于”建立在图像内不同位置退化相同“这个问题我也有考虑,但是目前好像并没有论文研究这个问题,之前在DASR的补充文件中有稍微提起。想知道大佬对这个问题是否还有更多的见解。

@CuddleSabe
Copy link
Author

没有论文研究这个问题,之前在DASR的补充文件中有稍微提起。想知道大佬对这个问题是否还

其实是有论文研究这个的,目前有两个流派:第一种是只应用在denoise任务,主要是添加退化的时候就是局部加噪;第二个是通过额外的re-degrade分支来学习local-degrade representation;blog就算了怕被开盒哈哈哈。目前我们有一些解决方案但是很可惜不能透露:)

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants