Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

results #2

Open
SJTUer-yuheng opened this issue Mar 6, 2022 · 4 comments
Open

results #2

SJTUer-yuheng opened this issue Mar 6, 2022 · 4 comments

Comments

@SJTUer-yuheng
Copy link

ESimCSE 真的有效果吗?

@shuxinyin
Copy link
Owner

ESimCSE 真的有效果吗?

是有的,在同样的参数下做实验,ESimCSE有比SimCSE提高一个点左右, 可以自己试试。

@SJTUer-yuheng
Copy link
Author

ESimCSE 真的有效果吗?

是有的,在同样的参数下做实验,ESimCSE有比SimCSE提高一个点左右, 可以自己试试。

我测试了一下,没有效果。SimCSE dropout 0.3 lr 2e-5。可以试一下,最高能跑到71.几。

@shuxinyin
Copy link
Owner

ESimCSE 真的有效果吗?

是有的,在同样的参数下做实验,ESimCSE有比SimCSE提高一个点左右, 可以自己试试。

我测试了一下,没有效果。SimCSE dropout 0.3 lr 2e-5。可以试一下,最高能跑到71.几。

这是调的SimCSE的最佳效果?那你精细调了ESimCSE的效果么,因为先不谈ESimCSE的模型改动,单独采用repeat改变句子的长度就应该有效果的,这点确实是SimCSE没有考虑到的地方

@SJTUer-yuheng
Copy link
Author

ESimCSE 真的有效果吗?

是有的,在同样的参数下做实验,ESimCSE有比SimCSE提高一个点左右, 可以自己试试。

我测试了一下,没有效果。SimCSE dropout 0.3 lr 2e-5。可以试一下,最高能跑到71.几。

这是调的SimCSE的最佳效果?那你精细调了ESimCSE的效果么,因为先不谈ESimCSE的模型改动,单独采用repeat改变句子的长度就应该有效果的,这点确实是SimCSE没有考虑到的地方

没有怎么精调,随便加加 dropout,你说的这个我原来也觉得有用,但我实际测了感觉无用。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants