Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于测评代码中 few-shot example中使用错误的问题。 #39

Open
zjintheroom opened this issue Jan 17, 2024 · 5 comments
Open

Comments

@zjintheroom
Copy link

您好,在评测分支中,您使用了多选题的few-shot文件来测评单选题,单选题的few-shot文件来测评多选题。在 src/few_shot文件夹中,两个csv文件的单选多选问题与csv文件的标题不一致,导致代码中出现了上述问题。

@SUSTech-TP
Copy link

您好,在评测分支中,您使用了多选题的few-shot文件来测评单选题,单选题的few-shot文件来测评多选题。在 src/few_shot文件夹中,两个csv文件的单选多选问题与csv文件的标题不一致,导致代码中出现了上述问题。

大佬,您好。您有测评的代码么?

@zjintheroom
Copy link
Author

您好,在评测分支中,您使用了多选题的few-shot文件来测评单选题,单选题的few-shot文件来测评多选题。在 src/few_shot文件夹中,两个csv文件的单选多选问题与csv文件的标题不一致,导致代码中出现了上述问题。

大佬,您好。您有测评的代码么?

我就是用的这个作者提供的那个评测分支。可以根据作者定义的类,添加自己对应的评测模型。

@SUSTech-TP
Copy link

您好,在评测分支中,您使用了多选题的few-shot文件来测评单选题,单选题的few-shot文件来测评多选题。在 src/few_shot文件夹中,两个csv文件的单选多选问题与csv文件的标题不一致,导致代码中出现了上述问题。

大佬,您好。您有测评的代码么?

我就是用的这个作者提供的那个评测分支。可以根据作者定义的类,添加自己对应的评测模型。

哦哦,这样啊,作者给的val的目录下的单、多选的few-shot应该是对的

@zjintheroom
Copy link
Author

您好,在评测分支中,您使用了多选题的few-shot文件来测评单选题,单选题的few-shot文件来测评多选题。在 src/few_shot文件夹中,两个csv文件的单选多选问题与csv文件的标题不一致,导致代码中出现了上述问题。

大佬,您好。您有测评的代码么?

我就是用的这个作者提供的那个评测分支。可以根据作者定义的类,添加自己对应的评测模型。

哦哦,这样啊,作者给的val的目录下的单、多选的few-shot应该是对的

作者val数据集是对的,他在src/few_shot 这个文件夹中的 给代码提供的few-shot的示例 单选和多选给反了应该

@lsjlsj35
Copy link
Collaborator

感谢指正,现已修正。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants