Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

开源代码是不是没有实现动态采样权重更新？另外为什么把采样后不同数据集拼接成4096长度的训练数据进行sft？ #40

Open
xxll88 opened this issue Sep 14, 2024 · 0 comments
Open

开源代码是不是没有实现动态采样权重更新？另外为什么把采样后不同数据集拼接成4096长度的训练数据进行sft？ #40

xxll88 opened this issue Sep 14, 2024 · 0 comments

Comments

@xxll88
Copy link

xxll88 commented Sep 14, 2024 •
edited
Loading

1、update_dynamic_weight没有看到生成新的权重列表的代码，实际也没有调用 update_dynamic_weight，
当前代码只是根据初始权值和epoch进行随机采样；
2、另外把采样后不同数据集拼接成4096长度的训练数据，为什么把不同数据集随机采用后放在1条数据里进行sft？这些数据也没有前后连续性，论文里也没说明这么做的原因；
请专家解释
@xxll88 xxll88 changed the title 开源代码是不是没有实现动态采样概率？为什么把若干条随机的数据，合并放在1条数据里进行sft 开源代码是不是没有实现动态采样概率？为什么把不同数据集随机采用放在1条4096长度的数据里进行sft？ Sep 14, 2024
@xxll88 xxll88 changed the title 开源代码是不是没有实现动态采样概率？为什么把不同数据集随机采用放在1条4096长度的数据里进行sft？ 开源代码是不是没有实现动态采样权值更新？另外为什么把采样后不同数据集合并放在4096长度的数据里进行sft？ Sep 14, 2024
@xxll88 xxll88 changed the title 开源代码是不是没有实现动态采样权值更新？另外为什么把采样后不同数据集合并放在4096长度的数据里进行sft？ 开源代码是不是没有实现动态采样权重更新？另外为什么把采样后不同数据集按次序合并在4096长度的数据里进行sft？ Sep 14, 2024
@xxll88 xxll88 changed the title 开源代码是不是没有实现动态采样权重更新？另外为什么把采样后不同数据集按次序合并在4096长度的数据里进行sft？ 开源代码是不是没有实现动态采样权重更新？另外为什么把采样后不同数据集拼接成4096长度的训练数据进行sft？ Sep 14, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
1 participant
@xxll88