关于文本生成

[yuzhang112]

你好，我想用自己的语料，对预训练GPT2模型进行微调，然后进行文本生成任务，请问可以用增量预训练的命令进行微调吗？

这是我现在使用的预训练命令：
python3 pretrain.py --dataset_path dataset.pt --pretrained_model_path models/cluecorpussmall_gpt2_seq1024_model.bin-250000 --vocab_path models/google_zh_vocab.txt --config_path models/gpt2/distil_config.json --output_model_path models/my_gpt2_model.bin --world_size 1 --gpu_ranks 0 --total_steps 10000 --save_checkpoint_steps 5000 --report_steps 1000 --learning_rate 5e-5 --batch_size 32 --embedding word_pos --remove_embedding_layernorm --encoder transformer --mask causal --layernorm_positioning pre --target lm --tie_weights

[ydli-ai]

可以

…

________________________________ 发件人: yuzhang112 ***@***.***> 发送时间: Tuesday, November 2, 2021 9:59:25 PM 收件人: dbiir/UER-py ***@***.***> 抄送: Subscribed ***@***.***> 主题: [dbiir/UER-py] 关于文本生成 (Issue #219) 你好，我想用自己的语料，对预训练GPT2模型进行微调，然后进行文本生成任务，请问可以用增量预训练的命令进行微调吗？ 这是我现在使用的预训练命令： python3 pretrain.py --dataset_path dataset.pt --pretrained_model_path models/cluecorpussmall_gpt2_seq1024_model.bin-250000 --vocab_path models/google_zh_vocab.txt --config_path models/gpt2/distil_config.json --output_model_path models/my_gpt2_model.bin --world_size 1 --gpu_ranks 0 --total_steps 10000 --save_checkpoint_steps 5000 --report_steps 1000 --learning_rate 5e-5 --batch_size 32 --embedding word_pos --remove_embedding_layernorm --encoder transformer --mask causal --layernorm_positioning pre --target lm --tie_weights ― You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub<#219>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AE3SPV7HQGTVARW2QM6XHJTUJ7VD3ANCNFSM5HGQ7EHA>. Triage notifications on the go with GitHub Mobile for iOS<https://apps.apple.com/app/apple-store/id1477376905?ct=notification-email&mt=8&pt=524675> or Android<https://play.google.com/store/apps/details?id=com.github.android&referrer=utm_campaign%3Dnotification-email%26utm_medium%3Demail%26utm_source%3Dgithub>.

[yuzhang112]

好的，感谢回复