结果复现

[Nie-Yingying]

最近在研究定义生成模型，对您这项的工作很感兴趣。
我利用http://www.tkl.iis.u-tokyo.ac.jp/~ishiwatari/naacl_data.zip中的数据集，设定的参数与您论文附件中的提及的一致，尝试复现您论文的结果，发现有较大差异。

这是我计算BLEU和NIST得分的代码：

另外，我还有一个关于数据集的疑问，根据您论文对数据集的统计，以wordnet数据集中有7938个phrases，但是我并没有该数据集的word中包含phrases，是不是您使用的数据是对naacl_data.zip扩充后的更大的数据集？如果是，可以提供下论文中使用的完整数据吗

期待您的回复，谢谢！

[rattlesnakey]

感谢你的关注！

1. 我们的 evaluation 用的是 https://github.com/amanotaiga/Definition_Modeling_Project/tree/main 中所提供的 calculate_scores.sh 的脚本，用的是 ./sentence_bleu 那个二进制工具去计算的，而非 nltk 的 sentence_bleu，同样 nist 的计算也是参考他们的脚本
   2.另外 wordnet 中，word 其实是一种 special phrase

希望对你有帮助