From 221e3d31d79780aa6677a63f66bdba9bf052e0da Mon Sep 17 00:00:00 2001 From: Yu Li Date: Mon, 12 Jun 2023 15:11:18 -0500 Subject: [PATCH] update script link --- README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/README.md b/README.md index 739bb02..2a5ef02 100644 --- a/README.md +++ b/README.md @@ -34,7 +34,7 @@ * Max steps: 10000 ([QLoRA](https://arxiv.org/abs/2305.14314) Appendix B.4和Table 9)，更多的steps和更大的数据集的训练在进一步实验中，后续会持续更新。 * Learning rate: 1e-4 ([QLoRA](https://arxiv.org/abs/2305.14314) Appendix B.4和Table 9) * LoRA r=64, alpha=16 ([QLoRA](https://arxiv.org/abs/2305.14314) Appendix B.2) -* source_max_len=512, target_max_len=512，需要保证大部分的training sample没有truncate，能完整的把信息训练到模型中，根据脚本()中的估计，512大概可以覆盖大部分的样本长度。 +* source_max_len=512, target_max_len=512，需要保证大部分的training sample没有truncate，能完整的把信息训练到模型中，根据[脚本](https://github.com/lyogavin/Anima/blob/main/scripts/test_cn_dataset_lenghts.py)中的估计，512大概可以覆盖大部分的样本长度。 #### 如何训练