From cf852bc4597c7838ddc13cd198da7627a3521a70 Mon Sep 17 00:00:00 2001 From: s-JoL Date: Sun, 23 Apr 2023 16:26:21 +0800 Subject: [PATCH] Update README.md --- README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/README.md b/README.md index bb0de69..7f93a61 100644 --- a/README.md +++ b/README.md @@ -22,7 +22,7 @@ Open-Llama是一个开源项目,提供了一整套用于构建大型语言模 ``` base pip install git+https://github.com/s-JoL/transformers.git@dev ``` - +模型已提交[PR](https://github.com/huggingface/transformers/pull/22795)合并至Transformers main分支。 我们完成了300B token的预训练,总共训练80 K step,Global Batch Size和Llama中一致为4M。 使用总共7部分数据构成Instruction-tuning数据,模型具有一定的编程能力、数学能力和多轮对话能力,具体数据见Instruction-Tuning部分。