Update Tutorial
parent
b71418431c
commit
dc9f9785ab
16
Tutorial.md
16
Tutorial.md
|
@ -29,10 +29,22 @@
|
|||
$ git clone https://huggingface.co/nyanko7/LLaMA-7B
|
||||
```
|
||||
|
||||
* LLaMa-7B 모델 연결 및 변환
|
||||
* LLaMa-7B 모델 연결 및 체크포인트 변환
|
||||
```
|
||||
$ cd ~/Open-LLaMa
|
||||
$ mkdir -p ./data/llama_raw_ckpt
|
||||
$ ln -s ~/LLaMA-7B ./data/llama_raw_ckpt/7B
|
||||
$ python
|
||||
$ python3 utils/convert_ckpt.py
|
||||
```
|
||||
|
||||
4. 데이터 로딩
|
||||
* fsspec 패키지 교체. 참고: https://git.catswords.net/gnh1201/Open-Llama/issues/2
|
||||
```
|
||||
$ pip install fsspec==2023.9.2
|
||||
```
|
||||
|
||||
* 데이터 로딩 실행
|
||||
```
|
||||
$python3 dataset/dataset.py
|
||||
```
|
||||
|
||||
|
|
Loading…
Reference in New Issue
Block a user