Update Tutorial
parent
b71418431c
commit
dc9f9785ab
16
Tutorial.md
16
Tutorial.md
|
@ -29,10 +29,22 @@
|
||||||
$ git clone https://huggingface.co/nyanko7/LLaMA-7B
|
$ git clone https://huggingface.co/nyanko7/LLaMA-7B
|
||||||
```
|
```
|
||||||
|
|
||||||
* LLaMa-7B 모델 연결 및 변환
|
* LLaMa-7B 모델 연결 및 체크포인트 변환
|
||||||
```
|
```
|
||||||
$ cd ~/Open-LLaMa
|
$ cd ~/Open-LLaMa
|
||||||
$ mkdir -p ./data/llama_raw_ckpt
|
$ mkdir -p ./data/llama_raw_ckpt
|
||||||
$ ln -s ~/LLaMA-7B ./data/llama_raw_ckpt/7B
|
$ ln -s ~/LLaMA-7B ./data/llama_raw_ckpt/7B
|
||||||
$ python
|
$ python3 utils/convert_ckpt.py
|
||||||
```
|
```
|
||||||
|
|
||||||
|
4. 데이터 로딩
|
||||||
|
* fsspec 패키지 교체. 참고: https://git.catswords.net/gnh1201/Open-Llama/issues/2
|
||||||
|
```
|
||||||
|
$ pip install fsspec==2023.9.2
|
||||||
|
```
|
||||||
|
|
||||||
|
* 데이터 로딩 실행
|
||||||
|
```
|
||||||
|
$python3 dataset/dataset.py
|
||||||
|
```
|
||||||
|
|
||||||
|
|
Loading…
Reference in New Issue
Block a user