Update Tutorial

Namhyeon Go 2024-06-15 11:33:58 +00:00
parent b71418431c
commit dc9f9785ab

@ -29,10 +29,22 @@
$ git clone https://huggingface.co/nyanko7/LLaMA-7B
```
* LLaMa-7B 모델 연결 및 변환
* LLaMa-7B 모델 연결 및 체크포인트 변환
```
$ cd ~/Open-LLaMa
$ mkdir -p ./data/llama_raw_ckpt
$ ln -s ~/LLaMA-7B ./data/llama_raw_ckpt/7B
$ python
$ python3 utils/convert_ckpt.py
```
4. 데이터 로딩
* fsspec 패키지 교체. 참고: https://git.catswords.net/gnh1201/Open-Llama/issues/2
```
$ pip install fsspec==2023.9.2
```
* 데이터 로딩 실행
```
$python3 dataset/dataset.py
```