diff --git a/Tutorial.md b/Tutorial.md index 99c8662..ef90e4e 100644 --- a/Tutorial.md +++ b/Tutorial.md @@ -29,10 +29,22 @@ $ git clone https://huggingface.co/nyanko7/LLaMA-7B ``` - * LLaMa-7B 모델 연결 및 변환 + * LLaMa-7B 모델 연결 및 체크포인트 변환 ``` $ cd ~/Open-LLaMa $ mkdir -p ./data/llama_raw_ckpt $ ln -s ~/LLaMA-7B ./data/llama_raw_ckpt/7B - $ python - ``` \ No newline at end of file + $ python3 utils/convert_ckpt.py + ``` + +4. 데이터 로딩 + * fsspec 패키지 교체. 참고: https://git.catswords.net/gnh1201/Open-Llama/issues/2 + ``` + $ pip install fsspec==2023.9.2 + ``` + + * 데이터 로딩 실행 + ``` + $python3 dataset/dataset.py + ``` +