Update Tutorial

Namhyeon Go 2024-06-15 18:38:49 +00:00
parent b2d9756b99
commit 4808034128

@ -94,11 +94,26 @@
```
6. 도커(Docker) 설치 및 cuda 지원 이미지 빌드
* Docker 설치: Docker installation script 를 이용하여 빠르게 설치할 수 있음.
```
$ sudo -s
# cd /opt
# curl -fsSL https://get.docker.com -o get-docker.sh
# sh get-docker.sh
```
* cuda + cudnn 지원 이미지 빌드
1. 본 설치 작업을 위해 작성한 [Dockerfile](https://git.catswords.net/gnh1201/Open-Llama/src/branch/main/Dockerfile) 및 [docker-compose.yml](https://git.catswords.net/gnh1201/Open-Llama/src/branch/main/docker-compose.yml) 확인
2. 이미지 빌드: docker compose up --build
3. CUDA 환영 메시지가 보이면 (CTRL + C) 키 눌러서 콘솔 빠져 나옴
* 컨테이너 실행 및 접속
1. 컨테이너 실행: docker compose up -d
2. 컨테이너 접속: docker exec -it open-llama-container bash
7. 선행학습(pretrain) 진행
참고: 그래픽 카드 수에 따라 `--num_processes` 값 조정하여야 함.
컨테이너에 접속한 뒤 다음과 같이 선행학습 명령 수행. 참고: 그래픽 카드 수에 따라 `--num_processes` 값 조정하여야 함.
```
$ accelerate launch --num_processes=1 --config_file configs/accelerate_configs/ds_stage1.yaml train_lm.py --train_config configs/pretrain_config.yaml --model_config configs/model_configs/7B.json