Vast ai 사용법

갑자기 AI에 꽂혀서 학습하다가 사용한 클라우드 서비스를 기록해 놓으려고 한다.

일단 여기서 사용되는 화페는 $(달러) 기준이다.

 

Vast ai는 GPU를 임대해 주는 클라우드 서비스인데 다른 곳에 비해 저렴한 편이라고 하며, 깨달으면 나름 사용법도 쉽다.

나도 하다가 조금 해매었지만 사용법을 1 to 10으로 설명하려 한다.

 

가격표는 여기

 

설정된 환경은 다음과 같다.

• Pytorch 2.2.0 Cuda12.1 Devel
• SSH 연결
• 50GB 디스크
• 1x RTX 4090 (4090 GPU 1개)

 

우선 vast ai 서버에 접속한 On-demand pricing, Console 버튼 등을 눌러 임대 가능한 GPU가 표시되는 목록 페이지로 이동한 뒤 로그인 한면 아래와 같은 화면이 나온다.

 

가장 먼저 임대를 위해 Credit을 충전해야 하는데 충전을 위한 카드 등록을 하려면 좌측 메뉴의 BILLING 버튼을 눌러 카드를 등록하도록 한다. (최소 5$ 이상 충전 가능)

아래 화면이 나올텐데 ADD CARD로 해외 결제가 가능한 카드를 등록하고 CREDIT을 구매한다.

ADD CREDIT으로 들어가도 ADD CARD로 갈거라 뭘 눌러도 상관없다.

 

크래딧 구매까지 마쳤다면 이전 화면(GPU 목록 페이지)으로 돌아가 내가 빌리고 싶은 환경을 설정해줘야 한다.

 

우측에 아무 GPU에 대해 RENT 버튼을 누르면 템플릿이 설정되어있지 않아 선택하는 화면으로 이동하는데 여기서 본인이 원하는 템플릿을 찾아 사용하면 된다, 필자가 사용할 템플릿은 Pytorch 2.2.0 Cuda12.1 Devel이다.

간단하게 설명하자면 Cuda는 GPU의 가상 명령어셋, 병렬 처리 요소들을 사용할 수 있도록 만들어주는 소프트웨어 레이어이며, Pytorch는 딥 러닝, 머신 러닝 학습을 위한 오픈 소스 프레임워크이며 이 둘을 사용한 템플릿이다.

 

이후 EDIT을 눌러 추가적으로 설정을 바꿔줄건데 여기서 Launch Mode, Recommended Disk Space만 바꿔줄 거다.

 

Launch Mode는 Jupyter, SSH, Docker가 있는데 필자는 어쩌다보니 Jupyter, SSH 둘 다 써보게 되었지만, 여기서는 SSH로 바꾸고 체크박스에 체크까지 해주었다. (Jupyter로 하는게 GUI라 편하고 좋긴 하다)

 

Recommended Disk Space는 클라우드 서버에서 사용할 디스크 용량을 설정하는 부분인데 보통은 50~60GB정도로만 해도 충분하다, 필요에 따라 증량하면 된다.

이 부분은 정확하게 설정이 안된다 대충 원하는 용량 근처에 두자

 

Pytorch 2.2.0 Cuda12.1 Devel

Launch Mode 설정

 

Recommended Disk Space 설정

 

이후 SELECT AND SAVE를 눌러주면 기본 준비는 끝났다.

 

이후 아까본 GPU 목록 페이지에서 원하는 GPU를 선택 후 RENT를 눌려 임대하면 된다. (필자는 1x RTX 4090 환경을 임대할 것이다.)

임대가 완료되면 메세지와 함께 좌측 메뉴의 INSTANCES에 추가될 건데 해당 INSTANCES 페이지로 이동하면 임대한 서버가 있을 것이다.

임대된 클라우드 서버

 

필자는 이미 설정을 마친 뒤 실행시켜 이런 상태지만 아무런 설정이 되어있지 않다면 멈춰있거나 시작중일 것이다.

 

일단 SSH 설정을 해주어야 하기 때문에 Stop your instance로 서버를 멈춰준다. (실행시 계속 CREDIT이 소모된다)

 

이후 SSH key를 설정해주어야 하는데 Linux, Window에 따라 방법이 다르니 아래 환경에 따라 설정해주자.

 

Windows 10

Vast ai - MobaXterm SSH key 생성 및 연결

Linux (Ubuntu 22.04)

Vast ai - Ubuntu SSH key 생성 및 연결

 

이후 원하는 AI 학습 작업을 하면 된다.

 

P.S 모델 학습 후 파일을 복사하는데 너무 오래 걸린다... 여기서 의미없이 credit을 쓰는 느낌인데 다른 방법을 찾으면 추가로 올릴 예정이다.

 

찾아봤는데 zip 파일로 압축 후에 다운로드 하는 방법이 좋은 것 같다.

 

원래는 생각 없이 하나하나 받았는데 zip으로 압축후에 다운로드 받는데 진짜 훨씬 낫다.