[kor] How to use Google Cloud Platform

[연구실wiki] GCP(Google Cloud Platform) 사용방법

0. VM 시작하기

• 처음 VM 을 시작하기 앞서서 새 프로젝트를 생성해줍니다.

• 왼쪽 메뉴바를 선택한후, [Compute Engine] → [VM 인스턴스]를 클릭해줍니다.

• 맨위에 [인스턴스 만들기] 를 클릭합니다.

• 처음 생성을 위해 GPU를 선택하면 아마 다음과같이 “GPU 글로벌 할당량에서 GPU 1개를 초과했습니다. 할당량 페이지에서 할당량을 상향하세요” 라는 경고가 뜰것입니다. 해결을 위해서 GPU 할당요청을 해주어야합니다.

1. GPU 할당요청하기

• 메뉴바를 눌러서 [IAM및 관리자] -> [할당량] 을 클릭합니다.

• GPUs(all region) 검색후 선택합니다.

• 네모칸을 선택해준뒤 [할당량 수정]을 클릭합니다.

• 사용하려는 이유를 적어서 제출합니다.

• 빠르면 1분, 늦으면10분안에 할당완료 되었다는 답이 이메일로 오는것을 확인할수 있습니다.

• 그럼 전에는 한도가 0 이였던게 요청후에는 1로 늘어나있는것을 확인 가능합니다.

  

2. GPU 별로 quota 추가 할당요청

앞에서 GPU(all region) quota 0->1로 설정했다고 끝이 아닌데,

예를들어 A100 GPU를 사용하여 VM생성시 발생하는 문제는 다음과 같습니다

1. A100 GPU 쓰기위해 기본 아이오와 리전을 선택했더니 이미 용량이 다 차서 생성불가 (잦은 용량부족문제)
2. 그외 리전을 선택했더니 quota limit 0 이라 생성불가

• 1 번에서 GPU(all region) quota 0->1로 설정한게 모든 리전에서 할당량이 0->1로 바꾸어준것은 아닙니다.
• IAM -> 할당량 -> 필터 클릭 →할당량 : nvidia A100 GPUS같이 사용하고자하는 GPU를검색하면 아래 그림과같이 어떤건 한도가 0 , 어떤것은 무제한등등 한도가 리전별로 다른것을 알수 있습니다.

• 사용하고싶은 리전에서 한도가 0일시에 해당 리전의 체크박스를 선택한다음 -> 위에 [할당량 수정] 클릭 -> 할당량은 1이상값을 입력한다음 제출하면, 5분안에 할당완료 메일이 옵니다.

  (아래그림처럼 요청한 리전의 할당이 0→1로 바뀌게됨)

3. VM 접속, 파일다운로드

• 왼쪽 메뉴바 → [Compute Enginen] → [VM 인스턴스] 를 클릭합니다
• 상단의 [인스턴스 만들기] 클릭한후, 원하는 대로 설정하여 하단 [만들기]를 클릭하여 생성완료합니다.

• VM SSH에 접속하려면 생성한 인스턴스를 클릭한뒤 상단의 [SSH]을 클릭한다.

• 파일 업로드 / 다운로드는 SSH 창의 위에 있는 업로드/다운로드 버튼을 클릭해서 진행할수 있습니다.
• 다운로드시, VM의 절대경로를 적으면 됩니다.

4. GCP CLI 사용 + 이미지 검색

CLI 연결하기 (맥기준)

( https://cloud.google.com/sdk/docs/quickstart?hl=ko#linux 참조 )

1. google-cloud-sdk-367.0.0-darwin-x86_64.tar.gz 다운로드
2. ./google-cloud-sdk/install.sh 로 설치
3. ./google-cloud-sdk/bin/gcloud init 로 초기화
4. gcloud init
5. gcloud auth list / gcloud config list / gcloud info로 확인

이미지검색

( https://cloud.google.com/deep-learning-vm/docs/images 참조 )

• —project [앞에서 생성한 프로젝트이름]

gcloud compute images list \
        --project deeplearning-platform-release \
        --no-standard-images

ex) common-cu100-ubuntu-1804 인 이미지검색 (cuda10 , ubuntu18.04)

gcloud compute images describe-from-family common-cu100-ubuntu-1804 \
    --project deeplearning-platform-release