[알쓸쿠잡] Kaggle과 Colab 연결하기

작성자: 13기 김현지

 

 

Kaggle과 Colab을 연동해서 사용하는 방법!

Kaggle 데이터셋을 Colab에서 사용하고 싶은 경우, 데이터셋을 다운받아 드라이브에 넣지 않고 Colab 상에서 바로 다운로드해서 사용할 수 있다.

 

 

1. 나의 캐글 Account에서 API Token 다운 받기

 

Account > Create New API를 클릭하면 kaggle.json 파일이 다운로드 된다.

 

2. Colab에서 아래 코드 실행하기

!pip install kaggle
from google.colab import files
files.upload()

 

Choose Files를 클릭하고 다운받았던 kaggle.json 파일을 업로드한다.

 

 

위와 같이 나온다면 kaggle.json 파일이 제대로 업로드 된 것인데, 아래 코드를 실행해 확인해보자.

 

ls -1ha kaggle.json

 

업로드한 파일의 이름인 kaggle.json이 출력되면 제대로 잘 업로드 된 것이다!

 

3. json 파일 이동시키기

Kaggle API를 사용하기 위해서는 json 파일을 ~/.kaggle로 이동시켜야 한다.

!mkdir -p ~/.kaggle
!cp kaggle.json ~/.kaggle/

# Permission Warning 방지
!chmod 600 ~/.kaggle/kaggle.json

 

4. 지난 대회 데이터셋 불러오기

 

kaggle에서 사용하고 싶은 데이터셋 대회의 API 주소를 복사하고, 주소 앞에 !(느낌표)를 붙여 코드를 실행한다.

 

# 주소 앞에 ! 붙이기
!kaggle competitions download -c titanic

 

아래 코드를 실행하면 다운로드 된 모든 파일의 이름을 확인할 수 있다.

 

!ls

 

아래와 같이 파일이 잘 다운로드 된 것을 볼 수 있다.

 

 

5. 데이터 셋 열기

사용할 데이터셋의 경로를 복사해서 열어준다.

 

data = pd.read_csv('/content/train.csv')

 

+ zip 파일로 다운로드 된 경우

위 처럼 csv파일이 아닌 zip 파일로 다운로드 된 경우에는 unzip을 해서 사용하면 된다.

 

!unzip 파일경로.zip

 

요약

# 내 계정 API Token 다운 받기

# 다운받은 API Token (json 파일) 업로드하기
!pip install kaggle
from google.colab import files
files.upload()

# json 파일이 잘 업로드 됐는지 확인
ls -1ha kaggle.json

# json 파일 ~/.kaggle로 이동시키기
!mkdir -p ~/.kaggle
!cp kaggle.json ~/.kaggle/
# Permission Warning 방지
!chmod 600 ~/.kaggle/kaggle.json

# 데이터셋 다운받기: 해당 대회 API 주소를 복사하고 그 앞에 !를 붙여서 코드 실행하기
!kaggle competitions download -c titanic

# 다운로드된 목록 확인하기
!ls

# zip 파일일 경우 압축 풀어서 사용하기
!unzip 파일이름.zip

 

 

Reference

https://medium.com/hyunjulie/%EC%BA%90%EA%B8%80%EA%B3%BC-%EA%B5%AC%EA%B8%80-colab-%EC%97%B0%EA%B2%B0%ED%95%B4%EC%A3%BC%EA%B8%B0-6a274f6de81d