Day_41 01. Huggingface hub 에 모델 공유하기

Huggingface hub 에 모델 공유하기

1. 사전준비

1.1 Huggingface hub 란?

대규모 오픈소스 커뮤니티로써 사용자들 사이에 손쉽게 NLP 모델을 공유할 수 있음.

1.2 설치 및 파일 준비

설치 및 파일 준비

• 설치
  • !pip install transofmrers==4.1.1
  • !sudo apt-get install git-lfs

• 파일 준비

  

1.3 로그인

로그인

• Huggingface 회원가입
  • https://huggingface.co/

• 커맨드라인에 username 과 password 입력하여 로그인 (token 은 저장소 clone 과정에서 필요)

  

2. 모델 공유하기

2.1 저장소 생성

Huggingface hub 저장소 생성

• 저장소 생성 명령어 입력

  

2.2 저장소 Clone

저장소 Clone

• Clone 명령어 입력 (토큰은 로그인 단계에서 생성된 값 이용)

  

• Git user.email 과 user.name 입력

  

2.3 구글드라이브 연동(Colab 사용할 경우)

구글드라이브 연동

• 구글 드라이브 연동 코드 입력

  

• URL 에서 제시된 인증 코드 입력

  

• 현재 경로는 내 구글 드라이브경로로 이동

  

2.4 공유할 파일 $\rightarrow$ Clone 폴더로 이동

파일 이동

• Huggingface 공유에 필요한 파일을 Clone 폴더로 이동

  

• 파일 확인

  

2.5 모델 Push

모델 push

• Push 명령어 입력

3. 업로드 모델 확인

3.1 업로드 모델 확인

BERT 모델 확인

• Feature-extraction 파이프라인 interence 확인

3.2 업로드 모델 확인

GPT 모델 확인

• 해당 예제 GPT 모델은 오픈소스 Tokenizer 사용

  

• Feature-extraction 파이프라인 inference 확인