[Week7] NLP - 주재걸 교수님

[Day30] NLP 7 ~ 8강

• Transformer (1)
• Transformer (2)

[Day31] NLP 9 ~ 10강

• Self-supervised Pre-training Models
• Advanced Self-supervised Pre-training Models

[Day32] Transformer 논문 Review

• Attention Is All You Need Review (1)

[Day33] Transformer 논문 Review

• Attention Is All You Need Review (2)
• 오피스아워 - 과제해설

[Day34] Transformer 논문 Review

• Attention Is All You Need Review (3)
• 마스터클래스 - 주재걸교수님

Week7 피어세션 정리

학습회고

이번주는 Transformer, GPT-1, GPT-2, GPT-3, BERT, ALBERT, ELECTRA, DistilBERT, TinyBERT 등 Transformer 를 기반으로 최근에 NLP task 에서 SOTA 를 찍는 모델들까지 배우는 시간이었다.

부스트캠프를 하기전에는 Transformer 를 이해하는것만해도 너무 어려웠는데 부스트캠프를 시작한지 2개월도 지나지 않았는데 Transformer 를 넘어서 BERT, GPT 등등의 모델까지 점점 이해가가다니 신기하다.

이번주에는 논문도 읽기 시작했다.

처음으로 읽은 논문은 Neural Machine Translation by Jointly Learning to Align and Tranlate 이 논문이다.

논문을 읽고 구현을 하는것이 최종 목표이기는 하나 일단은 배운 모델들에 대한 논문을 하나하나 읽어가보려 한다.

화요일까지 저 논문을 읽었고 수요일부터는 Transformer 논문을 보고 있다.

그냥 보기만하고 끝나니 남는게 별로 없는것 같아서 블로그에 번역을 해보고 있다.

영어실력이 부족해서 시간도 오래걸리고 한문장 한문장 이해하는 것도 힘들지만 꾸준히 하다보면 언젠간 술술 읽힐날이 오지않을까 싶다.

남은 부캠기간도 최선을 다해 공부해서 목표를 이루려한다.

2개월도 안되는 시간에 그동안 독학해오던 모든걸 뛰어넘었으니 앞으로 더 나아갈 일만 남았다.

멘탈 꽉 붙잡고 앞으로 가자!