Day_34 [마스터클래스] 주재걸교수님

[마스터클래스] 주재걸교수님

질의응답

• 특별한 계기가 있었던 것은 아니고 분위기가 심상치 않았고 2014~2015년 됐을 때에 CV 로 많은 이미지 문제가 해결되고 있고해서 음성인식쪽에서 딥러닝을 통해서 성능향상이 일어났다는 얘기를 듣고 공부를 해야겠다고 생각
• 알파고 나왔을때쯤 교수를 하게 됐고 박사할때는 데이터마이닝 Text mining 쪽이었음
• 분야 자체가 인공지능과 막 다른 분야가 아니었음
• 그래서 수월하게 시작했음

• 논문 정보를 평소에 어디서 얻느냐가 중요한 것 같음
• deep mind 에 Sebastian Ruder 의 blog, github 를 보면 여러 task 별로 주요 논문들이 정리되어 있음
• 박규병님 깃허브 페이지 참 https://github.com/sebastianruder/NLP-progress
• 페이스북의 Montreal.AI 흥미로운 논문들이 많이 올라옴
• TensorFlow KR
• 유명한 사람의 페이스북이나 트위터 많이 팔로우하면서 최근 정보를 많이 얻고 있음
• arxiv-sanity.com
  • 키워드 등록하면 알람을 받을 수 있음
• 빨리 쫓아가야할 필요가 있고 비슷한게 먼저 나와버리면 안되니까 그런 용도로 신경써서 체크해야함

• Word Embedding 부터 시작해서 LSTM, GRU 그리고 Attention 모델들 그리고 Transformer, MLM, NSP 등등
• CNN 의 계보들 VGG-Net, Res-Net, Dense-Net, SE-Net 그런 굵직한 계보들 그리고 mobile-net, efficient-net
• Domain Adversarial Neural Net
• Bias 문제들이 CV 쪽에서 Classification 모델이라던지 의료영상이라던지에서 많이 대두가 되고 있고
• NLP 쪽에서도 문제가 심각함, 남녀차별 이런 사회적이슈가 되는 부분

• 실제로 세상을 바꾸고 있음
• 이론적으로 아주 깊이있는 부분도 있지만 심플하면서도 scalable 한 특성?
• 하나하나를 공부하면 그것들이 잘 조합되어서 실제 세상의 많은 문제를 풀어주고있고 좋은 성능을 보이고 세상을 바꾸어주는 사례가 많기 때문에
• 그렇지만 자연어처리가 좀 더 어려운 측면이 있긴 하지만 CV 쪽은 왠만하면 어떤 task 를 풀고자 했을 때 잘 동작하는 그래서 서비스화되거나 사람들이 실제로 쓸 수 있는 근접한 기술이기 때문에
• 논문들이 나오면 microsoft research 라는 곳이 지금의 구글, 페이스북 AI research 비슷했는데 그때는 뭔가 논문이 한계가 보이는 면이 많았고 실제 적용까지는 먼 성격의 연구들이 많았다면
• AI 에서는 연구결과가 실제 산업현장에 많이 투입이 되기 때문에
• 실제로 네이버나 구글, 페이스북 포함해서 논문도 많이 내고 기술의 진보가 실제 세상을 바꾸는 딜레이가 적어서

• 잠이 많았어서 9시 거의 다되서 일어나서 미팅이랑 자잘한 처리할 일들이 많은편이라 6시까지 처리하고 그 사이사이에 학생들과 연구관련해서 미팅을 주기적으로 계속하고 미팅도 8~9시 11시 넘어서까지 하는 경우도 있고 11시부터 해야하는일 하고싶은일을 하는 듯 그리고 3~4시에 자는듯
• 주말에는 좀 푹 잠

• 주변의 선후배나 동료인 교수님들을 보면 이 문제를 내가 풀겠다해서 Grand Goal 을 명확하게 잡은 분도 계시고 저 같은 경우는 특별하게 없음
• 지금 당장 흥미있어보이고 학생들이 찾아 온 연구주제를 같이 논의하고 하는 편
• 매 순간순간 재미를 느끼고 최선을 다하고 최대한 까다롭고 하게되는 일은 완벽하게 하는 그런거
• 승부근성이 좀 있는 것 같음
• 지기싫어하는 것, 사람이 될 수도 있고 어려운거 있으면 정복하고 만다 이런 자세?를 해서 그때그때 단기적인 목표에 최선을 다하는 상태로 진행해옴

• 공부는 가능하면 일찍하는게 바람직하지 않나 생각이 들고 나이가 들수록 경력이 아까울 수 있음
• 대학원을 수료했을 때 새로운 가능성은 열리지만 아닐 수도 있음
• 대부분 AI 쪽은 최소한의 학비 및 혼자서 먹고 사는데는 지장없을만큼의 인건비가 나오니까 이슈가 크게 되지는 않겠지만 유학을 간다면 좀 달라질 수 있음
• 시드머니가 있는 상태에서 하겠다고하면 나쁜 전략은 아닐수도 있음
• 석사를 하고 취직을 한다하면 그러면 석사 이전에 회사에서의 경력은 쳐주지 않음

• 기초가 중요한 것 같음
• 수학이나 코딩이나 전반적인 Computer Science, 알고리즘, Operation, 컴퓨터 아키텍처 등등 이런 것들 기초가 되는 것들 확률통계, 최적화이론, 미적분학, 수치해석, 랜덤변수, 랜덤프로세스 이런 것들을 최대한 잘 공부하는게 좋지 않나 싶음
• 학부연구생이랑 면담을 했는데 대학원을 가고 싶어하는 상황이었음
• 이런 상황에서 본인이 갈 수 있는 좋은 학교나 좋은 교수님의 연구실로 가고 싶은데
• 그러기 위해서 뭘 해야 하는가? 뭘 준비해야 하는가?
• 그 학생같은 경우는 대학교 초창기때부터 학부연구생도하고 연구도 이것저것하고 논문도 써보고 열심히 했음
• 그런 학생이 별로 없으니까 돋보이는 측면은 있음
• 보니까 그 친구는 기초적인 부분들은 등한시 하는 부분도 약간 있음
• 기초공부는 별로 티가 안나서 외형적으로 드러나지 않아서 그런것들은 소홀히하거나 등한시하는 경우가 있는데
• 이 기초가 없으면 연구를 하기가 쉽지 않으니 기본을 다질 것
• 기초과목 공부를 깊이있게 해본 사람이 연구도 잘 함
• 연구를 시도해보면 안되는 경우가 대부분이라서 어디가 문제고 여기서 돌파구를 찾아야 하는 그런 부분들에 대해서 필요한 만큼의 깊이를 들어가있지 않거나 그런걸 들어가본 경험이 많이 없었거나 그러면 무언가를 공부할 때 똑같이 적용될거라서 그것들을 스스로 어떻게 고민하고 해결하기 위해서 찾아보고 그런 부분들이 필요함
• 기초를 잘 닦을 수 있는 공부방법은 강의자료 관련 환경은 많아서 좋은것같으니 최대한 많은 질문을 하는 그런 비판적인 공부를 하는게 좋음
• 무언가를 똑같이 공부했을 때 그걸 누군가에게 설명을 했을 때 그거에 대해서 질문이 오면 그 질문에 대해서 대답하지 못하면 깊이있게 공부한게 아닐 수 있음
• 최대한 작은 의문이라도 적어두고 나중에라도 해결할 수 있는 노력을 하는게 좋음
• 대학원에 들어가면 처음으로 하는 사회생활일 수 있으니 어떤 직장이나 조직 사람들의 그룹에 속하면서 특정한 목적들을 공유하니 같은 주제를 연구하는 연구실 동료 선후배, 교수님이 있을 수 있으니 인간관계를 어떻게 하는게 좋은지에 대해서 잘 생각하는게 좋음

• 기초를 충실히!
• 확률통계, 선형대수, 최적화이론, 미적분학, 고등학교 수학, backpropagation 이 어떻게 동작하는가?, chain rule 합성함수 미분 등

• 기업에서는 좋은 데이터가 있을 가능성이 높고 실제 문제를 풀게되면서 그걸 통해서 본인이 한 일이 오늘 당장 만든 알고리즘이 서비스에 쓰이면서 가족이 쓸수도있고 실제 세상에 어떤 impact 뭔가 가치를 만들어낼 수 있는 기회가 제공된다는 측면이 이점이 될 수 있음
• 연구실 같은 경우 좀 더 자유도는 높되 본인이 원하면 실질적인 문제를 풀어야 하는게 덜함
• 노가다를 수반하는 경우가 굉장히 많은 것 같다 그런게 적성이 안맞는다면 연구쪽이 맞는 것 같고
• 노가다가 고통스러웠다고 하더라도 실제 문제를 해결해서 가치를 만들어서 행복하다면 현업이 맞는 것 같음
• 학위의 측면에서 최종학력이 석사냐, 학사냐, 박사냐에 따라서 본인의 실력과 상관없이 선택의 폭이 넓어짐

• Pay Attention to MLP
• Transformer 를 더 심플한 Multi layer Perceptron 으로 바꾸는 시도들이 일어나고 있음
• MLP Mixer

• MLOps 관련해서도 강의도 나온 것 같음
• 부족한게 맞아서 엔지니어링의 영역이라서 중요하지 않다는 건 아니지만 research & development 에서 development 에 가까운 영역이라서

• 딥러닝 모델 자체에 집중하는 식으로 역량을 가져갈거냐 풀스택개발자로서의 부분으로 가져갈것인가는 전략적으로 선택을 해야함

• C.V. 는 굉장히 Dense 하게 적어도 됨, Resume 는 한장짜리
• 영어로 작성이 되어 있으면 영어문법, 관사 실수를 하는 경우가 많아서 이런거 보심
• 여러사람들의 피드백을 얻는게 좋을 것 같음

• 마음의 고향은 topic modeling
• UTOPIAN 이라는 논문
• 빅데이터 분석
• 정성적인 것들로부터 재밌는 결과들을 찾았을 때가 재밌었음

• 주변 사람들한테 밥을 사줘가면서라도 장점은 잘 얘기해주더라도 단점을 얘기해주는건 잘 안해줄 수 있어서 그런 사람들한테 단점을 듣는게 좋은 듯
• 본인이 강자인 인간관계에서 상대방한테 단점을 들어보는것이 중요한 것 같음
• 단점을 서슴없이 얘기해줄 수 있는 그런 연구실을 운영했으면 좋을 것 같음

• 이겨내야죠
• 시간이 지나면 무뎌질 것
• 그렇게 꾸준히 하다보면 샘플링을 많이 하다보면 True 분포를 따라간다

자연어처리쪽으로 잘하고 유망한 회사

• HuggingFace
• TuNIB

• UpStage

• 잘 생각은 안난다고 하심

---

자발적으로 좋은 기회가 닿아서 공부를 하는걸로 알고 있는데 노력은 배신하지 않는다고 열심히 하시는 만큼 여러가지 좋은 기회나 좋은게 따라 올 것이라고 생각이 들고 AI 도 열심히 공부하시면서 도움을 주고받을 수 있는 분들을 많이 확보해서 효율성을 높이면 좋을 것 같고 이세상에 인공지능만 있는것은 아니니까 여러가지 공대, 엔지니어링 분야 이외에도 최대한 많은 경험을 젊을 때 하면 좋을 것 같습니다!

• 좋은 말씀 많이해주셔서 감사합니다.