[Day7] DL Basic 3강 & 시각화 2-1강 & 필수과제 Optimization Assignment

[Day7] DL Basic 3강 & 시각화 2-1강 & 필수과제 Optimization Assignment

• Optimization 의 중요한 Concepts 에 대한 이해
  • 일반화
  • 언더피팅 vs 오버피팅
  • 크로스 밸리데이션
  • 편차 & 분산 tradeoff
  • Bootstrapping
  • Bagging and boosting
• Practical Gradient Descent Methods 에 대한 이해
  • Stochastic gradient descent
  • Momentum
  • Nesterov accelerated gradient
  • Adagrad
  • Adadelta
  • RMSprop
  • Adam
• Regularization 에 대한 이해
  • Early stopping
  • Parameter norm penalty
  • Data augmentation
  • Noise robustness
  • Label smoothing
  • Dropout
  • Batch normalization
• Bar Plot 사용법에 대한 이해

• Python - Bar Plot 실습 코드

• Optimization 비교 실습
  • SGD
  • Momentum
  • Adam