피드백

• epoch가 올릴수록 성능이 떨어지는 것은 overfitting의 문제이다.

• batch size가 작을 수록 gpu를 최대한 활용할 수 있지만 batch size가 클수록 overfitting을 막을 수 있다.

• layer를 freeze하게 되면 overfitting을 줄일 수 있다.

• 알아두면 좋은 파이썬 문법 및 모듈

  • os, tqdm, pdb, numpy, shutil, try-except, python decorator, python generator

• 틀린 경우에대해서 acc 만으로는 알 수 있는 정보가 한정적이다. 어떤 이유로 주로 틀리게 되는지 확인해 볼 필요가 있다.

• class imbalance의 경우는 sampling이나 data augmentation을 활용하면 좋다.

  • sampling은 많은 데이터를 적게
  • augmentation은 적은 데이터를 많게
  • deep learning적으로 풀기 위해서는 focal loss를 사용해보자

• validation set을 이용해서 어느 class에서 많이 틀리는지 확인해보자

• validation set이 train 과정에서 섞이지는 않았는지 확인해보자

• validation set을 만들 때 사람을 통째로 빼는 방법도 활용해보자

• resnet 의 경우 layer 1,2,3,4 를 통째로 freeze 하는 것은 좋지 않다.

  → class가 18개로 특징이 꽤 많기 때문에

  → fc layer가 잘 동작하지 않는다고 생각할 때 dropout을 이용해보자

• 사진의 배경에 영향을 많이 받는다고 생각할 때 데이터의 배경에 영향을 최소화시키는 것도 매우 좋은 방법이라고 생각된다.

• 안되는 이유를 짐작하지 말고 분석하고 확인해보도록 하자