K-fold cross validation 실험 결과를 공유합니다.

[ymnseol]

구두로만 간단하게 브리핑했던 k-fold cross validation 결과를 공유합니다.
대회 마감 당일, GPU를 인식하지 못하는 문제로 급하게 최소한의 자료만 백업하고 서버를 재할당받았기 때문에 해당 모델과 결과 파일이 없는 상태입니다😢 wandb에 기록된 train loss, train pearson, valid loss, valid pearson으로만 이야기하도록 하겠습니다...

결론

• K-fold를 적용하지 않은 기존 최고 점수 모델에 별다른 효과가 없는 것으로 판단됩니다.
• 어쩌면 이미 validation data가 주어진 상태에서 굳이 train data를 쪼갤 필요가 없었던 게 아닐까 싶습니다. Train data를 쪼개면서 오히려 한 번에 학습하는 데이터의 양이 줄어든 점이 좋지 않은 방향으로 작용한 게 아닐까요...?
• 사실 k-fold cross validation은 모델 성능을 높이기 위한 방법이라기보다는 모델 평가를 위한 방법이라는 이해를 다지고 접근했으면 k-fold cross validation을 조금 더 잘 활용해볼 수 있지 않을까 하는 아쉬움이 남습니다. 성능 평가를 위한 방법이라면 기존 모델과 기존 모델에 k-fold cross validation을 한 것을 비교하지 말고, 기존 모델과 다른 모델에 각각 k-fold cross validation을 해서 비교해야 했던 게 아닐까요? 방법에 대한 몰이해로 팀에 기여하지 못해 미안합니다.
• K-fold cross validation의 목적과 장단점, 그리고 우리 문제 상황에 적합한 방법인지를 스스로 조금 더 고민해보았어야 했다는 아쉬움이 남습니다.

왜 k-fold cross validation을 하려고 했나요?

이번 대회에서는 550개의 validation data를 따로 제공해주었습니다.
그러나

1. 9,000개 이상의 train data에 비해 그 규모가 매우 작다고 판단했고, (💙 Thanks to @papari1123)
2. Train loss가 적은 학습만으로도 매우 빠르게 줄어드는 반면, validation loss와 그 차이가 점점 벌어져, validation pearson 자체는 커지지만 generalization performance의 저하가 우려되었습니다.

Train data의 일부를 돌아가면서 validation data로 사용하면, 모델은 결과적으로 모든 train data를 학습에 사용할 수 있으면서 epoch마다 서로 다른 데이터에 대해 validation을 수행합니다.

결과