새로 학습한 모델이 성능이 좋은 이유

[intrandom5]

들어가기 전에

실험을 하기 전에 우선 이유를 예측해 보겠다.
우선, 텍스트를 전처리 한 것이 모델이 쉽게 학습하는데 영향을 줬을 것이라고 생각한다. NLP에서 raw data를 다루는 데엔 원래 특수기호나 맞춤법 등의 것들을 잘 처리를 해주고 학습을 하는 것이 모델에 좋기 때문.
또, learning rate를 좀 더 크게 조정함으로써 모델이 local optima로부터 벗어나 더 좋은 minima를 찾은 것으로 보인다.

실험 결과

결과를 보면 텍스트를 전처리해서 학습했던 게 오히려 성능이 안 나오고 있다....?

그리고 텍스트를 전처리하지 않은 raw 데이터로 learning rate만 1e-5로 조정해서 학습을 했더니 성능이 확 올라갔다.
모델의 성능이 향상된 데에는 당연히 텍스트 전처리의 영향이 클 것이라고 생각했는데 생각보다 그 효과보다는 단순히 learning rate의 영향 뿐이라니 조금 충격적이다...

새로 학습된 모델의 성능은 실제로 어떤가?

데이터 유출하면 안되기 때문에 점수만 출력해 보았다.
원래 모델로 예측한 점수와 실제 label의 차이 순으로 문장 쌍을 정렬해서 이전 모델의 점수와 이번 모델의 점수를 차례대로 출력해 보았다.

점수를 보면 모델이 새로 학습되면서 대체로 원래 점수에 가깝게 조정된 것을 확인할 수 있다.

[새로 학습한 모델]

[과거 모델]
모델이 예측한 점수 순으로 데이터를 정렬한 뒤, 어떤 라벨 문장 쌍을 더 잘 예측하는지 시각화 해봤다.
그래프의 x축에서 왼쪽으로 갈수록 모델이 낮은 점수를 준 문장 쌍이며 오른쪽으로 갈수록 모델이 높은 점수를 준 문장 쌍이다. y축은 실제 라벨과 모델 예측 점수의 차이를 나타낸다.
그래프를 보면 라벨 점수가 높은 문장 쌍들을 잘 맞추고, 라벨 점수가 낮은 문장 쌍들을 잘 못 맞추는 경향성은 크게 나아지지 않은 것으로 보인다.

[papari1123]

가능하다면,

1. lr 10^-5 + process된 데이터의 리더보드의 제출 결과 와
2. lr 10^-5 + process안된 데이터의 리더보드의 제출 결과를 비교해보고 싶긴 하네요.
   예전에 나도 MSE, MAE 결과 비교할 때 lr을 10^-6로도 테스트했는데, 결과가 이상했는데,
   일단 lr이 10^-5 정돈 되어야 모델 학습이 잘된다는 것은 보여지는 결과로도 설명이 될 거 같네