Dropout rate에 따른 성능 변화

[intrandom5]

저희의 모델에는 Bert의 pooler output과 fully connected layer 사이에 Dropout 레이어가 존재합니다.

(요기 모델 마지막 부분.)
이 Dropout rate는 기본적으로 0.1로 설정되어 있는데요, 0.1부터 0.5까지 0.1 간격으로 10에포크를 학습해서 어떤 dropout rate에서 가장 성능이 좋은 지를 실험해 봤습니다.
Dropout rate를 제외한 나머지 설정들은 현재 BEST 모델의 config와 동일하게 사용했습니다.

valid pearson과 valid loss 두 metrics 모두 비교해 봤을 때, dropout rate=0.4로 설정했을 때 성능이 가장 높게 나왔습니다.
특별히 dropout rate와 valid loss가 비례 관계가 있거나 하지는 않은 것 같습니다.

** 또 한가지 이상한 점은 분명 같은 config를 쓰고 있는데 BEST 모델이 재현되고 있지 않습니다.... 뭐가 바뀐거지...
*** datasets/datasets.py 에서 라벨 값을 5로 나눠서 normalize하고 있었네요....ㅠ
아무튼 dropout rate는 0.4일 때 성능이 가장 좋은 것으로 보입니다.

구현하는 방법은 2가지가 있는데,

self.bert = AutoModelForSequenceClassification.from_pretrained("klue/roberta-large", num_labels=2, hidden_dropout_prob=0.3)

이런 식으로 모델 선언 시에 인자로 전달하는 방법과,

def __init__(self):
    self.bert = AutoModel.from_pretrained("klue/roberta-large")
    self.linear = nn.Linear(self.bert.config.hidden_dim, 1)
    self.dropout = nn.Dropout(0.3)

def forward(self, inputs):
    pooler_outputs = self.bert(inputs).pooler_output
    pooler_outputs = self.dropout(pooler_outputs)
    outputs = self.linear(outputs)
    return outputs

아예 새로 classification layer를 추가해주는 방법이 있습니다. 사실 아래 방법으로 실험 중에 위의 방법을 뒤늦게 알아서 실험은 아래 코드를 추가하는 방식으로 진행을 했습니다.