label에 가중치를 준 MSE loss와, ensemble 방법 및 최종 모델 회고

[papari1123]

[이슈 사항]

• train 데이터의 라벨 분포가 불균형하다. 게다가 train, validation set의 라벨 분포도 상이하다.

• (룰에 문제가 되지 않는다면) 주최측에서 제공한 validation set과 합친 뒤 random sampling을 통해 train과 validation set 라벨 분포를 다시 맞추고 시작했어야 했다. 이 방법은 특정 라벨의 불균형을 조금 완화할 수 있는 방법이기도 하다.

• label 2~3에서 모델의 성능이 낮게 나온다. 이 label 범위에서 학습할 데이터가 적어서 그런 점도 있고, 해당 라벨의 문장에 대한 STS 예측자체가 어려워서라는 경험적인 느낌도 있다.

→ 해당 구간에서 augmentation을 하는 것이 좋은 방법으로 생각된다.
→ 시간 내에 사용해볼 만한 augmentation tool 중에, koEDA에서 제공하는EasyDataAugmentation(EDA)와 AEasierDataAugmentation(AEDA)가 있었다.

• 그러나 EDA에 사용되는 RD, RI, RS은 문장의 의미를 훼손하는 듯하고, SR은 특정 단어를 동의어로 잘 바꿔준다면 괜찮았겠지만 동의어로 보기 어려운 단어 (안방 → 오락실)들로 대체해서 성능을 기대하기 어려웠다. 실제로 SR을 통해 3배수로 문장을 생성하였으나, 학습시간대비 효과가 없었다.
• AEDA는 문장 내 랜덤으로 구두점을 찍어주는 방식인데, 이 방법은 온전한 의미를 가진 멀쩡한 토큰을 알수 없는 의미를 가진 토큰 2개로 나눌 위험이 있어 보여 적용하지 않았다.

→ 기타 파파고나 구글에서 제공하는 번역API를 사용해 RTT augmentation하는 방법도 있어서, 사용해봤는데 구글은 RTT결과가 나쁘고, 파파고는 결과가 그럴싸하지만 1만자 제한이 있었다.

→ 위의 논리에 따라 augmentation 외에 다른 방법도 고려해야 했다.

• 앙상블을 하면 성능이 올라갈 수 있다. 그러나, 아무 모델이나 soft voting으로 앙상블을 하자니 성능 나쁜 모델이 예측 결과를 끌어내릴 수 있기 때문에 좋은 모델을 선별해야 한다. 그렇다면 어떤 기준으로 앙상블에 쓰일 좋은 모델을 선별해야 할까? 그리고 soft voting을 그냥 적용하는 것이 최선인가?
  → 좋은 모델을 선별한다고 해도, 특정 문장/특정 라벨에 대해서는 상대적으로 더 나쁜 모델이 있어 결국 최선의 예측 결과가 나오지 못할 수 있다.
  → 물론 soft voting을 위한 분산 감소 효과를 노리기 위해 soft voting을 위한 효과를 같이 가져가면 좋을 것 같다.

[아이디어]

• 라벨 분포의 불균형, 특정 라벨에 성능이 낮게 나옴 → loss 함수에서 라벨에 대한 weight를 주자.
• 앙상블에 쓰일 좋은 모델 선별 → 라벨 구간 별로 성능이 좋은 모델을 조합해 앙상블을 진행하자.

[실험 방법 - 라벨 weighted]

1. balanced MSE loss (가칭)

• 특정 라벨들이 별로 없어서, 다음 방법으로 라벨별 weight를 다르게 줬다.
  • 회귀문제지만 실은 라벨이 0.2단위로 discrete하게 주어지기 때문에, 라벨별로 카운팅이 가능하다. 특정 라벨, $label$에 대해 카운팅된 개수를 $c_{label}$이라고 하면, MSE loss에 $1/c_{label}$을 곱해준다. 이렇게 하면, 빈도가 높은 라벨을 가진 샘플 1개에 대해 (GD 수행 시) learning rate를 그 빈도만큼 감소하는 것과 유사한 효과를 줄 수 있다. 결국 빈도가 낮은 샘플 1개에 대해서는 상대적으로 높은 learning rate를 부여하게 되면서 좀 더 label 분포에 independent한 학습이 가능하다 .

class bMSELoss(nn.Module): # for imbalanced data
    def __init__(self, label_cnt, device):
        super(nMSELoss, self).__init__()
        label_cnt_mean = sum(label_cnt.values())/len(label_cnt)
        self.label_cnt = {k:v/label_cnt_mean for k , v in label_cnt.items()}
        self.device = device

    def forward(self, inputs, targets):
        mse_func = nn.MSELoss(reduce=False)
        mse_loss = mse_func(inputs, targets)
        targets_list = targets.tolist()
        decay = torch.tensor([self.label_cnt[round(r, 1)]**0.5 for r in targets_list]).to(self.device)
        wmse_loss = torch.dot(mse_loss, 1/decay)/inputs.shape[0]
        return wmse_loss

2. Focal loss x MSE

• 이슈 사항에 라벨 2-3이 예측이 어렵다고 했는데, 얼마나 어려운진 알 수 없어서, 모델이 라벨에 따른 hard sample과 easy sample을 직접 구분할 수 있도록 focal loss를 참고해 다음과 같이 커스터마이징하였다.
  • Focal loss식은 $-(1-p_t)^ylog(p_t)$이다.
  • STS task는 회귀 문제이나 라벨 구간대를 맞추는 문제로도 생각할 수 있다. label 구간을 5개로 나누어 focal loss식을 적용하고 여기에 mse loss를 곱하였다.
  • 이 방법을 사용하면 확률적으로 높게 나온 라벨 구간은 weight를 덜 주고, 낮게 나온 구간은 weight를 더 주게 된다.

class FocalMSELoss(nn.Module): # for imbalanced data
    def __init__(self, num_class=5, alpha=1, gamma=2,  logits=False, reduction='sum'):
        super(FocalMSELoss, self).__init__()
        self.alpha = alpha
        self.gamma = gamma
        self.num_class = num_class
        self.reduction = reduction
        
        if logits:
            raise ValueError 

    def forward(self, inputs, targets):
				_targets = torch.floor(targets*0.999).long()
        mse_func = nn.MSELoss(reduce=False)
        mse_loss = mse_func(inputs[:, 0], targets)
     
        cat_targets = nn.functional.one_hot(_targets, num_classes=5) # (B) -> (B, class)    
        ce_loss = nn.CrossEntropyLoss(reduction='none')(inputs[:, 1:].float(), cat_targets.float())
        pt = torch.exp(-ce_loss)
        F_loss = self.alpha * (1-pt)**self.gamma * ce_loss * mse_loss

        if self.reduction == 'sum':
            return torch.sum(F_loss)
        else:
            return F_loss

3. label weighted MSE (가칭)

• 따라서 loss함수를 간단하게 하고, 각 label 구간별 예측을 잘하는 모델을 만들기 위해 다음과 같은 loss 함수를 짰다.
  • 가장 크게 weight를 줄 기준 label를 정하고, label이 기준 label에서 멀어질수록 weight를 덜 주도록 짰다.
  • 가중치를 줄 기준 라벨값을 $y_{ref}$, 라벨값을 $y$라고 한다면, 아래와 같이 mse loss에 $1/{(|y_{ref}-y|w+b)}$를 붙인다. w, b는 하이퍼파라미터고 각각 3과 0.25로 설정하였다.

class wMSELoss(nn.Module): # for imbalanced data
    def __init__(self, ref, weight=3, bias=0.25):
        super(wMSELoss, self).__init__()
        self.weight = weight
        self.bias = bias
        self.ref = ref
    def forward(self, inputs, targets):
        mse_func = nn.MSELoss(reduce=False)
        mse_loss = mse_func(inputs, targets)
        mse_loss = torch.dot(mse_loss, 1/(self.bias + abs(targets - self.ref)*self.weight))/len(mse_loss)
        return mse_loss

• 기준 라벨값은 0,1,2,3,4,5로 6개를 주었다.

[실험 결과 - 라벨 weighted]

• 데이터 전체에 대해, 예측값과 label값 간의 차이인 diff의 평균과 pearson 계수를 비교해보았다.

  • 모델의 base model은 rotberta/large이고, 여기서 loss함수를 위의 방법대로 수정했다.
  • 그래프에서 wrMSE_x_eyy의 이름을 가진 모델은 x에 대해 기준 라벨을 정한 label weighted MSE를 loss함수로 쓴 모델이다.
  • MSE_voter는 balanced MSE loss를 사용했다.
  • rotberta-large는 실험의 base line으로 쓴 것인데 다른 팀원이 낸 결과를 차용한거라 통제 변인이 제대로 통제되지 않아 ****참고만 하면 좋을 것 같다. 데이터는 동일하게 사용했다.
  • 시간 관계 상 wrMSE_x_eyy 모델들은 학습이 포화되지 않았다. 즉 더 학습해서 최대 성능이 1% 정도 올라갈 여지가 있다.
    

• 전체적으로 균일한 결과가 나왔으나, MSE_voter는 편차의 평균이 상대적으로 커 보인다. 그럼에도 pearson 계수는 비슷하게 나왔다.

• 이런 이해가 안되는 상황에 대해, 아래 내용을 참고하여 먼저 분석해보자.

피어슨 상관 계수는 정답과 예측이 일치하지 않더라도 증감율이 일치하면 1에 가까운 값을 보입니다.
반대로 정답값과 예측이 근사하더라도 증감율이 다르면 -1에 가까운 값을 보일 수 있습니다.
이는 정답을 정확히 예측하는 것 보다, 높은 값은 확실히 높게, 낮은 값은 확실히 낮게, 즉 전체적인 경향을 잘 예측하는 것이 중요함을 의미합니다. <출처: aistages, 대회 평가 방법>

• 위 식에서 y와 관련된 항은 다 상수이므로, 예측값의 표준편차를 먼저 보자.

• 예측값의 표준편차도 MSE_voter가 크다. 증감률에 대한 경향성을 봐야 할 거 같다. 먼저 라벨에 대해 값을 정렬하고, 예측편차가 가장 큰 MSE_voter와 가장 작은 focalMSE를 비교하였다. 샘플이 너무 많으면 그래프가 지저분해보여서 100개의 샘플만 확인한다.
• 아래 그래프만 봐서는, 초록색인 focalMSE가 더 예측을 잘하는 것 같다.

• 평가지표가 피어슨 계수기 때문에, 이번에는 예측값과 실제값의 평균이 일치하도록 예측값에 bias를 주고, 다시 추이를 확인한다.
• 평균을 맞춰주니 크게 차이가 없어보인다.

• 결국 위 그래프 결과를 요약해주는 것이 피어슨 계수이며, 예측 편차가 커도 피어슨 계수는 작을 수 있다. 이는 피어슨 계수가 예측의 bias(위 그래프에서 pred_mean값)로 인한 오차를 상쇄해주기 때문이다. 다만 pred의 분산은 여전히 중요하다.

• 아쉽게도 이런 인사이트를 대회 이후에 얻었기 때문에, 단순히 편차를 최대한 줄이도록 가정해 설계한 loss함수들은 대회 관점에서 의미가 퇴색될 것으로 보인다.

• 그러나 대회를 벗어나서, 어쨌든 예측 편차를 줄인다는 것은 STS과제에서 유의미하다고 생각하므로 편차를 계속 분석해보자.

• 아래는 0~1 라벨(참값)에 대한 편차이다. 예상대로 0이나 1에 대해 가장 weight를 크게 준 wrMSE_0과 wrMSE_1이 좋은 결과를 보이고 있다. 단, roberta-large보다는 결과가 나쁜데, 이는

  • wrMSE 모델들의 학습이 포화되지 않았다.
  • roberta-large는 다른 팀원이 낸 결과이므로 통제 변인이 제대로 통제가 안된 상태라, 다른 요인들이 영향을 줬을 수 있다.

• 다른 라벨 구간에서도 결과를 확인하자. 예상대로 결과가 나오고 있다.

• 그러면, 만약 대회 평가지표가 편차의 평균이면, 위 결과에서 가장 잘나온 모델을 사용하면 될까? 문제는 모델이 예측을 수행할 때 label값이 주어지지 않는다는 것이다. 예를 들면, label이 4-5구간에서 잘 예측하는 모델을 쓰려면, 샘플의 label이 4-5 구간인 걸 알고 있어야 하는데, 알수가 없다.

• 그렇다고 해서, 위 결과를 아예 못써먹는 것은 아니며, 위 결과는 분류성능평가지표에서 사용되는 recall과 유사한 관점에서 사용될 수 있다. recall은 실제 true인 것 중에서 모델이 true라고 예측한 것의 비율이며, 위 결과 또한 특정 구간의 라벨을 가진 샘플에 대한 편차다.

• 하지만 이 결과로만 모델을 선정하기엔 문제가 있다. 특히 label weighted MSE는 가중치를 둔 구간에 예측을 몰빵할 위험이 있으며, 분류문제로 가정 시, 해당 구간에 대해 recall은 100%가 나온다. 그러나 샘플이 해당 구간에 포함이 안 되는, FP의 상황은 충분히 일어날 수 있다.

• 그러므로 구간대별 label 뿐 아니라, 예측구간 별 결과도 같이 확인하자. 이 결과는 precision을 구하는 방법과 유사하며, 위 결과와 좀 다른 양상을 확인할 수 있다.

• 마지막으로 앞에서 **구한 label 구간별 편차 평균의 역수와, 예측 구간 별 펀차 평균 역수에 대해, 조화평균 낸 결과(=F1 score에 대응)**를 사용하자. 역수를 사용하므로 이값을 높을수록 좋다

• 그 결과, 구간대별로 wMSE_1_e12, wMSE_1_e12, wMSE_2_e12, focalMSE, wrMSE_4_e12이 “편차 평균”지표에서 좋은 모델일 가능성이 높다고 결론을 낼 수 있다.

• 물론 대회 지표는 피어슨 계수기 때문에, 대회에서 위 모델들이 구간별로 가장 좋은 결과를 낸다고 장담할 수는 없다.

• 번외로, 편차 이외에 라벨 구간 별 피어슨 계수도 확인해보자. label을 0~1로 제한하여 결과를 확인한다.

• 값이 너무 낮게 나왔다.

• 특정 구간 label에 해당하는 샘플만 선별할 때, 피어슨 계수가 낮게 나오는 이유는?

  • 그래프가 아래와 같이 나온다. label 구간을 정했기 때문에, 모델의 성능이 어느정도 나온다면 예측과 라벨의 평균은 크게 차이가 나지 않는다. 또한 라벨과 라벨 평균의 차이가 최대 0.5이하로 나올 것이기 때문에 label의 범위가 매우 축소된다.
  • 하지만, 예측값은 범위의 제한이 없으므로 상대적으로 범위가 크다. 이 경우 발생하는 문제는, label이 label 평균값보다 조금 떨어지는 (아래 그래프 x=30~40 구간) 상황에서도 예측값이 클 수 있으며 피어슨계수 계산식에 따라 큰 값이 (-)부호로 더해지게 된다**.** 이런 경우가 누적되면서 파어슨 계수가 낮게 나온다.
  • 이런 문제로, 라벨 구간을 제한, 또는 예측 구간을 제한하여 피어슨 계수를 계산한 경우 신뢰하기 어려운 값이 나온다.

[실험 방법 - 앙상블]

• 라벨 구간은 코딩의 편의를 고려해 다음과 같이 5개의 구간으로 정했다.

  • [0,1], (1,2], (2,3], (3,4], (4,5] ※ []는 상한 또는 하한을 포함, ()는 미포함을 의미.

• 라벨 구간 별로 성능이 좋은 모델 N(N=3)개를 선별한다. 성능의 기준은 다음과 같다.

  • 분류 문제에서는 recall(참값 중 맞춘 비율)과 precision(예측값 중 참값 비율)을 모두 고려한 F1 score를 평가지표로 사용한다.
  • 본 과제에서도, 한 가지 지표가 주는 편향성을 최대한 배제하기 위해 label 구간별 편차 평균의 역수와, 예측 구간 별 펀차 평균 역수에 대해, 조화평균을 낸 결과를 성능 기준으로 사용하였다.

• 모델 선정까지 끝났으면, 다음 soft voting과 weighted voting을 모두 활용해 앙상블 예측값을 계산한다.

  • (soft voting) 테스트 셋이 주어지면, i 번째 샘플에 대해, 라벨 구간 [j, j+1]에서 예측을 가장 잘하는 모델의 예측값을 평균낸다. 예를들어 j=0 일 때 (0,1] 구간에서 가장 좋은 성능을 가진 모델 N개(N=3)의 예측값을 평균낸다.
    이를 $pred_{i,j}$라고 하자.
  • (weighted voting) 동일한 테스트 셋의 i 번째 샘플에 대해서, 선별된 모든 모델($L$개)에 대해 라벨 구간 분류 예측을 수행하고, 결과를 카운팅한다. label이 구간 [j, j+1]에 포함된다고 분류한 voting 개수를 $w_j$라고 하자.

• 위 방법에 따라 i 번째 샘플에 대한 최종 예측 결과를 $\sum_{j=0}^4pred_{i,j}*w_j/L$로 계산한다.

• 이 방법을 통해 앙상블을 이용한 분산 감소 효과(soft voting)와, 특정 라벨 구간을 전문적으로 맞추는 모델의 예측에 가중치를 부여해, 해당 구간에서 예측을 못하는 모델로 인한 성능 저하를 줄이는 효과(weighted voting)를 같이 가져갈 수 있다.

• 위 과정에서 hard voting(다수결로 투표된 $pred_{i,j}$만 사용)이 아니라 weighted voting을 사용한 것은, 다수결로 인한 라벨 구간 예측이 잘못되었을 때 위험을 분산하기 위한 것임

• 분류 문제에서는 recall(참값 중 맞춘 비율)과 precision(예측값 중 참값 비율)을 모두 고려한 F1 score를 평가지표로 사용한다.

• 본 과제에서도, 한 가지 지표가 주는 편향성을 최대한 배제하기 위해 label 구간별 편차 평균의 역수와, 예측 구간 별 펀차 평균 역수에 대해, 조화평균 낸 결과를 score로 사용하였다. 각 구간별로 이 score가 높은 상위 3개의 모델을 선정하였다.

  • label 0-1

  • wrMSE_1e12

  • fine_tuning_mecab_e8

  • klue-roberta-large_last (focal loss는 대회 끝나고 결과를 본 거라, 실제로는 사용하지 못함)

• label 1-2

- MLM2STS_last
- fine_tuning_mecab_e8
- klue-roberta-large_last

• label 2-3

  • NLI2STS_e7
  • klue-roberta-large_last
  • wrMSE_2_e12

• label 3-4

- fine_tuning_mecab_e8
- klue-roberta-large_last
- wrMSE_3_e12

• label 4-5

- wrMSE_4_e12
- klue-roberta-large_last
- NLI2STS_e7

• 중복을 제외하면 총 7개 모델들이 선별되었다.
  • wrMSE_1e12.pt
  • fine_tuning_mecab_e8.pt
  • klue-roberta-large_last.pt
  • MLM2STS_last.pt
  • wrMSE_2_e9.pt
  • NLI2STS_e7.pt
  • wrMSE_4_e12.pt

[실험 결과 - 앙상블]

• 먼저 실험 가능한 단일 모델들에 대한 validation pearson 계수는 다음과 같이 나왔다.

• 다음과 같이 대조군을 포함해 앙상블 모델/단일 모델을 선정하였다.
  • 제안모델 (weight vote+soft vote) : 위에서 제안한 방법대로, 구간별 상위 3개 모델에 대한 soft voting결과($pred_{i,j}$)에 weight voting을 적용.
  • 제안모델 (soft vote) : 한번이라도 구간별 상위 3개 모델에 선정된, 7개의 모델에 대한 soft voting. 구간별 전문 예측 모델의 기여 효과가 제거됨.
  • pearson 상위 7개 모델 : validation data에 대한 pearson 계수가 상위 7개 모델에 대한 soft voting. 일반적인 soft voting 방법으로 사용됨.
  • 단일 모델로 성능이 가장 잘 나온 모델.
• 그러나, 마감 직전에 단일 모델 최고 성능으로 나온 모델 (roberta-large-reverse-normal)이 발견되어 다음 앙상블 모델/단일 모델의 결과를 추가하였다.
  • 제안모델 + best (weight vote+soft vote) : 제안모델 (weight vote+soft vote) 와 best 모델의 soft voting 결과
  • 제안모델 + best (soft vote) : 제안모델 (soft vote)와 best 모델의 soft voting 결과
    

[인사이트]

• 앙상블을 한 모델이 단일 모델보다 private 점수에서 높은 점수를 받았다. 앙상블 모델의 일반화 능력이 좋음을 알 수 있다.
• 앙상블 시, 단순히 soft voting을 하기보다 구간별로 전문 에측이 가능한 모델을 활용한 제안모델 (weight vote+soft vote)이 높은 점수를 받았다. 모델의 예측 특성을 데이터 분석을 통해 이해하고, 그에 따라 앙상블에 필요한 모델을 적절히 선정하는 것이 중요함을 깨달았다.