문장 쌍의 순서를 바꾸는 것만으로도 augmentation 효과를 볼 수 있을까?

[intrandom5]

• [아이디어]

  • 두 문장의 순서를 바꾸는 것만으로도 모델이 새로운 데이터에 대해 학습하는 효과를 누릴 수 있을 거라는 추측. (Data augmentation)

• [실험방법]

  학습이 빠른 klue/bert를 베이스 모델로, 순서를 바꾸지 않고 10에포크 학습한 결과와 순서를 바꾼 것까지 포함해서 5에포크씩 학습한 결과를 비교.

  class KorSTSDatasets(Dataset):
      def __init__(self, dir_x: str, dir_y: str, bi_directional_training: bool=False):
          self.x = np.load(dir_x, allow_pickle=True)
          self.y = np.load(dir_y, allow_pickle=True)
  				# 아래 코드를 통해 정방향, 역방향 쌍을 모두 만듦.
          if bi_directional_training:
              bi_x = list(self.x)
              for (s1, s2) in self.x:
                  bi_x.append((s2, s1))
              self.x = bi_x
              self.y = np.concatenate((self.y, self.y))
  
      def __len__(self):
          return len(self.y)
  
      def __getitem__(self, idx):
          sentence1, sentence2 = self.x[idx]
          data = torch.IntTensor(sentence1), torch.IntTensor(sentence2)
          # cosine similarity의 범위 [-1. ~ 1.] 사이 값으로 정규화 필요.
          # label = float(self.y[idx]) * 0.4 - 1
          
          label = float(self.y[idx])
          return data, label

• [실험결과]

  • 실험 결과 : [bi-pair](https://wandb.ai/nlp-13/sentence_bert/runs/tt0a5lfh?workspace=user-intrandom5)

  

  • 같은 step 만큼 학습했지만 두 문장 순서를 바꾸는 augmentation을 사용했을 때 valid_loss가 0.02 더 낮게 나왔다.
  • 실험 결과 : [bi-pair-seed:16](https://wandb.ai/nlp-13/sentence_bert/runs/2gsyjkb7?workspace=user-intrandom5), [klue/bert-base-seed:16](https://wandb.ai/nlp-13/sentence_bert/runs/3d6q38b0?workspace=user-intrandom5)

  

  • 차이가 너무 미미한가 싶기도 해서 seed를 바꿔서 다시 실험해 봤다. 아슬아슬하게 0.01정도의 차이로 augmentation한 모델이 성능이 더 좋았다.

• [인사이트]

  • 문장의 순서를 바꿔주는 것만으로도 data augmentation 효과를 볼 수 있음을 증명한다.