Sentence-BERT 논문을 읽고

[intrandom5]

도입부

기존의 BERT는 두 문장의 유사도를 평가하기 위해 두 문장을 토큰을 사이에 두고 모델 하나에 같이 넣어 처리했다.

이는 매우 느리고 비효율적임.
SBERT는 두 문장을 각각 BERT에 넣어서 처리하는 방법을 사용. 이는 모델이 각 문장마다 임베딩 공간에 매핑하는 것을 수행하는 것이다.

모델

문장 임베딩을 뽑아내기 위해 BERT에 Pooling output을 적용. Mean Pooling이 가장 효과가 좋았다.
학습은 siamese, triplet network를 통해 이뤄진다.

• siamese : 두 문장이 BERT에 각각 들어가는 구조.
• triplet network : 서로 다른 도메인의 문장들을 비교하는 구조. 하단에 설명.

Classification Objective Function

NLI task(두 문장의 유사도를 classification하는 문제.)에 사용.
o=softmax(W_t(u,v,|u-v|))
문장벡터 u, 문장벡터 v, 두 문장벡터의 차이 |u-v|를 concatenate 한 뒤에, W_t weight를 곱한다.

Regression Objective Function

문장벡터 u와 v의 cosine similarity를 측정 후, mse loss를 통해 결과를 측정.

Triplet Objective Function

주어진 anchor 문장 a와, 유사한 문장 p, 유사하지 않은 문장 n이 주어졌을 때, 문장 a는 문장 n보다 문장 p와 더 유사해야 한다.
max(||s_a-s_p||-||s_a-s_n||+e, 0)

모델 평가

Unsupervised STS

• 0~5점 사이로 문장 쌍의 관계 점수가 제공되는 데이터셋.
• STS는 모델을 평가하는데 Pearson correlation보다 Spearman's rank correlation이 더 적합.
• BERT보다 SBERT의 성능이 더 우수.

Supervised STS

• 점수가 주어지지 않고, 각 문장들의 source만 주어져 있는 데이터셋.
• regression objective function을 사용해 SBERT를 fine-tuning.
• NLI task로 선행학습을 한 뒤에, STS 학습을 했을 때 성능이 더 좋았음.

Argument Facet Similarity

• 이 데이터셋의 특징은, 두 문장의 유사도를 평가할 때 두 문장이 같은 주제에 대해서 얘기하고 있어야 할 뿐만 아니라, 두 문장이 주장하는 입장도 같아야 한다는 것.
• 이 데이터셋에 대해 성능 평가는 10-fold cross-validation 방법과 cross-topic setup이 있다.
• 10-fold cross-validation : 데이터를 주제와 상관없이 10등분하여 각각을 test set으로 써 보는 방법으로 BERT와 SBERT의 성능 차이가 크지 않음. 이 방법의 문제는 모델이 문장의 주제에 대한 일반화가 잘 되어 있는지를 평가할 수가 없다.
• cross-topic setup : 데이터셋의 주제 별로 데이터를 나누어 각각 테스트셋으로 써보면서 평가하는 방법. 주제에 대한 모델의 일반화 성능을 확인할 수 있다. 여기선 BERT가 SBERT보다 더 성능이 좋았는데, BERT는 두 문장을 한 번에 입력 받음으로써 self-attention 모듈을 통해 두 문장의 관계를 유추할 수 있었지만, SBERT는 두 문장을 따로 받기 때문에 유사도 측정에 어려움을 겪었다.
• 이는 SBERT가 학습된 문장을 임베딩 공간에 매핑해놓고 test 시에 사용한다는 것을 의미. 다른 주제의 문장들은 매핑하지 못했기 때문에 예측을 제대로 수행하지 못한다.

[intrandom5]

유의 깊게 봐야 할 것으로는,
NLI 학습 후에 STS 학습을 수행할 때 성능이 더 올라가나?
현재 대회의 데이터셋은 각각 source가 다른데, 우리의 모델이 다른 source에 대해서 제대로 학습하지 못하고 있는가? source에 대한 탐구가 필요할 듯.
SBERT와 BERT 중 어느 방법이 우리 task에 더 성능이 좋은가?

[intrandom5]

노션 정리 : https://www.notion.so/Sentence-BERT-3b86b247b62946e6ba434bece6679bb6#f369eab3bca94c0c9595985ad749bbf5
논문 : https://arxiv.org/pdf/1908.10084.pdf