TransUnet 실험결과

[kmouleejunhyuk]

재환님이 제안해주신 TransUnet(res50+b_16)의 실험 결과 공유합니다.

1. 논문에 구현된 대로, SGD+momentum0.9가 가장 효과가 좋음
2. 이미지 스케일에 따른 성능 차이가 심한 편(max: 1024 + tta(hflip, rotate90(0, 180))
3. loss = 0.5*diceloss + 0.5crossentrophyloss(논문 그대로)
4. weight: imagenet21k + imagenet2012 --> imagenet mean/std 로 normalize
5. LB 0.64, val 0.61(no tta)

update: 2048은 성능 더 하락(너무 커서 receptive field를 초과한 걸로 예상)
update: CE weight by pixel density failed. valid miou 소폭 감소