Encore Final Project :: Lantern - Sign Language Education Service 2021.05 - 06
- 임혜린 - PM, Frontend
- 김민규 - Backend
- 이소정 - Backend, Data analysis
- 이혁희 - Data analysis
- 조은상 - Data analysis
- Service Lantern은 수어교육의 일환으로 개발된 Education Service 입니다.
- Lantern은 '소외된 청각장애인을 손으로 비춘다'라는 팀명 손전등의 의미와 '새로운 언어를 켠다 - turn on a new language의 축약어'로 두 가지 의미를 내포하고 있습니다.
- 현재 코로나19로 인해 마스크 착용이 필수가 되면서 청각장애인과 비장애인의 소통은 단절되었고, 사회적 소통 부재는 차별로 까지 이어지며 청각장애인의 생존권 문제로 이어지고 있습니다.
- 특히, 장애인구의 초고령화는 우리가 주목해야 할 부분입니다. 청각/언어 장애인구는 2020년 기준 약 41만 8천 명으로 매년 10%씩 증가하고 있는 상태로, 2019년 기준 장애인구 고령화가 특히 두드러지는 장애유형은 청각장애로, 청각장애인 중 70세 이상 인구가 67.6%를 차지하고 있습니다.
- 청각장애인과의 소통 문제는 더 이상 소수의 문제만이 아닙니다. 앞으로 우리가 직면할 수 있는 문제로 확대되고 있으며, 모두의 관심과 노력이 필요한 실정입니다.
- 현행 수어 교육은 강의 형태로만 제공된다는 한계가 있고, 반복학습과 복습이 중요한 수어 교육의 특성을 반영한 별도 서비스가 제공되지 않아 누구나 쉽게 '본인의 구현동작을 확인하고, 반복 학습을 할 수 있는 교육수단'이 필요합니다.
- 학습 과정에서 본인의 수어 동작을 실시간으로 확인할 수 있도록 학습 페이지에 웹캠을 배치, 이는 본인의 동작을 확인하는 과정을 거쳐 수어 동작의 정확도를 높입니다.
- 퀴즈를 통해 학습한 수어 동작을 확인할 수 있으며, 포인트에 따른 리워드 제공을 통해 학습을 독려, 참여율 증진에 영향을 줍니다.
- YOLOv4-tiny 모델을 통해 처리 속도를 높여, 인터넷 프레임 드랍으로 인한 학습 이탈률을 완화하여 학습 완주율을 높입니다.
체험과 실습이라는 활동적인 교육형태로 구성되어, '오프라인 수업, 정보전달'로만 이루어진 현 수어교육의 문제점을 해결하고 특수 직군 종사자(수어 통역사 등)뿐만 아니라, 일반인들이 수어를 쉽게 배울 수 있도록 수어교육 서비스를 제공하는 것이 최종 목표입니다.
- EC2 개발 환경에서 웹 어플리케이션으로 Spring boot를 사용, 모델 API는 Django를 이용하여 수어 교육 서비스를 구현했습니다.
- 데이터베이스는 MariaDB를 사용했으며, 동영상 스트리밍을 위해 S3 스토리지 서비스를 이용합니다.
- Spring boot에서 Django로 웹캠 이미지를 전송하면 Django에서 모델 구동 후 결과값을 다시 Spring boot로 전송하는 형태로 설계했습니다.
- 이와 같은 방식으로 학습 및 퀴즈 페이지 서비스를 구현했으며, 사용자 학습에 도움을 주는 웹 서비스를 개발했습니다.
- YOLOv4의 장점 : 다른 object detection model 보다 AP 및 FPS 성능이 더 우월합니다. (또한, YOLOv3에 비해서는 YOLOv4의 AP가 최대 10%, FPS가 최대 12%까지 향상됐습니다.)
- 단어 별 핵심 동작의 이미지 프레임을 추출하여 모델이 학습할 손모양을 labelImg tool을 이용해 label 및 annotation을 생성한 후, YOLOv4 모델의 학습 및 결과를 분석했습니다.
- 하지만 모델의 처리 속도에 문제가 있어 2단계를 거쳐 개선된 최종 모델을 확보했습니다. :
- 1단계 - 기존 YOLOv4 모델의 경우 정확도는 높으나 처리 속도가 늦다는 단점이 있어, YOLOv4 tiny 모델로 대체하여 연산 속도를 개선했습니다.
- 2단계 - 하지만 YOLOv4 tiny는 처리 속도가 빠르나 정확도가 떨어져, 문제를 해결하기 위해 추가 이미지 수집 및 이미지 좌우 반전, 명암 조절과 같은 data augmentation을 통한 YOLOv4 tiny 모델의 정확도를 개선했습니다.
- 연속 동작이나 복잡한 동작 또한 추가 학습하여, 다양한 단어 인식이 가능하도록 확대할 예정입니다.
- 실시간 동작 인식을 통해, 중간 조작 없이 원활히 학습할 수 있도록 개선할 예정입니다.
- 원격 인터페이스를 사용하여 마우스 또는 키보드를 사용하지 않고 학습할 수 있도록 개선 예정입니다.
- Education Service에서 시작해, 수어 교육 센터 정보 추가 및 커뮤니티 개발을 통해 비장애인과 장애인을 잇는 교두보 역할로 자리매김할 것입니다.
- 2020 장애인 통계 : https://www.socialfocus.co.kr/news/articleView.html?idxno=9303
- 보건복지부 - 2020 등록장애인 현황 : https://blog.naver.com/mohw2016/222316716742
- e-나라 지표 : https://www.index.go.kr/potal/main/EachDtlPageDetail.do?idx_cd=2768