1️⃣ https://github.com/COM-MA
2️⃣ https://www.phaseon.me/com-ma
이전 프로젝트 AI 카메라 기반 수화 학습 교육 서비스 ‘COM-MA’는 Google Solution Challenge Top100에 진출한 서비스로, AI 카메라를 활용해 어린이 코다(CODA)가 부모와 상호작용하며 효과적으로 수화를 학습하는 것을 목표로 했습니다.
그러나 소리샘복지관 및 아시아스쿨에서의 사용자 테스트와 심층 인터뷰를 통해, 단순한 수화 교육보다 부모와 자녀 간의 정서적 교류와 신뢰 구축이 더욱 중요하다는 사실을 확인했습니다.
이에 따라 서비스는 ‘COM-US’로 발전하였으며, 단순한 수화 학습을 넘어 부모와 자녀 간 자연스러운 소통을 촉진하고 가족 간의 유대감을 강화하는 방향으로 재정비되었습니다.
현재 스마일게이트의 지원을 받아 이를 고도화하고 있으며, 부모와 자녀가 더욱 깊이 연결될 수 있도록 다양한 기능을 추가 개발 중입니다.
COM-US는 농인 부모와 청인 자녀(CODA) 간 정서적 유대 강화를 위한 AI 기반 양방향 소통 플랫폼입니다.
이 서비스는 농인 부모와 자녀가 일상에서 자연스럽게 소통하고 정서적으로 연결될 수 있도록 돕는 통합 솔루션을 제공합니다.
1️⃣ 질문하기 & 받기
"오늘 기분 어땠어?" 등 일상적인 질문을 통해 부모가 자녀의 정서를 이해하고 관심을 표현할 수 있도록 지원합니다.
연령과 관심사에 맞춘 다양한 질문을 제공하여 부모가 아이와 나누고 싶은 대화 주제를 선택해 자연스럽게 대화를 유도할 수 있습니다.
2️⃣ 답변하기
질문에 대해 직접 답변하며, 선택형 또는 대화형 방식으로 진행할 수 있습니다.
3️⃣ 수어 변환
답변은 AI가 수어 문법에 맞게 변환 후, 즉시 수어 영상으로 제공됩니다.
(예: "나는 행복합니다" → "나, 행복")
4️⃣ 따라하기
변환된 수어 답변과 영상이 화면에 나타나면, 사용자는 카메라를 통해 이를 따라합니다.
시스템은 실시간으로 사용자의 동작을 인식하고 정확도 정도에 따른 피드백을 제공합니다.
5️⃣ 대화 블럭 쌓기
더불어 COM-US는 지속가능한 대화가 가능하도록, 부모와 자녀가 함께 '대화 블록 쌓기' 방식을 통해 대화를 시각적으로 기록하고, 감정과 생각을 공유하는 경험을 함께 받아볼 수 있습니다.
(1) 모바일 어플리케이션
- 프레임워크 : Android
- 개발 언어: Kotlin
- 활용 기술: Jetpack Compose, Retrofit
(2) 서버
- 프레임워크: Spring Boot 3
- 개발 언어: Java 17
- 빌드 도구: Gradle
- 활용 기술 : Spring Security, JPA
(3) AI
- 프레임워크: Flask
- 개발 언어: Python
- 활용 기술: PyTorch , OpenAI API
