[11.16] 챌린지 관련 업데이트 소식 및 안내

[curieuxjy]

안녕하세요. RL KR 운영진입니다.

벌써 챌린지 2주차가 되었는데요! 지난 11월 10일 Submission 시작과 함께 많은 이슈와 문의들을 받았습니다.
지난 약 한 주 동안 해당 이슈들의 대응을 위해 노력했고, 그에 따라 몇가지 업데이트된 사항들이 있어 공지드립니다.

1. 기간 연장

챌린지 시작과 함께 제출을 할 수 없었던 점과 함께,
챌린지 동안에도 제출과 관련하여 많은 변동 사항들이 있어서 혼란스러우셨을 것으로 생각합니다.
제출이 가능하다고 말씀드린 기한에 비해 일주일 정도 늦은 시점에 제출이 정상화 된 관계로,
기존에 11월 30일로 되어있었던 챌린지 종료 시점을 12월 7일 자정 12시까지로 연장합니다.
즉, 12월 7일 자정 12시까지 제출된 모델들까지 대회 순위에 포함되오니 참고 부탁드립니다.
다시한번 대회가 원활하게 진행되지 못된 점, 참가자 여러분들께 불편을 드려 진심으로 죄송합니다.

2. onnx 파일 제출 방법

기존에 mlagents-learn을 이용해 학습한 onnx 파일만 제출하는 것이 아닌,
run-id 폴더 자체를 압축하여 제출하는 방식으로 변경되었습니다.
자세한 내용은 깃허브 README의 “학습된 모델 제출하기” 페이지 내용 참고 부탁드립니다
또한 현재 테스트 결과 PyTorch 1.10 버전으로 학습된 모델의 경우
검증시 에러가 발생하며 안정적이지 못한 모습을 보이는 것 같아
1.10 이전 버전의 torch를 사용해주시면 감사드리겠습니다.
만약 이후에도 제출 관련하여 이슈가 있는 경우,
새로 개설한 제출 관련 Discussion 페이지에 댓글을 남겨주시면
최대한 빠르게 대응할 수 있도록 하겠습니다!

3. 제출 횟수 제한

기존에는 평가 속도 관련 이슈 때문에 전체 모델 제한 횟수가 50회로 많이 적은 편이었는데요.
평가 속도를 향상시키게 되어 전체 제출 횟수의 제한을 없앴습니다!
단, 24 시간동안 모델을 제출할 수 있는 횟수는 기존에 안내드렸던 대로 1일 5회 입니다.
이 부분도 추후 제출량 검토와 평가 속도 향상을 통해 더 늘릴 수 있도록 노력하겠습니다!

4. 기타 제출 및 성능 관련 사항

• 같은 모델을 제출하더라도 평가 환경에서 시나리오는 동일하지만 새의 움직임과 같은 랜덤적인 요소 때문에 약간의 점수 차이가 발생할 수 있습니다.
• 압축 파일 명에 공백이 있는 경우 제출이 되지 않습니다!
• 제출 파일은 200MB의 용량 제한이 있습니다! (aifactory-beta를 한번 업그레이드 해주셔야 200MB까지 제출이 가능합니다)
• 연속적으로 모델을 제출하는 경우 1분 30초 이상의 시간 간격을 두고 제출하시는 것이 좋습니다.
• 평가 대기중인 모델이 1개가 넘어가면 평가가 제대로 이루어지지 않습니다. 평가 대기중인 모델은 1개까지만 해주시고 하나의 평가가 끝나면 다음 모델에 대한 제출 부탁드립니다. 또한 제출하신 분들이 많은 경우 다른 모델들에 대한 평가가 끝나고 평가가 이루어 지기 때문에 대기 시간이 길 수 있다는 점 양해 부탁드립니다. (현재는 대기가 없는 경우 약 15분 정도 소요됩니다) 단 이 부분은 조만간 인스턴스 수를 늘리는 등 개선안을 마련하여 속도 향상 및 동시 제출 수를 늘려 공지드릴 수 있도록 하겠습니다.

5. Mac 환경 실행

기존에 Mac 빌드 환경에 대한 실행 오류와 안정성 이슈를 반영하여 환경 파일을 실행시킬 수 있는 방법에 대해 정리해놓았으니 확인해주시면 감사하겠습니다.

---

참가 팀들의 대표자 메일로 안내된 같은 내용입니다 :)