2021.10.21 멘토링

[jaehwan-AI]

• (지우님)

  강의를 들으면서 공부했고, SOTA HRNet에 대해서 공부 중

  OCR이 도대체 뭔지...

  (멘토님)

  → 모델을 모듈화 잘 해서 가져가는 것도 좋을 것 같다.

• (지윤님)

  강의 들으면서 공부하고 논문을 통해서 HRNet을 공부 중

  논문과 코드 사이에서 방황 중

  (멘토님)

  → 본인이 이해한 것으로 발표를 준비한다는 식으로 정리해놓으면 좋을 것이다. 이해가 깊어진다.

  → 끝나고 마음이 맞는 사람들끼리 논문스터디를 진행해도 좋을 것 같다.

  → 위기주도학습이 된다.(나의 위급함을 이용한 공부방법)

  → 논문이 가성비 좋고 논문을 통해서만 얻을 수 있는 것이 있는 것 같다.

  → 현업에서 좋은 커뮤니케이션 포맷이 논문인 것 같다.

• (지유님)

  HRNet과 OCR에 대해서 각각 따로 이해를 해보고 HRNet+OCR 논문을 이해하려고 하고 있다.

  코드랑 같이 보면 좋을 것 같아서 앞으로 실행할 생각이다.

  (경재님)

  → 리뷰를 한글로 직접 써보는 것도 좋을 것 같다.

  (멘토님)

  → 현재 리뷰 자료가 없는 것 또한 위기주도학습이 될 수 있다.

  → SOTA의 History를 follow-up하는 것 또한 중요한 경험이다.(→ 시간 여행, 깊이 우선 탐색(DFS))

• (나은님)

  강의를 많이 들었고, HRNet을 구현해보고 있다.

  level1-Ustage 때 2주일에 논문 하나씩 잡고 발표를 했었다.

  → FCN을 맡아서 했었다.

  논문에 대한 이해도를 높아졌었는데 강의만 들었을 때는 난이도가 낮아서 그 두 단계의 차이가 큰 것 같다.

  이해가 될 때까지 시간이 오래 걸리는 것 같다. 하지만 이해는 잘 되었다.

  (멘토님)

  → 처음 시작으로 HRNet 논문을 읽는 것은 매우 힘들 것 같다.

  → 논문을 나눠서 해도 괜찮을 것 같다.

  → 다음주 마스터님께 질문을 많이 하는 것도 좋을 것 같다. (특히 논문에 대해서)

• (재환님)

  논문에서 개념만 잡고 코드로 구현을 보고 논문과 비교하면서 구현된 코드를 다시 확인하는 방법을 쓰고 있다.

  (경재님)

  → representation이라는 단어로 너무 다 표현한다.

  (멘토님)

  → representation, embedding 등이 딥러닝의 전부, 핵심이다.

  → 한글로 표현이라는 단어가 직관적이고 이보다 더 좋은 표현 방법은 없는 것 같다.

• (준혁님)

  OCRNet 논문 읽고 코드 보고 있다.

  Q. trunk라는 단어가 나오는데 backbone으로 이해해도 되는지? 어떤 뜻인지?

  A. feature를 뽑아내는 것으로 backbone(feature extractor)이라고 봐도 될 것 같다.

  trunk = 나무의 줄기(뼈대)

  Q. scale에 따른 연산량의 감소

  A. weight를 가져다가 사용한다. inference하고 사이즈를 조절하는 것이다.

  스케일에 따라 receptive field가 달라져서 작은 스케일에서는 작은 object를 잘 인식 못하고 큰 스케일에서는 큰 object를 잘 인식하지 못하는 것 같다.

  Q. Apex의 AMP(Mixed-Precision)은 FP32 → FP16가 성능이나 속도에 얼마나 영향을 미칠 것인가?

  A. 학습 속도가 많이 빨라지므로 사용을 추천한다. 성능은 좋아질 수도 있지만 속도 측면에서 빠르게 하는 것이 목적이다. 믿고 써도 문제될 것 없을 것 같다.

  만약 버그를 발견하면 PR을 할 기회다. 그러나 큰 이슈가 없을 것 같다.

• (경재님)

  EDA를 통해서 인사이트를 도출하려는 노력을 했다.

  다른 분들이 공유를 해서 정보가 공공재가 되버렸다.

  면접으로 인해 코어타임 이외에 시간을 쏟기 힘들다. (다른 언어 코테 + 면접)

  (멘토님)

  → 파이썬을 싫어하는 부류가 있다.

(지우님)

Q. 파이참 즐겨찾기 기능

A. shortcut live templete(vscode에도 있을 것이다.) 많이 쓰는 기능들을 저장해놓으면 생산성이 높아진다. 초반 세팅을 고생하더라도 나중을 위해서라면 좋은 것이다.

Q. attention 부분이 어떻게 흘러가는지 모르겠다.

A. 해당 코드 부분을 발견함(ocr_utils.py → ObjectAttentionBlock 클래스 확인)

(멘토님)

랩업리포트는 잘 썼지만, Readme가 부족했다.

→ 랩업리포트 피드백

• 데이터의 문제점을 잘 분석한 것 같다.
• 데이터 자체의 문제도 있겠지만,
• 문제점을 어떻게 해결할 수 있을지(모델 입장에서) 생각해보는 것이 좋을 것 같다.

→ Readme 피드백

• train.py는 찾을 수 없었다.
• inference.py는 메인 로직으로 빼는 것이 좋을 것 같다.
• 처음 보는 사람도 알아보고 실행할 수 있게 작성하는 것이 좋다.

→ 코드 피드백

• 코드 컨벤션 : CLI tool 등 단축키 한 번으로 해결할 수 있다. 안쓰는 import 지우기 등
• 코드의 첫인상이 중요하다.
• 메인 로직은 쥬피터 노트북 보다는 python 파일로 작성하고, 부가 기능(viewer)은 쥬피터 노트북을 이용하는 것이 좋은 방향인 것 같다.

→ 깃헙을 포트폴리오에 제출할 거라면 README를 더 꾸며야한다!!

남의 코드를 보는 것은 매우 귀찮은 일이기 때문에 첫인상인 README가 중요하다.