한국 사용자들의 저장소 및 토픽을 크롤링하여 DB등에 넣어두고, 토픽 검색을 빠르게 제공

[phg98]

현재는 검색할 때마다 사용자와 토픽을 각각 검색하는데 2015년까지 검색하면 빨라도 5시간 소요된다.
한국사용자들의 저장소와 토픽을 미리 크롤링해서 DB에 넣어두고, 사용자가 토픽검색하면 즉시 검색결과를 줄 수 있으면 좋겠다.
매일 새로 추가되는 저장소와 토픽은 별도 서버가 지속적으로 업데이트 해주면 좋을 듯.
(고수님이 하시면 금방 할 것이라 생각됩니다. 근데 하실 분이 없으면 제가 천천히 해봐도 좋을 것 같습니다.)

[taetaetae]

네 안그래도 자동화를 좀 고도화 시키기 위해 알아보고 있었습니다. 정리되면 다시 말씀드려볼께요.

[taetaetae]

• 한국 github 사용자 수집
  최근 10년 location:korea 사용자를 조회하여 mongoDB 에 저장
  저장한 데이터는 주기적으로 체크하여 업데이트/삭제 진행

[phg98]

아니 벌써 거기까지 하신건가요? 대단합니다!!