스키장 슬로프 운영 현황 크롤링을 통한 자동 업데이트 기능 개발

[jun108059]

Info

• 스키장 슬로프 운영 현황은 매일 각 스키장 홈페이지에서 업데이트되고 있음
• 매일 수동으로 현황을 업데이트하는 것은 비효율적이기 때문에, 크롤링하여 데이터 자동 업데이트가 필요함

Task

• 스키장 별 슬로프 운영 현황 페이지 크롤링
• weski DB에 적재할 수 있는 형태로 변환
• DB에 데이터 Update

예상되는 이슈

• 슬로프 운영 현황은 스키장 홈페이지 별로 노출 형태가 다 다르기 때문에, 많은 시간이 소요될 것으로 예상 됨
• 운영 현황 업데이트 시간도 정해져있지 않기 때문에 적절한 batch 실행 주기를 판단하기 위해 운영하며 모니터링이 필요함

back-log

• 슬로프 운영 현황 업데이트 batch 실패 시 알림을 받을 수 있는 시스템 구축 필요