Skip to content

HOYNET/crawling

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

44 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Prerequisites

  • install conda
  • create a new conda environment
     conda env create -f environment.yml && conda activate crawling
  • install extra requirements
    pip install pykrx yfinance

Preparing Data for Crawling

  1. Receive Data for tickers of NASDAQ Stock in the root of the Project as a csv file
  2. Make sure that the ticker_codes are in the 2nd column of the csv file

대회에서 주어진 NASDAQ_FC_STK_IEM_IFO.csv 파일의 일부분만 깃허브에 등재되었습니다.
추가적인 데이터 수집이 필요한 경우 수집을 하고 싶은 ticker_code들을 csv파일안에 추가 해주시면 됩니다

isin_cd tck_iem_cd ... ...
US00211V1061 AACG ... ...
... ... ... ...

Activation

Set the start_date and end_date of the Crawling in the main.py
Set the kospi_ticker_code for which the data you are searching for

📌 If the Crawling resoucre runs out during the process, manually change the ticker code csv file
크롤링 리소스 부족으로 인해 전체 ticker_code에 대해 데이터 수집이 안될 경우
csv파일의 ticker_code를 나눠서 진행해주세요

    python main.py

👷‍♂️ If you want to merge the files into 1 file remove the annotation and activate the nasdaq_merge function
NASDAQ 폴더 안 파일들을 하나로 합쳐놓고 싶으시면 마지막 줄의 nasdaq_merge 함수 주석을 지워주세요.

About

NASDAQ & KOSPI data crawling

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages