regist vulnrichment2tc.py

[dejima-shikou]

PR の目的

• 機能概要

  • vulnrichmentから各CVEのデータのcve_id、exploitation、automatableを取得し、cve_idがTCで登録済Topicに紐づくMispTag.tag_nameと一致するTopicのexploitation、automatableを更新する。

• 実行手順

1. https://github.com/cisagov/vulnrichment
   をクローンする。
2. threatconnectome/scripts/vulnrichment2tc.py
   を実行する。

• 引数
  url: ThreatconnectomeのAPI BASE URL
  -v: vulnrichmentルートディレクトリのパス
  -t: Threatconnectome APIのrefresh token
  ※-tオプションの代わりに環境変数THREATCONNECTOME_REFRESHTOKENでも指定可能
• 出力
  正常実行時、1件のTopic更新毎に下記のようなデータを出力する。
  出力件数が多いため、出力結果をファイル出力することを推奨する。
  Success put topic. topic_id:d227c61c-bf82-42a1-b57b-b9735ce8550c cve_id:CVE-2020-5245 data: {'exploitation': 'public_poc', 'automatable': 'no'}

実行例)
cd ~/work/threatconnectome/scripts
pipenv shell
pipenv sync --dev
export THREATCONNECTOME_REFRESHTOKEN=<実際のrefresh tokenを指定>
python3 vulnrichment2tc.py -v ~/work/vulnrichment "http://localhost/api" > ../../log.txt

経緯・意図・意思決定

Topicが40524件、HITするCVEデータが3996件のローカル環境で実行時間が約24分かかった。
処理時間を分析した結果、1件あたりの処理時間は小さく件数が多いのが原因であり、大きく改善するのは困難と判断した。

• vulnrichmentから全CVEファイルを読み込みメモリに保持する処理
  約2秒

• TC API　get /topics/search
  CVEデータ　28383件
  1件　0.04秒
  →約16分

• TC API　put /topics/{topic_id}
  CVEデータがTopicとHITした件数　3996件
  1件　0.08秒
  →約5分

[mshim03]

LGTM