Skip to content

Latest commit

 

History

History
27 lines (17 loc) · 711 Bytes

README.md

File metadata and controls

27 lines (17 loc) · 711 Bytes

Large-scale Data Processing with Step Functions

Workshopのリンク

Module1

以下のデータ(csv)をS3バケットに置いたら、それをトリガーにDistribute Mapが起動して処理。

データのリンク

Module2

手動起動すると、S3に置いてあるcsvを処理。

インプットとしては以下を与える。

{
  "maxConcurrency": 200,
  "maxItemsPerBatch": 200,
  "maxInputBytesPerBatch": 256,
}