Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[ AYCI ] s3 객체 불러오는 방법 수정 #76

Open
subeans opened this issue Sep 1, 2022 · 0 comments
Open

[ AYCI ] s3 객체 불러오는 방법 수정 #76

subeans opened this issue Sep 1, 2022 · 0 comments
Assignees

Comments

@subeans
Copy link
Contributor

subeans commented Sep 1, 2022

현재 convert 후 json 으로 결과저장 , inference 후 json으로 결과저장 그리고 종합적으로 maxmemoryUsed 포함 json 파일을 s3에 업로드합니다.

s3의 obj_list = s3_client.list_objects(Bucket=BUCKET_NAME,Prefix=prefix) 코드 사용시 해당 API에서는 최대 1000개 까지의 objects만 불러올 수 있어 원하는 결과가 저장되어있더라도 불러오지 못하는 이슈가 있습니다.

따라서 S3 버킷의 객체가 1,000개를 넘을 때 객체 목록 조회하는 방법을 적용합니다.
https://gonigoni.kr/posts/list-over-1000-files-from-s3/

@subeans subeans self-assigned this Sep 1, 2022
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant