You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
현재 convert 후 json 으로 결과저장 , inference 후 json으로 결과저장 그리고 종합적으로 maxmemoryUsed 포함 json 파일을 s3에 업로드합니다.
s3의 obj_list = s3_client.list_objects(Bucket=BUCKET_NAME,Prefix=prefix) 코드 사용시 해당 API에서는 최대 1000개 까지의 objects만 불러올 수 있어 원하는 결과가 저장되어있더라도 불러오지 못하는 이슈가 있습니다.
현재 convert 후 json 으로 결과저장 , inference 후 json으로 결과저장 그리고 종합적으로 maxmemoryUsed 포함 json 파일을 s3에 업로드합니다.
s3의
obj_list = s3_client.list_objects(Bucket=BUCKET_NAME,Prefix=prefix)
코드 사용시 해당 API에서는 최대 1000개 까지의 objects만 불러올 수 있어 원하는 결과가 저장되어있더라도 불러오지 못하는 이슈가 있습니다.따라서 S3 버킷의 객체가 1,000개를 넘을 때 객체 목록 조회하는 방법을 적용합니다.
https://gonigoni.kr/posts/list-over-1000-files-from-s3/
The text was updated successfully, but these errors were encountered: