320x100 728x90 parquet1 AWS Athena 비용 절감작업 회고 최근 회사에서 AWS athena 비용 절감 작업을 진행했다. 기존엔 S3 수명주기 규칙을 이용하여 오래된 데이터는 자동으로 삭제되도록 자동화를 진행했지만 (참고) 다른 팀의 요청으로 부득이하게 수명주기 규칙을 일시 정지했다. 그러다보니, 데이터가 s3에 적재되는 양이 많아졌고, 이에 따라 아테나 스캔에 대한 비용이 증가했다. (S3에 물리적인 데이터가 삭제되지 않았기 때문에.) (뭐 물론 한 번에 하려고 서브 쿼리를 넣은 등, 쿼리 최적화 누락에 대한 문제도 있었다...) 기존에 방식은 JSON 형태의 데이터를 일정 크기에 맞게 압축해서 파티셔닝 했다. 이 방법도 AWS 공식 문서에서 소개하는 최적화 방법이긴 하다. 그러나 물리적인 데이터 양이 많아져서 다른 방법이 필요했다. 회사 팀장님께서 'Parq.. 2022. 7. 27. 이전 1 다음 300x250 320x100
