320x100 728x90 athena2 AWS Athena 비용 절감작업 회고 최근 회사에서 AWS athena 비용 절감 작업을 진행했다. 기존엔 S3 수명주기 규칙을 이용하여 오래된 데이터는 자동으로 삭제되도록 자동화를 진행했지만 (참고) 다른 팀의 요청으로 부득이하게 수명주기 규칙을 일시 정지했다. 그러다보니, 데이터가 s3에 적재되는 양이 많아졌고, 이에 따라 아테나 스캔에 대한 비용이 증가했다. (S3에 물리적인 데이터가 삭제되지 않았기 때문에.) (뭐 물론 한 번에 하려고 서브 쿼리를 넣은 등, 쿼리 최적화 누락에 대한 문제도 있었다...) 기존에 방식은 JSON 형태의 데이터를 일정 크기에 맞게 압축해서 파티셔닝 했다. 이 방법도 AWS 공식 문서에서 소개하는 최적화 방법이긴 하다. 그러나 물리적인 데이터 양이 많아져서 다른 방법이 필요했다. 회사 팀장님께서 'Parq.. 2022. 7. 27. Intelli J에서 AWS 아테나 및 DB 연결하기 인텔리제이는 참 간편한 IDE다. 여러 가지 언어에 대한 개발 지원 및 다양한 도구들을 지원하여 개발단계에서 많은 기능을 제공하여 개발을 한 층 편하게 해 준다. AWS 아테나는 인텔리제이에서 연결을 지원하는지 모른 채로 매 번 aws 콘솔에 들어가 쿼리를 사용하곤 했다. 게다가 우리 회사는 2중 보안이 되어있어, 매 번 이 과정을 거치며 아테나를 뚫고 뚫고 들어가야 했다. 그러나 인텔리제이에서 이를 해결할 수 있다. 인텔리제이 우측에 보면 Database 탭이 있다. 만약 보이지 않을 경우. View -> Tool Windows -> Database로 활성화 가능하다. 탭을 열면 +버튼이 있는데, Data Source -> Other -> AWS Athena 가 있다. 클릭해주자. User에는 acce.. 2022. 4. 11. 이전 1 다음 300x250 320x100
