DevOps Tasks

Overview기존 시스템에서는 Lambda 간 호출과 API Gateway에서 발생하는 Timeout 문제로 인해 안정성과 성능 저하를 경험했습니다. 특히, Lambda 함수 간 호출 시 외부 네트워크 경로를 거치며 발생하는 Timeout 제한과 GPT 전처리 작업의 추가로 인해 API Gateway의 Timeout이 빈번하게 발생했습니다. 이를 해결하기 위해 AWS Step Functions를 도입하여 Lambda 호출 간 발생하는 타임아웃을 해결하고, 동시에 시스템의 동시성 제어 및 성능을 최적화했습니다. Step Functions의 비동기 처리와 병렬 작업 관리를 통해 API Gateway의 제한을 극복하고 Lambda의 과부하를 방지하며, 작업 재시도 및 대기 기능으로 시스템의 안정성을 더욱 강..

DynamoDB는 AWS에서 제공하는 NoSQL 데이터베이스로, 짧은 대기 시간과 고가용성을 제공하여 원활한 확장이 필요한 애플리케이션에 최적의 선택입니다.AWS는 DynamoDB를 통해 증가하는 워크로드를 손쉽게 처리할 수 있도록 다양한 기능을 제공합니다.Athena는 AWS 생태계 내에서 강력한 데이터 분석 도구로, 사용자가 익숙한 SQL을 사용하여 다양한 데이터 소스를 쿼리 할 수 있게 해 줍니다.BI 작업이나 기타 분석 작업을 수행할 때, Athena는 프로세스를 단순화하고 데이터에서 인사이트를 도출할 수 있는 기능을 제공합니다.이제 DynamoDB의 정보를 시각화해야 하는 요구가 생겼습니다.아래와 같은 흐름을 통해, DynamoDB에 있는 데이터를 Athena로 옮기고 S3에 저장한 후, Qui..

EDA (Event Driven Architecture) AWS Infra Monitoring 관리하는 콘솔이 증가함에 따라 AWS EventBridge를 활용하여 각 콘솔의 인프라 변경 사항을 중앙 DevOps 콘솔로 라우팅 하는 EDA 구현합니다.구체적으로, 각 콘솔에서 발생하는 인프라 변경 이벤트를 AWS EventBridge를 통해 중앙 이벤트 버스로 전송합니다.이 이벤트는 Lambda 함수를 트리거하여 처리되며, 동시에 Slack 으로 알람을 전송합니다. AWS EventBridge와 Lambda를 활용한 EDA는 비용 절감과 운영 효율성을 극대화하여 DevOps 환경을 효과적으로 개선할 수 있습니다.이 아키텍처는 여러 가지 이점을 제공합니다. AS IS 분산된 Lambda 함수 및 리소스 관리..

AWS RDS Proxy? RDS에서 Connection 연결을 효율적으로 관리해 주는 서비스이다. AWS Lambda를 사용할 때는 DynamoDB와 같은 API 기반 DB를 많이 사용할 수밖에 없다. 기본적으로 RDS Proxy는 세션에서 각 트랜잭션 후에 연결을 재사용할 수 있다. 이러한 트랜잭션 수준에서의 재사용을 multiplexing이라고 한다. RDS Proxy 가 일시적으로 연결 풀에서 연결을 제거하여 재사용할 경우 해당 작업을 borrowing the connection (연결 대여)라고 한다. 시나리오에 따라서 RDS Proxy는 현재 세션 외부에서 RDS 연결을 재사용하는 것이 안전한 지는 알기 힘들다. 이럴 때 세션이 끝날 때까지 동일한 연결에 세션을 유지한다. 이러한 동작을 pin..