DevOps Tasks

Overview기존 시스템에서는 Lambda 간 호출과 API Gateway에서 발생하는 Timeout 문제로 인해 안정성과 성능 저하를 경험했습니다. 특히, Lambda 함수 간 호출 시 외부 네트워크 경로를 거치며 발생하는 Timeout 제한과 GPT 전처리 작업의 추가로 인해 API Gateway의 Timeout이 빈번하게 발생했습니다. 이를 해결하기 위해 AWS Step Functions를 도입하여 Lambda 호출 간 발생하는 타임아웃을 해결하고, 동시에 시스템의 동시성 제어 및 성능을 최적화했습니다. Step Functions의 비동기 처리와 병렬 작업 관리를 통해 API Gateway의 제한을 극복하고 Lambda의 과부하를 방지하며, 작업 재시도 및 대기 기능으로 시스템의 안정성을 더욱 강..

개요Kubernetes에서 리소스를 삭제할 때 예상보다 시간이 오래 걸리거나 삭제가 지연되는 상황이 발생할 수 있습니다.이는 Finalizer라는 메커니즘 때문일 수 있습니다.이 글에서는 Finalizer가 무엇인지, 삭제 지연의 원인, 그리고 이러한 상황을 효과적으로 처리하는 방법을 설명합니다.  Finalizer란 무엇인가?Finalizer는 Kubernetes 리소스의 metadata.finalizers 필드에 포함된 항목으로, 리소스가 완전히 삭제되기 전에 수행해야 할 정리 작업을 정의합니다.이는 종속된 리소스의 손실을 방지하거나 적절한 정리를 보장하기 위한 안전장치 역할을 합니다. 동작 방식리소스 삭제 요청 시, Kubernetes는 deletionTimestamp를 설정하지만 즉시 삭제하지 않..

DynamoDB는 AWS에서 제공하는 NoSQL 데이터베이스로, 짧은 대기 시간과 고가용성을 제공하여 원활한 확장이 필요한 애플리케이션에 최적의 선택입니다.AWS는 DynamoDB를 통해 증가하는 워크로드를 손쉽게 처리할 수 있도록 다양한 기능을 제공합니다.Athena는 AWS 생태계 내에서 강력한 데이터 분석 도구로, 사용자가 익숙한 SQL을 사용하여 다양한 데이터 소스를 쿼리 할 수 있게 해 줍니다.BI 작업이나 기타 분석 작업을 수행할 때, Athena는 프로세스를 단순화하고 데이터에서 인사이트를 도출할 수 있는 기능을 제공합니다.이제 DynamoDB의 정보를 시각화해야 하는 요구가 생겼습니다.아래와 같은 흐름을 통해, DynamoDB에 있는 데이터를 Athena로 옮기고 S3에 저장한 후, Qui..

Overview아래의 Terraform 코드는 AWS API Gateway에서 사용자 지정 도메인을 설정하고, 이를 위해 ACM 인증서를 발급하며, 도메인 검증을 위한 Route 53 레코드를 생성하는 과정을 자동화한다.이 과정은 수동으로 CNAME 레코드를 등록해야 하는 번거로움을 없애준다.각 리소스는 특정 역할을 가지며, 순차적으로 종속성을 설정하여 올바른 순서대로 실행된다. aws_acm_certificate 리소스resource "aws_acm_certificate" "example" { domain_name = var.custom_domain_name validation_method = "DNS" tags = { Name = "API Gateway Certificate" ..