AWS Parameter Store, 대량의 파라미터 관리 어떻게 해결할까? Go와 Cobra로 만든 CLI 개발기

🔄 반복 작업의 비효율성 해결

`AWS Parameter Store` 는 애플리케이션의 설정 값을 안전하게 관리할 수 있는 강력한 서비스입니다.

그러나 관리 작업에서 효율성을 저해하는 몇 가지 문제가 있었습니다.

이러한 문제를 해결하기 위해 CLI 도구를 개발하여 자동화와 성능 최적화를 목표로 삼았습니다.

반복 작업

여러 환경에 동일한 설정 값을 추가하거나 업데이트하는 작업이 번거롭고, 이를 자동화하여 시간을 절약하고 실수를 줄이고자 했습니다.

대량 파라미터 처리

대량의 파라미터를 효율적으로 처리하기 위해 `병렬 처리`를 활용하여 작업 속도를 최적화했습니다.

Rate Limit 문제

대량 파라미터 처리 중 API 호출 제한이 발생하여 이를 `지수 백오프`와 `랜덤 지터`로 해결했습니다.

수동 처리

콘솔에서 파라미터를 관리하는 과정에서 발생할 수 있는 실수를 방지하기 위해 작업을 자동화했습니다.

---

CLI 개발과 Cobra 프레임워크

이 도구는 Go 언어와 Cobra 프레임워크를 활용하여 설계되었습니다.

특히 Cobra는 효율적이고 직관적인 CLI 개발을 가능하게 하며, 안정성과 확장성을 동시에 제공합니다. 

Cobra는 명령어 기반 CLI 개발을 단순화하면서도 강력한 기능을 제공하는 Go 언어의 표준 프레임워크입니다.

다음과 같은 주요 장점이 있습니다

• 명령어 구조화 : 명령어를 독립적으로 구현하며, 계층적 트리 구조로 확장할 수 있어 복잡한 CLI 설계에 적합합니다.
• 플래그 지원 : 다양한 옵션 플래그(-region, -profile 등)를 추가해 사용자 경험을 개선하고 유연성을 제공합니다.
• 자동 완성 : Zsh, Bash, Fish 등 다양한 쉘 환경에서 명령어 자동 완성 기능을 제공하여 개발 생산성을 높입니다.

또한, Go의 강력한 플랫폼 독립성을 활용해 다양한 환경에 맞춘 바이너리를 손쉽게 생성할 수 있습니다.

# macOS Apple Silicon (M1/M2/M3)
GOOS=darwin GOARCH=arm64 go build -o ssm-silicon-mac

# macOS Intel
GOOS=darwin GOARCH=amd64 go build -o ssm-intel-mac

# Windows
GOOS=windows GOARCH=amd64 go build -o ssm-windows.exe

---

🎯 해결하고자 한 주요 문제

 

반복 작업 자동화

for _, env := range envs {
    go func(env string) {
        params, err := ssmClient.GetParameters(fmt.Sprintf("%s", env))
        if err == nil {
            jsonutil.WriteJSON(fmt.Sprintf("%s.json", env), params, true)
        }
    }(env)
}

🚀 여러 환경에 대해 파라미터를 조회하고 업로드하는 작업을 CLI로 간소화.

---

Rate Limit 문제 완화

baseDelay := 200 * time.Millisecond
for attempt := 1; attempt <= maxRetries; attempt++ {
    err := ssmClient.PutParameters(params)
    if err == nil {
        break
    }
    time.Sleep(baseDelay * time.Duration(1<<attempt) + time.Duration(rand.Int63n(int64(100*time.Millisecond))))
}

🚀 지수 백오프로 재시도 간격을 2배씩 늘리고, 랜덤 지터로 0~100ms의 무작위 지연을 추가해 호출 충돌을 방지합니다.

 

---

작업 속도와 안정성 향상

sem := make(chan struct{}, 5)
var wg sync.WaitGroup
for _, param := range params {
    sem <- struct{}{}
    wg.Add(1)
    go func(param string) {
        defer func() { <-sem }()
        defer wg.Done()
        ssmClient.PutParameter(param)
    }(param)
}
wg.Wait()

🚀 고 루틴과 세마포어를 활용한 동시성 처리로 대규모 작업의 속도 최적화.

 

---

⚡ 성능 최적화를 위한 핵심 방법들

메모리 관리와 재사용으로 효율 향상

Buffered I/O 활용

• 파일 읽기와 쓰기 작업에서 `bufio.NewReader`와 `bufio.NewWriter`를 사용해 메모리를 효율적으로 사용하고 작업 속도를 높였습니다.

reader := bufio.NewReader(file)
decoder := json.NewDecoder(reader)

writer := bufio.NewWriter(file)
encoder := json.NewEncoder(writer)
encoder.SetIndent("", "  ")
encoder.Encode(data)
writer.Flush()

🚀 큰 파일 처리 시 메모리 사용량을 줄이고, 디스크 I/O 작업 시간을 단축.

---

구조체와 포인터의 활용

• AWS SDK 클라이언트를 `SSMClient` 구조체에 캡슐화하여 메모리 재사용성을 높이고, 작업 중 반복 초기화를 방지.

type SSMClient struct {
    client *ssm.Client
    sts    *sts.Client
}

func NewSSMClient(profile, region string) *SSMClient {
    cfg, _ := config.LoadDefaultConfig(context.TODO(),
        config.WithRegion(region),
        config.WithSharedConfigProfile(profile),
    )
    return &SSMClient{
        client: ssm.NewFromConfig(cfg),
        sts:    sts.NewFromConfig(cfg),
    }
}

🚀 AWS 클라이언트를 반복 생성하는 대신 재사용하여 초기화 비용 감소.

---

동시성 처리로 작업 속도 향상

고 루틴과 WaitGroup

• `AWS SSM API` 호출을 고 루틴으로 병렬화하여 작업 속도를 최적화.
• `sync.WaitGroup`을 활용해 병렬 작업의 완료를 동기화.

var wg sync.WaitGroup

for _, param := range params {
    wg.Add(1)
    go func(param string) {
        defer wg.Done()
    }(param)
}
wg.Wait()

🚀 여러 환경의 파라미터를 동시에 조회하거나 업로드하여 처리 속도 증가.

---

세마포어를 활용한 동시 작업 제한

• 채널(`chan struct{}`)을 세마포어로 사용해 병렬 작업 수를 제어.

sem := make(chan struct{}, 5) // 동시 작업 5개 제한
for _, param := range params {
    sem <- struct{}{}
    go func(param string) {
        defer func() { <-sem }()
        // 작업 수행
    }(param)
}

🚀 AWS Rate Limit 초과를 방지하면서도 최대 병렬 작업 처리 가능.

---

지수 백오프와 랜덤 지터로 안정성 확보

• AWS Rate Limit에 도달할 경우, 지수 백오프와 랜덤 지터를 적용한 재시도 로직으로 안정성을 높임.

baseDelay := 200 * time.Millisecond
attempt := 0

for {
    attempt++
    err := ssmClient.PutParameters(map[string]interface{}{paramPath: value}, "")
    if err == nil {
        break
    }

    backoff := baseDelay * time.Duration(1<<uint(attempt))
    jitter := time.Duration(rand.Int63n(int64(100 * time.Millisecond)))
    time.Sleep(backoff + jitter)
}

🚀 AWS API 호출 실패 시 지수 백오프와 랜덤 지터를 활용해 호출 충돌을 방지하며 작업 성공률을 높이는 방식으로 해결.

 

---

JSON 데이터 최적화 처리

• 중첩된 JSON 구조 평탄화 및 재구성:
  • AWS SSM의 파라미터 형식에 맞게 중첩된 JSON 데이터를 평탄화하거나 다시 중첩된 구조로 변환.

  func flattenParameters(prefix string, params interface{}, flatParams map[string]interface{}) {
      switch paramsTyped := params.(type) {
      case map[string]interface{}:
          for key, value := range paramsTyped {
              fullKey := filepath.Join(prefix, key)
              flattenParameters(fullKey, value, flatParams)
          }
      default:
          flatParams[prefix] = params
      }
  }
  

🚀 JSON 데이터의 변환 과정을 자동화하여 개발자의 수작업 부담 감소.

---

CLI 설계와 사용자 경험 강화

• 명령어 설계와 플래그 관리
  • Cobra 프레임워크를 활용해 직관적인 CLI 명령어 설계.

  var rootCmd = &cobra.Command{
      Use:   "ssm",
      Short: "AWS SSM Parameter Store 관리 CLI",
  }
  
  func init() {
      rootCmd.AddCommand(getCmd, putCmd, completionCmd, versionCmd)
  }
  

🚀 사용자 친화적 명령어와 플래그를 통해 CLI 접근성 향상.

---

🖱️ AWS 콘솔? 그거 아직도 써요?

이 CLI 도구를 통해 다음과 같은 결과를 얻을 수 있었습니다

 

⏱️ 시간 절약: 반복 작업 자동화로 수작업 시간을 대폭 절감했습니다.

🚀 속도 업그레이드: 병렬 처리와 동시성 최적화로 작업 효율을 크게 향상시켰습니다.

🔒 안정성 강화: Rate Limit 문제를 지수 백오프와 랜덤 지터로 해결하며 작업의 안정성을 확보했습니다.

 

이제 반복 작업의 부담에서 벗어나, 더 중요한 문제에 집중할 수 있게 되었습니다.

그리고 무엇보다, 매번 Console을 열지 않아도 된다는 점은 말할 필요도 없겠죠? 😊