API 안정성 설계 (보호계층, 장애방지, 관측체계)
API 안정성은 단일 기술로 해결되는 문제가 아닙니다. 다양한 전략과 패턴이 결합되어야 비로소 안정적인 시스템을 구축할 수 있습니다. 지금까지 살펴본 다양한 요소들은 각각 독립적인 기능이 아니라, 서로 연결된 구조를 형성합니다. 이 글에서는 API 안정성을 구성하는 핵심 요소를 종합적으로 정리하고, 실무에서 반드시 구축해야 하는 기준을 제시합니다. 서비스가 갑자기 죽었을 때 가장 먼저 드는 생각은 "왜 미리 못 잡았지?"입니다. 저도 새벽에 슬랙 알림을 받고 노트북을 열었던 기억이 있습니다. 알고 보니 외부 결제 API 하나가 느려지면서 연결을 잡고 놓지 않아 전체 서버 스레드가 고갈된 케이스였습니다. Rate Limiting도 없었고, Timeout 설정도 기본값 그대로였습니다. 그때 처음으로 API 안정성 설계가 단순한 '선택 사항'이 아니라는 걸 몸으로 배웠습니다. 기본 보호 계층, 왜 설정하지 않는가 Rate Limiting, Timeout, Retry. 이 세 가지는 API 안정성의 가장 기초적인 보호 계층입니다. Rate Limiting은 단위 시간 내에 허용할 요청 수를 제한하는 방식으로, 트래픽 급증이나 악의적인 과부하 공격으로부터 서버를 지킵니다. Timeout은 응답을 기다리는 최대 시간을 설정하는 것인데, 이게 없으면 느린 외부 서비스 하나가 커넥션 풀 전체를 잠가버릴 수 있습니다. Retry는 일시적 오류에 대해 요청을 자동으로 재시도하는 전략입니다. 그런데 여기서 주의할 점이 있습니다. Retry를 아무 생각 없이 붙이면 오히려 장애를 악화시킵니다. 이미 느린 서버에 재시도가 폭주하면 부하가 기하급수적으로 올라가기 때문입니다. 그래서 Exponential Backoff, 즉 재시도 간격을 점점 늘려가는 방식과 함께 써야 효과가 납니다. 이 조합을 적용하고 나서 저희 팀에서 일시적 오류로 인한 실패율이 체감상 절반 이하로 줄었습니다. 일반적으로 이 설정들은 기본값으로도 충분하다고 생각하는 분...