[Cloud] Cloud Service Provider(AWS, GCP, Azure) API 사용 이슈에 대한 장애 대응 사례 정리
장애 대응 사례 정리
환경
- Cloud Service Provider(AWS, GCP, Azure)
- API
배경
- 운영중인 서비스에서 사용하는 Cloud Service Provider의 API가 제대로 작동하지 않아 이슈가 발생한적이 있어서 정리해보면 좋을거 같아 정리한다.
- 사용했던 CSP의 경우 AWS, GCP, Azure 중에 하나지만 특정해서 적으면 약간 Blame하는 느낌이 들수 있어서 CSP로 표현
타임라인
- 5/20 08:30: Slack에 운영중인 실데이터 수집 이슈 알림
- 5/20: 이슈 파악 작업 진행
- 5/21: 이슈 파악 후 CSP에 Support Case 작성
- 5/22: CSP에서 이슈 해결되어 정상 동작 확인
- 5/23: 이슈 해결
이슈 및 원인
- 사용중인 CSP의 API 호출 결과에 일부 내역이 누락되는 현상 발생
영향도
- 운영중인 Daily 실데이터 수집 장애로 이후 연결된 파이프라인 및 서비스에서 장애 발생
조치 이력
- 이슈 발생 후 수동으로 작업해서 실데이터 추출을 내보냈다고 표시를 할 수 있는 fin파일을 수동으로 생성
- CSP 이슈로 판단하여 Support Case 작성
해결
- CSP에서 해당 API 이슈를 해결함을 통해 이슈는 해결됨
회고
- CSP 같은 곳은 서비스나 어떤 소프트웨어를 만들 때 이슈가 없을거라고 당연히 가정하고 개발을 했었는데 이러한 생각을 바꿀 필요도 있을거 같다.
- 이전에 2022년 10월 15일에 데이터 센터 화재로 카카오 서비스가 장애가 발생해 대응한 사례가 있었는데 이를 다시 공부해봤다. 아래 참고자료에 해당 유튜브 링크를 올린다.