이전에 대량의 엑셀다운로드 처리 중 cpu가 급증하는 문제가 생겨 이를 해결한 내용을 다룬 적이 있는데요 그땐 시간이 없어서 그냥 XSSF에서 SXSSF로 바꾸면 되는구나~라고만 하고 넘어갔는데 SXSSF 컴포넌트는 어떻게 메모리를 관리하는건지 궁금해져서 공식문서를 다시 찬찬히 읽어봤습니다 이전 포스팅 👇 [Apache POI] 다량의 데이터 엑셀 다운로드 처리로 인한 서버 장애 대응 후기 스테이징 QA 도중 갑자기 사이트의 모든 기능이 먹통이 됐다는 소식을 들었습니다. 확인해보니 CPU 사용량이 급증하여 서버가 다운됐던 것이었습니다. 우선 서버를 재부팅하여 먹통 문제는 해결 jibsakim.tistory.com 공식문서에서의 SXSSF에 대한 설명을 보면 슬라이딩 윈도우(sliding window)가 ..
스테이징 QA 도중 갑자기 사이트의 모든 기능이 먹통이 됐다는 소식을 들었습니다. 확인해보니 CPU 사용량이 급증하여 서버가 다운됐던 것이었습니다. 우선 서버를 재부팅하여 먹통 문제는 해결하였고, 원인을 찾아 나섰습니다. 지난 새벽 배포 때 다른 서버(노드)에서 몇만건정도의 데이터 엑셀 다운로드를 몇차례 시도했을때도 CPU 사용량이 급증했던 것이 기억나서 그 부분을 이번 서버(자바)에서도 확인해보기로 했습니다. 엑셀 다운로드 시도할 때마다 CPU 사용량이 급증하는 것을 확인했습니다. RDS는 이상 없고 EC2만 다운된 걸로 보아 서비스단에서 다량의 데이터를 처리하다 무언가 과부하가 걸렸을 것으로 추측했습니다. 로컬에서 상용DB를 연결하여 재현해보니 아래와 같은 에러 로그가 발생했습니다. org.apach..
- Total
- Today
- Yesterday
- NoSQL
- php
- laravel 테스트
- 라라벨
- laravel
- 쿠버네티스
- java
- pods
- redis
- 몽고디비
- Apache POI
- 백엔드
- laravel 테스트코드
- kubernetes
- 샤딩
- 대규모 데이터 처리
- phpUnit
- mongoDB
- 도커
- 분산처리
- k8s
- 샤드
- database
- docker
- 주니어개발자
- springboot
- mockery
- MySQL
- index
- 리눅스 컨테이너
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |