본문 바로가기

전체 글

(68)

[리뷰] "성공과 실패를 결정하는 1%의 네트워크 원리" 읽게 된 계기애플리케이션 백엔드 개발과 서버 인프라 업무를 하며 아래 같은 궁금증이 생겼다.한 서버에서 두 프로세스 간 HTTP 호출(localhost 호출) 시 재시도 로직을 추가해야 할까?같은 서브넷에서 서버 to 서버로 200GB 파일을 옮겨야 했다. 무엇을 고려해야 할까?소켓은 무엇인가? OS의 프로토콜 스택에서 수신한 데이터를 어떤 프로세스로 전달할지 어떻게 알까?대규모 시스템의 리눅스 서버에서 파일 디스크립터를 왜 늘려야 할까?NAT는 어떻게 동작하는가?이러한 궁금증을 요즘은 AI로도 해결할 수 있지만, 내 지식으로는 AI가 하는 말을 검증할 수 없어서 직접 책을 읽기로 결정했다. 책 리뷰와 함께 궁금했던 것들에 스스로 답변해보고자 한다. 출퇴근 시간과 식사 시간 틈틈이 읽었고 3주 정도 걸린..

Opensearch 에 Index State Management를 적용해 수집한 로그 관리하기 OpenSearch는 Kibana 대체로 OpenSearch Dashboard를 제공한다. 로그 수집을 위해 OpenSearch를 쓴다면, 인덱스에 무한정 로그가 쌓여 디스크를 잡아먹는 문제가 생긴다. ISM(Index State Management)은 이 인덱스를 비즈니스 요구사항에 맞게 자동으로 관리해주는 기능이다. (Kibana에서는 ILM(Index Lifecycle Management)이라고 부른다.) 이 글의 목적은 ISM을 어떻게 설정하는지 빠르게 알고, 중요한 어떤 Policy(State + Action + Transition)를 설계할지 고민하는 데 시간을 투자할 수 있게 하는 것이다.ISM 구성 요소ISM은 크게 아래 4가지로 구성됩니다.Policy인덱스 생명주기 정책 전체를 정의하는 ..

Spring 에서 SSE Spec 충족시키기 SSE 의 Spec 은 id, event, data, retry 로 정해져있습니다.(SSE(Server-Sent Events) Spec 은 정해져 있다)Spring 에서는 SSE Spec 을 Flux 또는 SseEmitter 를 활용해 Spec 을 충족시킬 수 있습니다. 이를 알아보고자 합니다. 1. FluxSSE는 서버가 클라이언트에게 데이터를 지속적으로 흘려보내는 구조입니다. "데이터를 흘려보낸다"라는 개념을 프로그래밍으로 표현하기 위한 표준 명세로 리액티브 스트림즈(Reactive Streams) 가 있습니다.리액티브 스트림즈는 데이터를 발행(Publisher) → 구독(Subscriber) 흐름으로 처리하며, 이를 구현한 라이브러리가 Project Reactor이고 그 핵심 타입이 Flux와 Mo..

Spring MVC 에서 Flux<T> 를 반환하면 어떻게 처리할까? Spring MVC에서 비동기 스택을 지원하게 되면서 SSE를 구현하거나 WebClient를 사용할 때 Flux를 활용할 수 있습니다. 이때 Flux를 컨트롤러에서 반환하면 MVC가 내부적으로 어떻게 처리하는지 알아보겠습니다. 아래 내용은 Flux의 발행/구독 모델을 이해하면 더 쉽게 이해할 수 있으며 Spring Boot 3.x 기반입니다. 1. Web과 WebFlux 의존성을 같이 사용하면?Spring Boot에서 spring-boot-starter-web과 spring-boot-starter-webflux 의존성을 함께 추가하면 Boot의 자동 구성에 의해 MVC(Tomcat)로 띄워집니다.dependencies { implementation 'org.springframework.boot:..

SSE(Server-Sent Events) Spec 은 정해져 있다 서버 관련 예시 코드는 Java/Spring 으로 진행되며, SSE Spec(응답 형식)에 대해 알아보는 것으로 서버에서 SSE 구현 방법에는 다음 글을 참고해주세요. 클라이언트 예시 코드에 대해 더 알고싶다면 '참고' 의 상단 2개 링크를 참고해주세요. 0. SSE 의 Spec은 정해져 있다.SSE는 HTML 스펙(WHATWG) 에 정의되어 있고, HTTP 스펙(IETF)과는 별개입니다.WHATWG → SSE (EventSource, Event Stream 포맷) 정의IETF → HTTP/1.1, HTTP/2, HTTP/3 정의 HTTP 버전에 따라 달라지는 건 SSE 의 Spec이 아니라 HTTP가 SSE를 전달하는 방식입니다. 예를 들어 HTTP/2.0 과 HTTP/1.1 은 데이터 전달 방식이..

Spring Boot의 Graceful Shutdown 옵션을 Async용 쓰레드 풀과 함께 쓰면 어떻게 될까? (SmartLifeCycle, Phased 와 함께 timeout-per-shutdown-phase 오해 바로잡기) 이 글에서는 Graceful Shutdown을 "우아한 종료"로 언급합니다. 1. 우아한 종료 테스트 환경 설정 우아한 종료 테스트는 IDE에서 실행 시 원활하게 동작하지 않는다고 설명되어 있어, Linux 서버에서 jar를 수동으로 종료하며 테스트를 진행했습니다.Using graceful shutdown with your IDE may not work properly if it does not send a proper SIGTERM signal. See the documentation of your IDE for more details. 1.1 application.yml 설정 application.yml에 우아한 종료를 설정하였습니다. 스프링 부트 3.4부터는 우아한 종료가 기본으로 설정되며, ..

Disk I/O 바운드 서버를 위한 페이지 캐시(Page Cache) "웹 개발자를 위한 대규모 서비스를 지탱하는 기술"의 내용을 재구성했습니다. 페이지 캐시란?OS는 디스크 액세스를 줄이기 위해 메모리를 활용합니다.프로세스 A가 데이터를 읽고 난 후, 더 이상 그 데이터가 필요 없어졌다고 해서 OS는 메모리에서 바로 해제하지 않습니다.메모리에 데이터를 그대로 남겨두는데, 이것이 바로 페이지 캐시입니다. 이 덕분에 프로세스 B가 데이터를 필요할 때 디스크를 다시 읽지 않고 메모리에서 바로 가져올 수 있게 됩니다. * OS의 파일 시스템마다 디스크 읽는 방법이 다를텐데?리눅스에는 ext3, ext2 같은 여러 파일 시스템이 있고 각각 디스크를 읽는 방법이 다르지만, VFS(Virtual File System)가 어떤 파일 시스템을 사용하든 페이지 캐시를 동일하게 제공해준다고..

search_after API 로 OpenSearch에서 10,000건 이상 Pagination 안되는 문제 해결하기 best practice 가 아닐 수 있습니다. 참고 해주시면 감사하겠습니다.문제 상황OpenSearch에서 from과 size를 활용해 페이징 쿼리를 요청하던 중, 데이터가 10,000건을 넘어가면서 다음과 같은 에러가 발생했습니다."Result window is too large, from + size must be less than or equal to: [10000] but was [10008]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level setting."OpenSearch(El..

이전 1 2 3 4 ··· 9 다음

티스토리툴바