@Async로 이메일 전송을 Async-NonBlocking 처리하기: 쓰레드 풀 설정과 API 응답 속도 99% 개선

@Async 를 도입하며 컨텍스트 스위칭과 쓰레드 메모리 구조 지식을 바탕으로 쓰레드 풀 설정을 학습하고 적용하는 과정을 소개하며 Jmeter 를 통해 API 응답 속도가 개선되었는지 확인하는 과정을 다음과 같은 목차로 소개합니다.

이메일 전송을 비동기로 결정한 이유

쓰레드 풀 사용 여부 고려

쓰레드 풀 설정 고려 사항

쓰레드 풀 설정

ThreadPoolTaskExecutor 동작 방식

쓰레드 풀 오류 처리 설정

Jmeter 로 @Async 도입 적용 전과 후의 API 응답 시간을 비교

@Async 사용 시 주의점

 

이메일 전송을 비동기로 결정한 이유

에어비앤비 클론 프로젝트에서는 이메일 인증 기반의 회원가입/로그인을 진행하고 있습니다.

 

이메일 전송에는 Spring Mail의 JavaMailSender를 사용하고 있으며, 이는 동기 API입니다.

즉, 메일을 보내기 위해 서비스가 메일 서버와 TCP/IP 연결을 설정하고 SMTP 프로토콜로 요청을 보내야 합니다.

메일을 보내지 못했다면 클라이언트에게 "메일을 보내지 못했습니다" 라고 응답을 보낼 필요가 없다고 생각했습니다.

그래서, 메일 서버의 응답을 기다리지 않고 비동기로 처리하기로 결정했습니다.

동기 방식의 API 응답 과정

 

그래서, 메일 전송에는 @Async를 사용하여 비동기 처리를 적용하고, 메일 서버의 API 응답을 Non-blocking 방식으로 처리하여 응답 속도를 개선하기로 결정했습니다.

@Async 관련 내용은 Baeldung에서 학습했습니다.

인증 메일 전송은 비동기 쓰레드에서 실행, 200 OK 응답은 Non-Blocking 처리하는 도식화

 

쓰레드 풀 사용 여부 고려

Spring의 @Async는 기본적으로 SimpleAsyncTaskExecutor를 사용합니다.

이는 요청마다 새로운 스레드를 생성해 작업을 할당하므로, 10개의 요청이 들어오면 10개의 스레드가 생성됩니다.

 

하지만 서비스 특성상 메일 전송 작업은 주로 회원가입 시에만 발생하며, 빈번하게 일어나지 않습니다.

이 때문에, 쓰레드 풀을 만들어 유휴 상태의 스레드를 미리 유지하는 것은 오히려 메모리 오버헤드가 발생할 수 있다고 판단했습니다.(쓰레드마다 고유의 스택 메모리를 차지하기 때문입니다)

 

반면, 쓰레드 풀을 사용하지 않으면 최악의 경우 100개의 요청이 동시에 들어와 100개의 스레드가 생성될 수 있습니다.

이는 메모리 오버헤드를 초래할 뿐만 아니라, 스레드 수가 많아짐에 따라 과도한 컨텍스트 스위칭으로 인해 CPU 오버헤드도 발생하게 됩니다.

 

따라서, 최악의 경우를 대비해 무리하게 스레드를 생성하기보다는, 쓰레드 풀을 사용하여 스레드 수를 적정 수준으로 제한하는 방안을 선택했습니다.

 

쓰레드 풀 설정 고려 사항

해당 부분을  쉬운코드 - 쓰레드 풀 영상을 보며 정리했습니다.

 

1. 쓰레드 풀의 쓰레드 개수 설정

쓰레드 풀에서 사용할 쓰레드 개수는 CPU의 개수와 작업(task)의 유형에 따라 달라집니다.

• CPU-bound 작업
  • CPU 코어 수와 같거나 1~2개 많은 정도로 설정하는 것이 일반적입니다.
• I/O-bound 작업
  • I/O 작업은 CPU에 덜 의존하므로, 코어 수의 1.5배, 2배, 혹은 3배 정도로 설정해도 무방합니다.
  • 이 수치는 경험적으로 최적의 성능을 찾기 위해 조정할 수 있습니다.

2. 쓰레드 풀의 Queue 사이즈 설정

Queue의 사이즈가 무한대인 경우 Queue에 요청이 지속해서 쌓이게 되며 Queue의 사이즈가 매우 커져 OOME가 발생하는 잠재 요인입니다.

Queue의 사이즈에 제한을 두어, 특정 요청이 초과되더라도 서버 전체에 문제가 발생하지 않도록 하는 것이 중요합니다.

 

자바의 Executors.newFixedThreadPool()도 기본 Queue 크기는 Integer.MAX_VALUE(약 20억)로, 제한 없이 요청이 누적될 수 있어 메모리 문제가 발생할 수 있습니다.

 

쓰레드 풀 설정

이제 2가지 고려사항을 바탕으로 이메일 전송 작업을 위한 쓰레드 풀을 설정해보겠습니다.

 

1. 쓰레드 개수 설정

linux의 lscpu 명령어를 사용해 CPU 아키텍처를 확인했습니다.

Socket(s): 1

• 물리적인 CPU 개수가 1개입니다.

Core(s) per socket: 8

• 물리적인 CPU 1개에 8개의 코어가 있습니다.

Thread(s) per core: 2

• 코어 1개당 2개의 쓰레드를 처리할 수 있습니다.

CPU(s): 16

• 논리적인 CPU 개수가 16개입니다.
• 1개의 CPU가 8개의 코어를 가지고 있고, 각각의 코어가 2개의 쓰레드를 처리합니다.

그래서, I/O-bound 작업인 메일 전송 작업을 위해 쓰레드 풀의 최대 쓰레드 수는 논리 CPU 개수인 16으로, 기본 쓰레드 수는 8개의 코어 의 1.5배인 12로 설정했습니다.

 

2. Queue사이즈 제한하기

Spring 의 쓰레드풀인 ThreadPoolTaskExecutor 를 사용하겠습니다.

해당 코드를 까보면 Queue 사이즈가 제한이 없으므로(int queueCapacity = Integer.MAX_VALUE), Queue 사이즈를 정해야 합니다.

 

이메일 인증 보내는 작업이 동시에 많진 않다고 생각해서 임의의 숫자인 50으로 정했습니다.

 

쓰레드 풀 설정 전체 코드입니다.

@EnableAsync
@Configuration
public class MailConfig implements AsyncConfigurer {

    @Override
    @Bean
    public Executor getAsyncExecutor() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();

        executor.setCorePoolSize(12); // 기본 쓰레드 개수
        executor.setMaxPoolSize(16);  // 최대 쓰레드 풀 개수  
        executor.setQueueCapacity(50);  // 최대 Queue Size
        executor.setThreadNamePrefix("MailExecutor-"); // 쓰레드 풀의 쓰레드 이름
        executor.initialize();          // custom 한 설정들을 쓰레드 풀에 반영
        
        return executor;
    }
}

 

ThreadPoolTaskExecutor 동작 방식

스프링이 지원하는 ThreadPool 인 ThreadPoolTaskExecutor 는 어떻게 작동원리에 대해 알아봅니다.

해당 블로그는 ThreadPoolExecutor 동작 방식 및 주의 사항 에서 설명하지만 Spring 의 ThreadPoolTaskExecutor 은 내부 구현으로 Java의 ThreadPoolExecutor 을 사용하며, 단지 Spring 에 사용하기 쉽도록 추상화된 것으로 작동 메커니즘은 동일합니다.

(출처 : Difference and suggest ThreadPoolTaskExecutor and ThreadPoolExecutor)

 

ThreadPoolExecutor의 작동 메커니즘을 요약하면 다음과 같습니다

• 기본 스레드 생성: setCorePoolSize(12)로 설정된 기본 스레드 수(12개)만큼 스레드가 생성됩니다.
• 큐에 작업 추가: 만약 동시에 12개 이상의 요청이 들어오면, 추가 작업은 대기열(Queue)에 저장됩니다.
• 스레드 풀 확장: 대기열이 가득 차면, setMaxPoolSize()로 설정된 최대 스레드 수까지 스레드 풀을 확장하여 추가 요청을 처리합니다.
• 유휴 스레드 제거: 최대 스레드 수만큼 스레드가 생성되었다가 유휴 상태가 되면, 60초(기본 설정) 후에 유휴 스레드가 점차 제거되어, 스레드 풀은 setCorePoolSize()로 설정된 기본 스레드 수로 돌아갑니다.
• 작업 거부: 대기열이 가득 차고 스레드 수가 MaxPoolSize에 도달한 후에도 새로운 요청이 들어오면 RejectedExecutionException 예외가 발생하며 해당 작업은 거절됩니다.

RejectedExecutionException 에 대한 예외 처리는 메일 보내는 기능에 중요하지 않다고 생각하여 처리하지 않고, 뒤 이어 소개할  AsyncUncaughtExceptionHandler 를 사용해서 로그만 남기도록 했습니다.

 

쓰레드 풀 오류 처리 설정

@Async(비동기)로 처리되는 메서드에서 발생할 수 있는 오류는 어떻게 처리할까요?

Baeldung에 따르면, 비동기 메서드의 반환 타입이 Future인 경우 Future.get()을 통해 런타임 예외를 잡아 핸들링할 수 있습니다. 하지만, 비동기 메서드가 void 반환 타입인 경우에는 런타임 예외가 무시됩니다.

@Async가 있는 메서드 반환 타입이 void 라 예외 전파 X

 

저의 비동기가 적용될 메서드는 void 반환타입 이기 때문에, 비동기 처리 중 예외가 발생할 때 이를 인지할 수 있도록 AsyncUncaughtExceptionHandler 메서드를 오버라이드하여 log.error로 예외를 기록하는 방식으로 예외를 처리합니다.

 

오버라이딩을 하지 않으면, 아래와 같은 다양한 예외가 발생할 수 있으며 이러한 예외는 AsyncUncaughtExceptionHandler를 통해 관리할 수 있습니다.

org.springframework.mail.MailSendException: Mail server connection failed. Failed messages: jakarta.mail.MessagingException: Could not connect to SMTP host: smtp.naver.com, port: 465;
Caused by: jakarta.mail.MessagingException: Could not connect to SMTP host: smtp.naver.com, port: 465
Caused by: javax.net.ssl.SSLHandshakeException: Remote host terminated the handshake
Caused by: java.io.EOFException: SSL peer shut down incorrectly

 

AsyncUncaughtExceptionHandler 를 오버라이딩합니다.

@EnableAsync
@Configuration
public class MailConfig implements AsyncConfigurer {

    ...쓰레드풀 설정...
    
    @Override
    public AsyncUncaughtExceptionHandler getAsyncUncaughtExceptionHandler() {
        return (ex, method, params) -> log.error("[메일 쓰레드 풀 에러] 발생 위치={}", method.toGenericString());
    }
}

 

Jmeter 로 @Async 도입 적용 전과 후의 API 응답 시간을 비교

이제, Jmeter 로 비동기로 처리 됐을 때의, 이메일을 보내는 API 를 호출하며 성공적인지 알아보겠습니다.

 

동기 방식

• 쓰레드 풀의 크기에 맞춰 12개의 요청(Request)을 보낸 결과, 평균 응답 시간은 0.7초, 최대 응답 시간은 1.4초였으며, 초당 처리량(TPS)은 6으로 측정되었습니다

 

비동기 방식

• 동일한 요청 수에서 평균 응답 시간이 0.007초, 최대 응답 시간이 0.01초로 줄었으며, 초당 처리량(TPS)은 13으로 증가했습니다

 

이 결과로, 비동기 방식으로 전환함으로써 평균 응답 시간이 약 99% 감소했으며, 최대 응답 시간 역시 99% 이상 단축되었습니다.

 

@Async 사용 시 주의점

1. 쓰레드 풀의 쓰레드 개수와 Queue 사이즈 설정하기

2. @Async 는 Spring 어노테이션으로 Spring AOP 프록시 기반으로 작동하기 때문에, AOP 사용 시 주의점인 self-invocation(자기 호출) 과 private 메서드일 때, 적용되지 않습니다.

 

 

 

....

youtube 를 보며 재밌었던 쓰레드 풀 사진으로 마무리하겠습니다. 

이미지 출처: https://www.youtube.com/watch?v=YiTm0Pxvq30

출처

테코블 - 이메일 비동기