로컬에서 Docker를 활용한 Prometheus & Grafana 연동 방법

OS환경에 구애받지 않는 모니터링 구축을 소개하는 글입니다.
Docker-compose, Actuator, 프로메테우스, 그라파나에 대한 기본 설명과 모니터링 아키텍처에 대한 설명은 하지 않고 연동하는 방법만 소개합니다.

프로메테우스 & 그라파나 도입 소개

Jmeter 를 사용해서 사이드 프로젝트에 부하테스트를 진행해보려고 계획중입니다.

어떤 부하테스트를 시작했을 때 톰캣의 쓰레드 풀의 문제인지, DB 커넥션 풀이 문제인지, 내 노트북 CPU 문제인지, 메모리 문제인지를 확인하고 싶었고 해당 문제에 맞게 해결을 하고 싶었습니다.

 

스프링부트에서 지원하는 간단한 모니터링 모듈인 Actuator 는 메트릭(지표)들이 저장이 되지 않는 점과 모니터링 서버를 실제 운영하는 것처럼 서버를 구축하고 싶었기 때문에 프로메테우스 & 그라파나를 프로젝트에 도입하길 선택하였습니다.

Docker-compose 도입 소개

프로메테우스와 그라파나를 사용하기 위해 로컬 OS에 맞는 파일을 다운로드해야 합니다.

하지만, 이렇게 진행하면 배포했을 때 역시, 똑같은 과정을 2번 거쳐야 하기 때문에 배포 후의 모니터링 서버 역시 docker 를 사용하고자 여러 컨테이너를 묶어서 띄울 수 있는 Docker의 compose 기능을 도입하기로 결정하였습니다.

 

한 컨테이너에 하나의 image 를 띄우는 docker 특성 상 로컬 환경에서 Mysql, redis 도 컨테이너로 띄워서 개발을 진행하고 있었습니다. 그래서 여러 개의 컨테이너를 띄울 수 있는 docker-compose 기능을 활용하기로 결정하였습니다.

로컬 서버에 프로메테우스 연동 과정

1. build.gradle 에 Actuator 와 micrometer 라이브러리 추가

Boot 가 dependency-management 란 plug-in 을 통해 라이브러리 버전을 자동으로 관리해준다는 가정 하에 버전 명시 없이 의존성을 추가해줍니다.

implementation 'org.springframework.boot:spring-boot-starter-actuator'
implementation 'io.micrometer:micrometer-registry-prometheus'

2번 째 의존성은 모니터링 툴마다 메트릭의 포맷(양식)이 다른데, 이 micrometer 라는 라이브러리는 프로메테우스 툴이 사용하는 메트릭 포맷에 맞춰 메트릭을 변경시켜 줍니다.

micrometer 를 인터페이스, 프로메테우스를 구현체라 생각하시면 이해하기 쉬울 것입니다.

다른 구현체로는 스프링의 Actuator 등등이 있습니다.

 

2. application.yml 에 Spring Actuator 엔드포인트 추가

• Spring Actuator 의 엔드포인트들은 기본적으로 활성화 되어있기 때문에 노출하고 싶은 엔드포인트의 노출 여부를 결정하고, 저는 모든 엔드 포인트의 노출을 결정했습니다.
  • 프로메테우스가 저장할 메트릭들은 Spring Actuator 를 통해 수집하기 때문에 엔드포인트들을 노출해줍니다.
• 액츄에이터의 보안을 높이기 위해 액츄에이터의 포트를 8080포트 에서 9292포트로 변경했습니다. 
  • AWS 를 사용해서 배포했을 때를 고려, EC2의 인바운드에 9292포트는 허용하지 않도록 합니다. 
• 저는 모든 엔드포인트가 HTTP 를 이용한 웹에 노출되길 원했고, 톰캣 쓰레드 풀의 최대 쓰레드 수, 사용 쓰레드 수도 보기 위해 #톰캣 관련 메트릭을 추가하였습니다.

management:
  endpoints:
    web:
      exposure:
        include: "*"
  # 액츄에이터 포트 변경      
  server:
    port: 9292

# 톰캣 관련 메트릭
server:
  tomcat:
    mbeanregistry:
      enabled: true

 

3. prometheus.yml 을 작성

어떤 IP 와 포트를 통해 어떤 애플리케이션의 메트릭을 수집해야 할지 prometheus.yml 을 통해 프로메테우스 서버에게 정보를 제공합니다.

 

저의 프로젝트 루트 디렉토리에는 Docker 파일들과 Git 파일, 환경변수 파일들이 있었기 때문에 루트 디렉토리 하위에 monitoring 이라는 custom한 디렉토리를 만들어 yml 파일을 작성해주었습니다.(/monitoring/prometheus.yml)

 

만약 저처럼, prometheus.yml 파일 위치를 custom 하게 할 경우, docker-compose.yml 작성 시 prometheus.yml 파일 위치를 명시 해주기만 하면 됩니다.

 

그리고, 해당 코드를 yml 에 넣습니다.

14라인이전의 내용은 로컬에 프로메테우스를 설치했을 때의 prometheus.yml 의 기본값으로 바꾸지 않습니다.

global:
  scrape_interval: 15s
  evaluation_interval: 15s
  
alerting:
  alertmanagers:
    - static_configs:
        - targets:

rule_files:
scrape_configs:
  - job_name: "prometheus"
    static_configs:
      - targets: ["localhost:9090"]    << 14라인

  - job_name: "spring-actuator"          // 수집하는 이름으로 임의의 이름
    metrics_path: '/actuator/prometheus' // 수집할 경로를 지정
    scrape_interval: 1m                  // 수집할 주기를 설정 1m은 1분, 1s는 1초
    static_configs:                      
      - targets: ['host.docker.internal:9292']      // 수집할 서버의 IP, PORT 를 지정, application.yml 에 포트를 9292로 지정했음

• -job name:
  • Spring Actuator 도 프로메테우스 관련 메트릭을 수집합니다. 그리고, 이 메트릭을 /actuator/prometheus 경로로 볼 수 있고, 이 경로에 있는 메트릭을 프로메테우스가 수집하며 프로메테우스의 메트릭 수집 이름을 지정합니다.
• targets:
  • 프로메테우스를 docker 로 띄웠을 때, 사용자 컴퓨터와 docker 컨테이너의 네트워크는 서로 다른 네트워크를 가지게 됩니다.
  • 이 때, 도커 컨테이너 내부에서 로컬호스트로 요청을 보낼 때의 도메인을 localhost 가 아닌 host.docker.internal 로 해주어야 컨테이너 내부에서 로컬 호스트로 요청이 가능하게 됩니다.

 

4. docker-compose.yml 작성

• volumes:
  • prometheus.yml 가 있는 경로를 도커 컨테이너의 /etc/prometheus/prometheus.yml 에 마운트를 해서 도커 컨테이너에서도 파일을 사용할 수 있게 해줍니다.
• ports: 
  • 포트 포워딩은 프로메테우스의 기본 포트인 9090으로 진행합니다.

services:
  airdnb-prometheus:
    image: prom/prometheus
    volumes:
      - ./monitoring/prometheus.yml:/etc/prometheus/prometheus.yml  # ./monitoring/prometheus.yml 은 prometheus.yml 파일의 경로 지정
    ports:
      - 9090:9090

 

5. 실행

• docker compose up -d 명령어를 치거나 docker-compose.yml 의 프로메테우스 컨테이너 실행버튼을 누릅니다.
• localhost:9090 에 접속하여 Status 목록의 Targets 란에서 프로메테우스가 부트와 잘 연결되었는지 확인합니다.
• localhost:9292/actuator 에 접속하여 Actuator의 메트릭들을 HTTP로 확인 할 수 있는지도 확인합니다. 

 

성공 화면

 

프로메테우스에 그라파나 연동 과정

1. docker-compose.yml 에 그라파나 컨테이너 추가

yml파일에 image 와 port 를 추가합니다.

그라파나의 기본 포트는 3000 입니다.

services:
  airdnb-local-prometheus:
    image: prom/prometheus
    volumes:
      - ./monitoring/prometheus.yml:/etc/prometheus/prometheus.yml
    ports:
      - 9090:9090
  
  # 추가
  airdnb-local-grafana:
    image: grafana/grafana
    ports:
      - 3000:3000

 

2. 그라파나에 프로테메우스 DataSource 추가하기

• localhost:3000 을 입력해서 그라파나에 접속
• ID : admin , PW : admin 으로 그라파나에 로그인
• Home > Connections > Data sources > prometheus 에 접속합니다.
• 아래 사진의 Connection 에도 http://localhost:9090 이 아닌 http://host.docker.internal:9090 을 입력합니다.(사진 4)
  • 그라파나도 도커로 띄웠기 때문에 도커 내부에서 host 로 9090 포트로 요청을 보내면 host 9090 포트에 연결된 프로메테우스에게 연결이 도착하게 됩니다.(사진 5)

사진 4. 그라파나에 프로메테우스 연동

사진 5. http://host.docker.internal:9090 요청 시 네트워크 경로, ** 사진에서 1번 경로의 host 9000포트가 아니라 9090포트입니다.

 

host.docker.internal 를 사용해서 localhost로 매핑되는건 windows 또는 mac에서만 가능하고 linux에서는 도커 버전 Docker-for-Linux 20.10.0+ 를 사용해야 합니다.

 

* 참고

From inside of a Docker container, how do I connect to the localhost of the machine?

How to reach localhost on host from docker container?