AWS CodeDeploy, Docker 이용한 무중단 배포

🎈 배포 구조

기능과 관련된 부가적인 외부 API 등은 제외하고 대략적인 구조는 다음 그림과 같게 된다. 

배포는 Github Actions, Codedeploy를 통해서 하고, 

요청이 왔을 때는 AWS ALB에서 SSL 처리를 하고, NginX에서는 blue, green 중 작동 중인 포트로 요청을 보내는 방식으로 무중단 배포가 구현된다. 

배포할 때 + 요청이 들어왔을 때

배포 흐름

1. 깃허브 디폴트 브랜치에 변경 내용 커밋
2. Github workflow가 java 프로젝트를 빌드
3. Codedeploy, S3 접근이 가능한  IAM 키를 알고 있는 Github workflow가 S3에 빌드 파일을 업로드하고, Codedeploy로 배포 요청
4. Codedeploy가 appspec.yml에 따라 지정한 hook 시점에 scripts/deploy.sh 스크립트를 실행
5. deploy.sh는 현재 실행 중인 blue 컨테이너가 있다면 green 컨테이너를 실행시키고, 없다면 blue 컨테이너를 실행 -> 배포 중에도 서비스가 중단되지 않도록 함

 

 

 

 

 

클라이언트의 요청이 들어왔을 때

 HTTPS 요청 처리 흐름
1. 도메인으로 들어온 요청은 EC2의 로드 밸런서로 라우팅 됨
2. AWS ALB는 요청이 HTTP라면 HTTPS로 리다이렉트하고, HTTPS라면 등록된 인증서로 SSL/TLS 처리
3. AWS ALB는 모든 요청을 대상 그룹에 등록된 EC2의 80포트로 보냄
4. NginX의 리버스 프록시 기능을 이용해 블루 컨테이너가 사용 중인 8081포트와 그린 컨테이너가 사용 중인 8082포트 중 연결 가능한 곳으로 연결함

 

 

 

 

🎈 SSL offloading이란?

API 서버군 앞에 proxy 서버를 두고 해당 Proxy 서버에 SSL 관련 작업을 위임하는 방식이다.

AWS ALB에서 SSL 처리를 하고 웹 서버에서는 SSL 처리를 하지 않는 위 구조는 SSL offloading을 적용하고 있다. 

이러한 방식은 WAS를 넘어 WS에 SSL 처리로 인한 오버헤드를 주지 않기 위해서 사용된다. 

 

 

 

무중단 배포 기록, 트러블슈팅

nginx

blue-green은 사실 서버 2대 이상을 사용해서 번갈아가며 배포해서 클라이언트 단에서 중단을 느끼지 못하게 하는 거라고 하는데 프리티어로 EC2 두 개 쓸 수는 없기 때문에 도커와 nginx, codedeploy를 이용한 무중단 배포 방식을 사용했다.

서버에 nginx 등 필요한 것들을 설치한 후 

sudo vim /etc/nginx/sites-enabled/default 을 해서 proxy설정을 바꿨다.

upstream blog-api-server {
        least_conn;
        server 127.0.0.1:8081 max_fails=3 fail_timeout=10s;
        server 127.0.0.1:8082 max_fails=3 fail_timeout=10s;
}

server {
        listen       80;
        listen       [::]:80;
        server_name  _;
        root         /usr/share/nginx/html;

        # Load configuration files for the default server block.
        include /etc/nginx/default.d/*.conf;

        if ($http_x_forwarded_proto != 'https') {
                return 301 https://$host$request_uri;
        }

        location / {
                proxy_set_header X-Real-IP $remote_addr;
                proxy_set_header HOST $http_host;
                proxy_set_header X-NginX-Proxy true;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_pass http://blog-api-server;
                proxy_redirect off;
        }
 }

설정 변경 후에는

sudo service nginx reload

 

 

docker

 

aws codedeploy permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock

docker 데몬 소켓에 연결할 권한이 없을 때

->

sudo usermod -aG docker $USER
sudo systemctl restart docker

 

sudo apt install docker-compose

 

디폴트인 docker-compose.yml과 다른 이름을 가진 docker-compose파일을 지정하는 경우 -f 옵션을 사용

docker-compose -f custom-compose-file.yml start

배포에는 문제가 없지만 커밋을 할 때마다 컨테이너가 blue ↔ green으로 바뀌지 않고 계속 blue로만 배포가 되는 문제가 있었는데

docker-compose -p ${DOCKER_APP_NAME}-blue -f docker-compose.blue.yml ps | grep running

에서 docker-compose ps를 했을 때 업데이트가 되었는지 running이 아닌 Up이라고 표시되어서 실행 중인 컨테이너를 찾지 못하는 거였다. Up으로 바꿔주니 작동했다.

Codedeploy가 실행한는 deploy.sh 파일을 다음과 같이 작성한다.

#!/bin/bash

cd /home/ubuntu/app

DOCKER_APP_NAME=spring

# 실행중인 blue가 있는지
EXIST_BLUE=$(docker-compose -p ${DOCKER_APP_NAME}-blue -f docker-compose.blue.yml ps | grep Up)
echo "$EXIST_BLUE" >> debug.log

# green이 실행중이면 blue up
if [ -z "$EXIST_BLUE" ]; then
    echo "blue up" >> debug.log
    docker-compose -p ${DOCKER_APP_NAME}-blue -f docker-compose.blue.yml up -d --build

    sleep 30

    docker-compose -p ${DOCKER_APP_NAME}-green -f docker-compose.green.yml down
    docker image prune -af # 사용하지 않는 이미지 삭제

# blue가 실행중이면 green up
else
    echo "green up" >> debug.log
    docker-compose -p ${DOCKER_APP_NAME}-green -f docker-compose.green.yml up -d --build

    sleep 30

    docker-compose -p ${DOCKER_APP_NAME}-blue -f docker-compose.blue.yml down
    docker image prune -af
fi

 

shell

shell script에서 에러 로그 기록하려면

‘>’ - 명령 1회 동작 시 결과를 파일로 저장, 이후 동일한 파일명 사용 시 파일 덮어씌움

‘>>’ - 명령 1회 동작시 결과를 파일로 저장, 이후 동일한 파일명 사용 시 마지막 저장에 내용 추가됨.

ex) echo “blue up” >> debug.log

if문에서 -z 옵션은?

string이 empty인지 확인하기 위해서 사용됨. 만약 string이 empty라면 if block 안에 있는 코드를 실행하고 그렇지 않다면 else block을 실행한다.

 

용량이 부족해서 배포가 안되면

서비스 기능이 꽤 많다 보니 디스크 용량이 부족해서 코드디플로이, 도커 등 아무 명령어도 실행이 안되는 문제가 생김. 스웹 메모리만 적용해도 2GB이니 그냥 첨부터 8GB는 안쓰는게 좋을 것 같다.

스토리지에서 볼륨을 늘려보았는데 반영되는데 1시간 정도 걸린 것 같다. 그동안 공간을 만들기 위해 여러가지를 해봤다.

폴더 별 용량 확인 명령어 → 불필요한 로그 등 용량 큰 파일을 삭제

sudo du -shx /* | sort -h

전체 메모리 사용량 확인 명령어 → 얼마나 남았는지 확인할 때

df -h

불필요한 리소스 제거 명령어

docker system prune -a -f

커널 삭제 명령어

sudo apt autoremove --purge