~/posts/infra/ci-runner-offline.md

date:
tags: [ci, forgejo-actions, self-hosting, flutter]
read: 6분

CI 러너가 오프라인이 된 밤

안녕하세요, 개발자 브론입니다. 이번 글에서는 CI 러너가 갑자기 오프라인이 됐던 날, 원인을 찾고 되살린 과정을 정리하려고 합니다.

저는 CI를 직접 띄운 Forgejo Actions 러너에서 돌립니다. 만들고 있는 앱의 저장소도 PR마다 이 러너에서 검사를 받습니다. 그중 가장 오래 걸리는 건 Flutter 앱 검사로, 평소 7분쯤 걸립니다.

러너를 직접 띄운 데는 이유가 있습니다. 저는 인프라에 관심이 많아서 집에 작은 서버도 두고 있습니다. 그 서버에 이것저것 하나씩 올려 보는 걸 취미 삼아 하고 있습니다. ’호기심 많은 개발자’라고 저를 소개하는 이유도 여기에 있습니다. 직접 띄우면 설정을 제 마음대로 바꿔 볼 수 있다는 것도 좋고요.

Forgejo도 그렇게 시작했습니다. GitHub보다 가볍고 좋다는 얘기를 듣고 호기심에 설치해 봤습니다. 이것저것 직접 설정해 보는 게 재밌어서, 결국 여기에 자리를 잡았습니다.

물론 안정성은 GitHub보다 떨어질 수 있습니다. 그래서 릴리스 단위로 GitHub에 백업해 둘까 고민하고 있습니다. 메인과 백업이 뒤바뀐 것 같긴 하지만요.

그날 무슨 일이 있었나

얼마 전, PR 두 개를 연달아 머지하고 갱신했습니다. 하나는 머지해서 main 검사가, 하나는 브랜치를 갱신해서 PR 검사가 돌았습니다. 그렇게 Flutter 앱 검사 두 개가 같은 러너 컨테이너에서 동시에 돌기 시작했습니다.

러너 컨테이너는 집 Proxmox 서버에 띄운 LXC입니다. 메모리 4GB, 스왑 1GB를 줬습니다.

평소 7분이면 끝나던 검사가 20분 가까이 끝나지 않았습니다. 그러다 두 검사가 같은 초에 함께 실패했습니다. 뒤에 줄 서 있던 서버 검사와 PR 제목 검사는 “Waiting to run”에서 움직이지 않았고요.

실패를 처음 봤을 때는 서버가 멈췄나 싶었습니다. 몇 시간 전에 집 네트워크에 문제가 있었거든요. 그때 연결이 잠깐 끊기면서 LXC나 서버가 멈춘 게 아닐까 했습니다.

그런데 Forgejo에는 문제없이 접속됐습니다. Forgejo도 같은 Proxmox 서버에 있으니, 서버가 멈춘 건 아니었습니다.

그렇다면 코드가 잘못됐겠구나 싶었습니다. 그래서 에이전트에게 코드를 확인해 달라고 했습니다.

같이 실패하면 코드보다 인프라

두 검사는 서로 다른 PR이었습니다. 바뀐 코드도 달라서 부딪힐 일이 없었습니다. 그런데 둘 다 23시 2분 19초에 실패했습니다. 초 단위까지 같았습니다.

코드 문제라면 이렇게 실패하기 어렵습니다. 각자 자기 테스트에서, 각자 다른 시각에 실패했을 겁니다. 서로 다른 작업이 같은 순간에 실패했다면, 둘이 함께 쓰는 무언가가 문제일 겁니다. 서버 쪽을 확인해 보니 러너였습니다.

진단 순서

운영이 멀쩡한지

가장 먼저 운영 API를 봤습니다. CI와 운영이 같은 곳에서 돌고 있다면 그쪽이 더 급하니까요.

curl -s -o /dev/null -w '%{http_code}\n' https://<운영 API>/healthz

200이 돌아왔습니다. 운영은 다른 곳에서 돌고 있어서 영향이 없었습니다. 여기서 한숨 돌렸습니다.

러너 상태

다음은 러너입니다. Forgejo API로 조직에 등록된 러너 목록을 봤습니다.

curl -s -H "Authorization: token $FORGEJO_TOKEN" \
https://<forgejo>/api/v1/orgs/<조직>/actions/runners

러너 둘이 모두 offline이었습니다. 검사가 “Waiting to run”에서 멈춘 이유가 이것이었습니다. 작업을 받아 갈 러너가 없었던 겁니다.

호스트 자원

러너 컨테이너가 떠 있는 하이퍼바이저 화면을 열었습니다.

항목 값
CPU 92%
메모리 99.5%
스왑 99.98%

메모리와 스왑이 둘 다 바닥나 있었습니다. 컨테이너 셸에도 들어갈 수 없었습니다.

원인 작업

남은 건 무엇이 메모리를 다 썼느냐였습니다.

LXC는 기능별로 나눠 두었습니다. 이 LXC에는 러너만 세 개 있습니다. 앞에서 조직 목록에 둘만 보인 건, 하나가 조직이 아니라 인스턴스 전체에 등록된 러너라서입니다. 지금 개발하는 서비스도 하나뿐입니다. 그러니 이 LXC에서 돌 만한 건 그 서비스의 검사밖에 없었습니다.

실제로 그 시각에 돌던 건 Flutter 앱 검사 두 개뿐이었습니다. 하나일 때는 7분 만에 잘 끝나던 검사입니다. 둘이 동시에 돌자 4GB가 모자랐던 겁니다.

고친 방법

방법은 두 가지를 놓고 골랐습니다.

방법 좋은 점 아쉬운 점
컨테이너 메모리 늘리기 지금처럼 검사가 동시에 돈다 호스트에 여유가 있어야 한다
러너 동시 작업 수를 1로 (capacity: 1) 메모리가 모자랄 일이 없다 검사가 한 줄로 서서 PR이 몰리면 오래 기다린다

동시 작업 수는 러너 설정 파일에서 정합니다.

config.yml (forgejo-runner, 일부)
runner:
# 한 번에 받는 작업 수
capacity: 1

호스트를 보니 여유 메모리(available)가 22GB 남아 있었습니다. 그래서 앞쪽을 골랐습니다. 컨테이너 메모리를 4GB에서 8GB로, 스왑을 1GB에서 2GB로 올리고 재부팅했습니다.

러너 서비스 다시 띄우기

재부팅을 했는데도 검사는 그대로였습니다. 서버 검사와 PR 제목 검사는 여전히 “Waiting to run”이었습니다.

먼저 실패한 Flutter 검사 두 개를 다시 돌려 보려 했습니다. 그런데 Forgejo API에는 실패한 run을 다시 돌리는 엔드포인트가 없어서 404가 돌아왔습니다. Job 화면의 재실행 버튼도 눌러 봤지만 동작하지 않았습니다.

그래서 LXC에 들어가 러너 서비스 상태를 봤습니다.

systemctl list-units --all | grep -i runner

지금은 모두 running이지만, 그때는 셋 다 failed였습니다. 메모리가 모자라 멈춘 서비스는 메모리를 늘리고 재부팅해도 저절로 다시 뜨지 않았던 겁니다. 서비스마다 다시 시작하고 상태를 확인했습니다.

systemctl restart <runner-service>
systemctl status <runner-service>

셋 다 active로 바뀌었고, 러너도 idle로 돌아왔습니다. 대기하던 서버 검사와 PR 제목 검사는 따로 손대지 않아도 차례로 돌기 시작했습니다.

실패한 두 검사는 실패한 채로 남았습니다. 다시 돌릴 방법이 없어서 PR 브랜치에 빈 커밋을 하나 올렸습니다. PR은 squash로 머지하니 이 커밋은 기록에 남지 않습니다. 다시 돈 Flutter 검사는 7분 9초 만에 끝났고, 배포까지 성공했습니다.

배운 것

Flutter 테스트가 생각보다 메모리를 많이 먹는다는 걸 알았습니다. 하나일 때는 문제가 없으니, 둘이 동시에 돌기 전까지는 드러나지 않았습니다. 러너 컨테이너의 메모리를 정할 때는 검사 하나가 아니라, 동시에 돌 수 있는 수만큼을 봐야 했습니다.

Proxmox나 LXC에 이런 문제가 생기면 알림을 받을 방법도 찾아야겠습니다. 지금도 Discord 서버를 만들어 간단한 알림은 받고 있습니다. 하지만 아직 부족한 곳이 많습니다. 서비스 개발을 얼른 마무리하고, Discord 서버와 채널도 실제 운영에 도움이 되게 다듬으려고 합니다.

셀프 호스팅은 어렵습니다. 그래도 알림 하나까지 원하는 대로 정할 수 있을 만큼 자유롭습니다. 그 맛에 앞으로도 서버를 하나씩 더 꾸며 보려고 합니다.

esc

// 최근 글