GPU 4~8장 상시 추론 서비스, 서버 구매 vs 클라우드 중 무엇이 나을까

📌 오늘의 안건
GPU 4~8장 상시 추론 서비스, 서버 구매 vs 클라우드 중 무엇이 나을까

AI 모델을 상시 추론하는 서비스를 운영하려 하고, 필요한 규모는 GPU 4~8장 정도의 중간 규모입니다. GPU 서버를 직접 구매하는 것과 클라우드를 이용하는 것 중 어느 쪽이 나을지 고민 중입니다. 가장 중요한 기준은 초기 자금 부담을 줄이면서 필요에 따라 유연하게 확장할 수 있는지입니다.

장비는 산 날보다 고장 난 날이 더 오래 기억에 남는 법이라, 저는 그날이 오지 않도록 미리 막는 쪽을 맡겠습니다. 이 결정에서 어디가 먼저 무너질 수 있는지, 그때 무엇으로 버틸지를 끝까지 따져 보겠습니다.

그 사양, 정말 다 필요할까요? 다들 당연하게 여기는 '높을수록 좋다'는 공식을 뒤집어 보고, 모두가 놓치는 맹점을 찾아낼게요.

기술의 세대가 바뀔 때마다 살아남는 장비와 사라지는 장비가 갈렸습니다. 저는 오늘의 선택이 몇 년 뒤 어떤 길을 열어 두고 어떤 길을 닫게 될지를 따라가 보겠습니다.

상시 추론 4~8장 규모는 구매보다 클라우드가 초기 자금과 확장 유연성에서 맞습니다. 최신 단가·고장 사례를 확인한 뒤 최악의 시나리오와 대비책까지 짧게 정리하겠습니다.상시 추론 4~8장은 서버를 사지 말고, 전문 GPU 클라우드의 예약 용량으로 기준 4장을 고정한 뒤 8장까지 시간 단위로 늘리는 쪽이 맞습니다. 2026-10-13 기준 온디맨드 H100 중앙값은 GPU당 시간당 약 4.12달러(대역 3.20–12.29달러)이고, AWS·Azure 상위 구간은 쿼터에 막혀 있습니다. 4장을 한 달 상시로 돌리면 대략 월 1만 달러 안팎, 8장이면 그 두 배입니다. 같은 대수를 사면 노드 한 대만 수억 원이고, 전원·냉각·예비 부품은 그 위에 붙습니다. 초기 자금과 확장을 최우선으로 둔 조건에서는 구매가 그 기준을 처음부터 어깁니다.

구매의 최악은 고장 한 점이 서비스 전체를 세우는 그림입니다. NVIDIA DGX H100 설계 문서는 노드 최대 전력을 10.2kW, 전원 공급 장치 여섯 개 중 네 개가 살아 있어야 기동이 유지되며, 노드 하나가 죽으면 다중 노드 작업 전체가 멈춘다고 적습니다. 랙당 4대는 열 때문에 비권고입니다. 일반 상면의 단상·CRAC로는 흡기 온도가 오르고 클럭이 꺾이거나 열 셧다운으로 갑니다. 80GB에 모델을 억지로 올리면 메모리 부족으로 프로세스가 기동 전에 죽습니다. 중고 매입은 세대 교체(H200·B200)와 펌웨어 출처 분쟁으로 회수가 더디고, 드라이버 지원이 끊기면 그 철은 추론기가 아니라 재고입니다.

클라우드의 최악은 스팟 회수, 리전 품절, 송신 요금, 제공사 장애가 같은 밤에 겹치는 경우입니다. 서빙 계층은 스팟을 쓰지 말고, 예약은 두 제공사·두 리전에 나눠 기준 부하만 덮으십시오. 가중치와 프롬프트 로그는 버전된 객체 저장소에 두고, GPU 메모리를 넘는 모델은 양자화·샤딩 전에 거부하십시오. 앤디 그로브는 『Only the Paranoid Survive』에서 변곡점을 확신할 때까지 기다리는 쪽이 죽는다고 봤습니다. 지금의 변곡점은 GPU 세대와 전력 밀도입니다. 철을 소유하는 순간 그 변곡점에 자본이 묶입니다.

출처: computecollege.com[1] · docs.nvidia.com[2]

초기 자금과 확장성이 우선인데, GPU 4~8장을 먼저 사야 할까요? 지금은 클라우드로 시작하는 게 맞아요. ‘상시 서비스’가 곧 ‘GPU 8장 상시 가동’이라는 뜻은 아니에요. 실제 요청량과 지연시간 목표를 재고, 배칭으로 GPU당 처리량을 높인 뒤 필요한 장수를 정해야 해요. NVIDIA Triton 문서[1]도 배칭과 GPU 사용률·지연시간 측정을 지원해요.

반대로 부하가 하루 종일 일정하다면 클라우드의 유연성에 계속 값을 치를 이유가 있을까요? 몇 달간 사용량이 안정되면 동일한 GPU 성능과 운영 기간을 기준으로 클라우드 총비용과 서버 구매비·전력·상면·유지보수비를 비교하세요. 그때 구매가 유리하면 고정 부하만 자체 서버로 옮기고, 증설분은 클라우드에 두는 편이 좋아요. 클라우드에서도 1년 약정·선결제 없는 Savings Plans[1]가 있지만, 약정은 사용량이 확인된 뒤에 걸어야 해요.

결론: 지금은 클라우드로 시작하는 게 맞습니다. 다만 매달 요금을 내며 쓰라는 뜻이 아니라, "몇 년 뒤 어느 쪽으로든 옮길 수 있는 상태"를 사 두는 방식이어야 합니다. 초기 자금 부담을 줄이고 유연하게 확장한다는 기준으로 보면, 서버를 사는 순간 이 두 가지를 모두 포기하게 됩니다.

V100 서버를 큰돈 주고 들인 회사들이 3년도 안 돼 A100에, 다시 H100에 밀려 감가상각이 끝나기도 전에 장비를 처분하던 일을 떠올려 보시면 됩니다. 지금은 세대 교체가 그때보다 더 빠릅니다. - 교체 주기가 1년으로 짧아졌습니다. NVIDIA는 2026년 하반기 Rubin, 2027년 Rubin Ultra, 2028년 Feynman을 공개 로드맵에 올려 두었고, Rubin 랙은 이전 세대(Blackwell Ultra NVL72)보다 약 3배 빠르다고 발표했습니다. 오늘 산 8장짜리 서버는 회수 기간인 3~4년 동안 두세 세대 뒤처지게 됩니다.

(Network World[1], 3DTested[2])

• 모델 경량화 흐름도 새 하드웨어 쪽으로 기웁니다. FP4 같은 저정밀도 연산은 최신 세대에서만 하드웨어로 제대로 가속됩니다. 그래서 같은 모델을 돌려도 구형 장비는 토큰당 비용이 시간이 갈수록 불리해집니다. - 전력과 냉각이 이전의 발목을 잡습니다. 최신 세대는 수랭과 고밀도 전력을 전제로 설계되고 있습니다. 공랭 코로케이션에 들인 장비는 다음 세대로 넘어갈 때 상면(랙 공간) 계약부터 다시 해야 할 가능성이 큽니다.

다만 클라우드도 공짜 유연성은 아닙니다. 2025년에 크게 떨어졌던 H100 임대료가 2026년에는 다시 올랐습니다. 1년 약정 단가는 2025년 10월 시간당 1.70달러에서 2026년 3월 2.35달러로 약 40% 뛰었고, 10월에는 AWS와 Nebius도 정가를 올렸습니다. (Akash[1], IntuitionLabs[2]) 그래서 경로는 이렇게 설계하시길 권합니다. 1. 기본 부하는 1년 단위 예약 인스턴스로 받습니다. 하이퍼스케일러보다 저렴한 GPU 전문 클라우드를 우선 검토하시고, 3년 약정은 피하시는 게 좋습니다. 세대가 바뀔 때 갈아탈 수 있어야 합니다. 2. 급증하는 트래픽만 온디맨드로 흡수합니다.
3.

추론 스택은 처음부터 이식 가능하게 만듭니다. 컨테이너, vLLM 같은 오픈 엔진, 표준 API로 구성하고 특정 클라우드 전용 서비스에 묶이지 않도록 합니다.

이렇게 12~18개월 운영하면 실제 GPU 사용률 데이터가 쌓입니다. 사용률이 꾸준히 60~70%를 넘는다면, 그때 Rubin급 이후 세대로 기본 부하만 자체 구매하고 클라우드는 확장용으로 남기는 하이브리드로 넘어가시면 됩니다. 이 순서가 비용 면에서도 선택지 면에서도 가장 오래 버티는 길이라고 판단합니다.

‘4장은 기본으로 예약’할 만큼 부하가 검증됐나요? 우윤아의 예약 용량 제안은 안정적인 기본 부하가 확인된 뒤에는 유효해요. 하지만 지금 예약하면 초기 현금 지출만 월 요금으로 바꾸고 확장 여지는 약정으로 묶을 수 있어요. 먼저 실제 요청량과 지연시간 목표로 필요한 GPU 수를 재고, 모델 사용 조건이 허용한다면 추론 API 비용도 비교해야 해요.

두 초안의 고장·세대교체 경고는 구매를 신중하게 만드는 좋은 논거예요. 다만 특정 DGX 노드의 전력·장애 특성을 모든 4~8장 서버에 적용하거나, 신제품 로드맵만으로 기존 GPU의 경제수명이 끝난다고 단정할 수는 없어요. 반대로 상시 부하가 충분히 높고 오래 유지된다면 구매가 더 쌀 수도 있죠. 결국 판단을 뒤집는 값은 서버를 몇 장 사느냐가 아니라 실제로 몇 장을 계속 채워 쓰느냐예요.

그래서 결론은 지금은 클라우드로 시작하되, 기준 4장 예약은 보류예요. 몇 달간 측정한 기본 부하에만 약정을 걸고, 같은 처리량·지연시간을 기준으로 임대 총액과 구매·전력·상면·운영비를 비교하세요. 그 계산에서 고정 부하의 구매 이점이 분명해질 때만 그 부분을 자체 서버로 옮기는 게 맞아요.

기준 부하는 측정된 장수만 1년 예약으로 묶고, 나머지는 시간 단위로 늘리는 전문 GPU 클라우드가 맞습니다. 상시 서비스가 곧 GPU 8장 상시 점유는 아닙니다. 나현서 쪽이 옳게 짚었듯, 배칭과 지연 목표를 재기 전에 4장을 고정하면 유휴 카드에 예약료를 내는 고장이 먼저 납니다. NVIDIA Triton이 배치·사용률·지연을 재도록 한 이유도 그 낭비를 숫자로 드러내기 위해서입니다. 신도윤의 1년 상한도 수용합니다. H100 1년 약정 단가가 2025년 10월 시간당 1.70달러에서 2026년 3월 2.35달러로 오른 뒤에도 3년을 걸면, 세대가 바뀌는 동안 오른 단가에 자본이 묶입니다.

부하가 몇 달간 평탄하고 코로케이션이 노드 전력·흡기·예비 전원을 문서로 감당한다고 증명된 뒤에만, 그 바닥 부하만 자체 서버로 옮기십시오. 그 조건이 쌓이기 전에 사는 순간, 초기 자금과 확장 여지라는 이번 기준은 둘 다 깨집니다. 앤디 그로브는 『Only the Paranoid Survive』에서 변곡점이 분명해질 때까지 기다리는 쪽이 죽는다고 보았습니다. 공개 로드맵의 Rubin·Rubin Ultra·Feynman과, 최신 세대에서만 하드웨어로 먹는 FP4가 그 변곡점입니다. 공랭 상면에 들인 철은 다음 세대에서 랙 계약부터 다시 열리기 쉽고, 드라이버 지원이 끊기면 그 장비는 추론기가 아니라 재고입니다.

서빙 계층은 스팟을 배제하고, 기준 용량은 두 제공사·두 리전에 나누십시오. 가중치와 프롬프트 로그는 버전된 객체 저장소에 두고, GPU 메모리를 넘는 모델은 기동 전에 거부하십시오. 양자화로 억지 기동을 시도하면 프로세스는 요청을 받기 전에 죽습니다.

결론은 그대로 클라우드로 시작하는 것입니다. 다만 나현서 님 지적을 받아들여 약정 시점은 늦추고, 우윤아 님이 말한 분산 배치는 '이식성'의 일부로 흡수하겠습니다. 메인프레임에서 x86으로 넘어가던 시절을 돌아보면, 끝까지 살아남은 쪽은 처음부터 정답 장비를 고른 회사가 아니었습니다. 어느 쪽으로든 옮겨 갈 수 있게 짜 둔 회사였습니다.

• 나현서 님 쪽으로 입장을 고칩니다. 제 초안은 처음부터 1년 예약을 걸자고 했습니다. 그런데 "상시 서비스가 곧 8장 상시 가동은 아니다"라는 지적이 더 근본적입니다. 배칭과 FP8·FP4 양자화는 해가 갈수록 GPU 한 장이 처리하는 양을 늘립니다. 그러면 오늘 8장이 필요한 부하도 1~2년 뒤에는 4장으로 충분할 수 있습니다. 필요한 장수 자체가 줄어드는 흐름이니 구매도, 큰 약정도 이르다는 결론이 더 단단해집니다. 그래서 수정안은 이렇습니다. 처음 1~3개월은 온디맨드로 실제 사용량을 잽니다. 그 뒤 측정된 최저 부하만큼만 1년 약정을 겁니다. 다만 2026년 들어 임대료가 다시 오르고 있으니, 측정 기간을 길게 끌지는 마십시오.
• 두 수치를 함께 보면 약정 타이밍의 무게가 보입니다. 우윤아 님이 든 온디맨드 중앙값은 시간당 4.12달러이고, 제가 든 1년 약정 단가는 2.35달러입니다. 4장을 한 달 상시로 돌리면 약 1.2만 달러 대 약 6,900달러로, 매달 5천 달러 넘게 차이 납니다. 측정은 하되 짧게 끝내야 하는 이유가 이것입니다.

우윤아 님의 고장 시나리오는 이 규모에는 과합니다. DGX 설계 문서에 나온 "노드 하나가 죽으면 다중 노드 작업 전체가 멈춘다"는 대형 학습 클러스터 이야기입니다. 4~8장 추론은 노드 한 대 안에서 끝납니다. 구매의 진짜 위험은 고장이 아니라 경제적 수명입니다. 드라이버 지원보다 토큰당 비용 경쟁력이 먼저 끝나서, 장비가 멀쩡히 돌아가는데도 새 세대보다 비싸게 추론하는 처지가 됩니다. 반면 "두 제공사, 두 리전으로 나눠 예약하라"는 제안은 제가 말한 이식성을 실제로 시험하는 장치로 받아들이겠습니다. 실제로 두 곳에서 돌려 보지 않은 이식성은 장애가 나는 날 서류상의 약속에 불과합니다.

나중에 구매를 검토할 때의 비교 기준도 하나 고쳐야 합니다. 나현서 님은 "동일한 GPU 성능과 운영 기간"으로 비교하자고 했는데, 비교 상대가 오늘의 H100 임대가가 아니라 2~3년 뒤 그 세대 클라우드 단가여야 합니다. 클라우드 단가는 세대가 바뀌면 떨어지지만, 사 둔 서버의 성능은 그대로 멈춰 있기 때문입니다. 그래서 하이브리드로 넘어가는 조건은 사용률 60~70%에 두 가지를 더한 세 가지로 정합니다. ① 서비스 모델 구성이 6개월 이상 바뀌지 않았을 것, ② 다음 세대의 수랭·고밀도 전력을 받을 상면을 이미 확보했을 것. 이 셋이 모두 갖춰지기 전까지는 서버를 사는 일을 미뤄 두시는 편이, 앞으로 고를 수 있는 경로를 가장 넓게 남기는 길이라고 봅니다.

다수안이 1~3개월 온디맨드를 측정 창으로 둔 절차는, 1년 약정 단가가 시간당 1.70달러에서 2.35달러로 오른 그 공급 부족 구간에서 수요를 잘라 먹는 계측 고장입니다. 배정에 실패한 요청은 로그에 남지 않고, 남은 성공 건만으로 최저 부하를 정하면 약정은 항상 실제 피크보다 작게 걸립니다. 회선을 계측에서 빼 두고 "평시가 이 정도"라고 보고한 뒤 행사 당일 큐가 죽은 현장과 같습니다. 앤디 그로브는 『Only the Paranoid Survive』에서 변곡점이 선명해진 뒤에야 움직이는 조직을 이미 늦은 쪽으로 분류했습니다. 다수안은 그 취지를 받아 놓고도 사용률 60~70%, 모델 구성 6개월 고정, 수랭 상면 확보가 동시에 열릴 때까지 구매를 봉인합니다. 성장하는 추론 서비스에서 그 셋은 같이 성립하지 않으므로, 절차의 정상 출력은 클라우드 단가에 대한 무기한 노출입니다.

약점 공략의 둘째 균열은 물리 계층입니다. 4~8장이 한 모델의 텐서 병렬이면 그 카드는 한 노드의 NVLink 도메인이어야 합니다. 기준 용량을 두 제공사·두 리전으로 나누면 배치 깊이가 쪼개지고, 가중치 갱신이 어긋나며, 지연 꼬리는 Triton으로 사용률을 재기 전에 이미 깨집니다. 온디맨드 중앙값 4.12달러와 약정 2.35달러의 월 5천 달러 차이는 카드가 배정된 달의 장부일 뿐, 배정 거절의 비용인 매출 이탈은 그 표에 없습니다.

기준 용량은 장수를 늘리기 전에 한 섬으로 고정하십시오. 측정은 그 예약 도메인 위에서 하고, 두 번째 제공사는 동일 체크포인트로 뜨는 대기 경로로만 두며, 약정은 1년을 넘기지 말되 용량 확보가 한 번이라도 실패하면 측정 종료를 기다리지 말고 그 즉시 약정으로 전환하십시오. 클라우드에 남길 것은 피크 장수뿐입니다.

• H100 온디맨드 임대료 | GPU당 시간당 $4.41 | 2026-10-14 조회, 2026-08-01 가격 시행 | DigitalOcean[1]
• H100 12개월 약정 임대료 | GPU당 시간당 $3.26 | 2026-10-14 조회, 2026-08-01 가격 시행 | DigitalOcean[1]
• H200 온디맨드 임대료 | GPU당 시간당 $4.47 | 2026-10-14 조회, 2026-08-01 가격 시행 | DigitalOcean[1]
• H200 12개월 약정 임대료 | GPU당 시간당 $3.40 | 2026-10-14 조회, 2026-08-01 가격 시행 | DigitalOcean[1]
• H100 가용성 | Lambda H100 SXM 4장·8장 온디맨드 구성 모두 품절 | 2026-10-14 06:15 UTC 확인 | GetDeploying[2]
• H100 가용성 | Verda H100 SXM 8장 온디맨드 구성 재고 있음 | 2026-10-14 06:15 UTC 확인 | GetDeploying[2]
• H200 가용성 | Runpod H200 SXM 4장 온디맨드 구성 재고 있음; 8장 약정 구성 가용성 미표시 | 2026-10-14 06:45 UTC 확인 | GetDeploying[3]
• 확인 실패: 각 공급사의 실제 잔여 GPU 대수.

클라우드로 시작하되, 4장을 무조건 예약하는 게 정말 유연한 선택일까요? 2026년 10월 14일 확인된 DigitalOcean 요금[1]은 H100이 GPU당 시간당 온디맨드 $4.41, 12개월 약정 $3.26이고, H200은 각각 $4.47, $3.40이에요. 약정의 절감액은 분명하지만, 그만큼의 부하를 계속 채우지 못하면 초기 자금 부담을 줄이려던 선택이 고정비 부담으로 바뀌어요.

그렇다고 “필요할 때 늘리면 된다”는 전제도 믿기 어렵지 않나요? 2026년 10월 14일 06:15 UTC H100 재고 조회[1]에서 Lambda의 4장·8장 온디맨드 구성은 모두 품절이었고 Verda의 8장 구성은 재고가 있었어요. 06:45 UTC H200 조회[2]에서는 Runpod의 4장 온디맨드 구성에 재고가 있었지만 8장 약정 구성의 가용성은 표시되지 않았어요. 실제 잔여 대수도 확인되지 않았으니, 재고 표시는 확장 보장이 아니에요. 특히 한 모델이 4~8장을 한 노드에서 함께 써야 한다면 기준 용량을 여러 곳에 쪼개는 방안부터 의심해야 해요.

최종 수정안은 클라우드 시작, 확보 가능한 한 노드에서 기준 부하 운영, 검증된 최소 부하에만 최대 1년 약정이에요. 계측에는 처리된 요청뿐 아니라 용량 부족으로 거절되거나 대기한 요청도 넣고, 확보 실패가 생기면 측정 종료를 기다리지 말고 약정 가능 물량과 대체 경로를 즉시 확인해야 해요. 다만 실패 한 번만으로 약정을 체결할 이유는 없어요. 동시에 같은 처리량·지연시간 기준으로 구매비와 전력·상면·운영비의 손익분기를 미리 정하세요. 고정 부하에서 구매가 유리해지는 순간에는 그 부분을 자체 서버로 옮기는 게 맞아요.

최종 수정안은 클라우드 유지이되, 측정을 마치고 약정하는 대신 GPU 4장을 한 노드로 묶은 H200 12개월 약정을 지금 바로 기준 용량으로 잡는 것입니다. 약점 공략의 두 지적을 받아들여 입장을 고쳤습니다. 첫째, 공급이 부족할 때 측정하면 배정에 실패한 요청은 기록에 남지 않습니다. 그래서 측정이 수요를 실제보다 작게 보여 줍니다. 둘째, 4~8장 텐서 병렬은 한 NVLink 도메인 안에 있어야 합니다. 그래서 기준 용량을 두 제공사로 나누자던 우윤아 님 제안과 이를 이식성으로 받아들였던 제 수정 모두 철회합니다. 과거 세대 교체 때 신 기종을 "물량이 풀리면 사겠다"며 기다리던 조직이 결국 재고가 바닥난 날 할당량을 받지 못했던 일을 떠올리면, 온디맨드에 기대는 유연성은 공급이 부족한 시기에 착시가 됩니다.

핵심 근거는 세 가지입니다.

• 온디맨드 공급이 이미 불안정합니다. 2026-10-14 06:15 UTC 기준 Lambda H100 SXM은 4장·8장 온디맨드 구성이 모두 품절이었습니다. 반면 Verda 8장과 Runpod H200 4장(06:45 UTC)은 재고가 있었습니다. "필요할 때 늘린다"는 전제는 제공사에 따라 오늘 당장 깨집니다. 그러니 용량 확보에 실패하면 측정을 끝까지 기다리지 말고 곧바로 약정으로 넘어가자는 공략 쪽 규칙이 옳습니다. - 기다리는 비용이 확실히 큽니다. DigitalOcean 2026-08-01 시행가로 H200은 온디맨드 시간당 $4.47, 12개월 약정 $3.40입니다. 4장을 한 달 730시간 돌리면 약 $13,052 대 $9,928이라 매달 약 $3,100가 차이 납니다. 약정가가 H100 약정가 $3.26보다 시간당 $0.14밖에 비싸지 않다는 점도 중요합니다. 같은 값이면 메모리가 큰 세대를 잡아야 양자화와 모델 교체에 대응할 여유가 더 오래 남습니다.

• 구매 판단을 날짜와 숫자로 못 박아야 합니다. 사용률 60~70%, 모델 6개월 고정, 상면 확보라는 세 조건이 동시에 갖춰지기를 기다리면 사실상 영원히 사지 않게 된다는 지적을 받아들입니다. 그래서 이 조건들은 버리고, 기준을 H200 4장 약정의 연간 총액 약 $119,136(4장 × $3.40 × 8,760시간), 8장이면 약 $238,272로 정합니다. 12개월 약정이 끝나는 날 구매 견적을 받습니다. 서버값·전력·상면·운영비를 경쟁력이 유지되는 기간으로 나눈 연간 비용이 그때의 다음 세대 클라우드 약정 연간 총액보다 낮으면 그날 구매합니다. 그렇지 않으면 1년 더 약정합니다.

실행 순서는 이렇습니다. 기준 용량은 한 노드에 4장을 묶은 하나의 묶음으로 12개월 약정을 걸고, 사용량 측정도 그 위에서 합니다. 피크 때 필요한 나머지 장수만 온디맨드로 띄웁니다. 두 번째 제공사는 같은 체크포인트를 그대로 띄울 수 있게 준비해 둔 대기 경로로만 두고, 분기마다 한 번 실제로 기동해 봅니다. 데이터 반출 비용과 규제 요건은 이 대기 경로를 고를 때 함께 점검합니다. 이렇게 하면 초기 자금은 서버를 사는 대신 월 약 1만 달러 수준의 비용으로 묶입니다. 확장은 피크 구간에서만 온디맨드로 하고, 1년 뒤 구매로 넘어갈지는 숫자로 정한 기준대로 결정합니다. 지금 내리는 선택이 어느 경로도 닫지 않는 구조라는 점에서 낙관적으로 권해 드립니다.

기준 용량은 측정 창을 닫고 오늘 한 NVLink 섬에 12개월로 고정합니다. 2026-10-14에 확인된 DigitalOcean 가격은 H100이 온디맨드 GPU당 시간당 4.41달러, 12개월 약정 3.26달러이고, H200은 각각 4.47달러와 3.40달러입니다. 같은 날 06:15 UTC에 Lambda의 H100 SXM 4장·8장 온디맨드는 둘 다 품절입니다. 4.41달러로 한두 달을 재는 동안 약정가는 이미 2026년 3월의 2.35달러에서 3.26달러로 올라 있으므로, 신중함이 곧 더 비싼 약정입니다.

섬의 폭은 한 모델의 병렬 장수로 맞추고, 그 위쪽만 시간 단위로 둡니다. 06:15 UTC 기준 Verda의 H100 SXM 8장 온디맨드는 재고가 있고, 06:45 UTC 기준 Runpod의 H200 SXM 4장 온디맨드도 재고가 있으니, 8장이 한 모델이면 Verda를 본섬으로, 4장이면 Runpod를 본섬으로 잡습니다. 두 번째 제공사는 같은 체크포인트의 대기 기동만 담당합니다. 나현서의 지적은 남는 카드를 갱신 때 빼는 규칙으로 수용합니다. 가중치는 버전된 객체 저장소에 두고, 메모리를 넘는 모델은 기동 전에 거부하며, 업체 전용 추론 API는 서빙 경로에 넣지 않습니다. 잔여 장수는 공급사 실재고가 확인되지 않았으므로, 목록에 재고가 있는 구성만 계약합니다.

구매 손익분기는 이 약정 총액입니다. H100 12개월은 GPU당 3.26달러×8,760시간으로 연 28,557.60달러, 4장 연 114,230.40달러, 8장 연 228,460.80달러입니다. 전력·상면·운영을 넣은 코로케이션 견적이 같은 장수에서 이 금액 아래로 내려오고 그 바닥 부하가 평탄해진 뒤에만 그 장수를 옮깁니다. 신도윤의 1년 상한은 그대로 둡니다. 앤디 그로브는 『Only the Paranoid Survive』에서 변곡점이 선명해진 뒤에야 움직이는 조직을 늦은 쪽으로 넣었고, Lambda의 품절이 그 신호입니다. 용량은 지금 잠그고, 장비 매입은 약정이 끝나는 날에 다시 판정합니다.