과연 값비싼 GPU서버가 몇대가 필요한거야?

 

GPU서버 한대에 과연 얼마씩 할까?

요즘 시세로 수억원씩 한다.

 

게임그래픽 카드에서 AI시대를 맞아 떡상한 엔비디아의

H100,H200,B200 GPU서버 가격이다.

 

일반 서버 한대 가격 10배를 훌쩍 뛰어넘는다.

근데 이비싼 GPU서버를 설계하는데 문제가 있다.

 

예를 들어 우리회사는 1천명인데 GPU서버를 이용해서 ChatGPT와 같은

챗봇 서비스를 하고 싶은데, GPU서버를 몇대를 해야 가능할까요?

라고 GPU서버를 판매하는 회사에 문의하면 제대로된 답변을 못듣는다.

오히려 생성형AI 챗봇 서비스를 구축하는 회사에 문의해보란다 ^^;;;;;;;;;

 

이 비싼 서버를 사면서 몇명이 사용하는지 모르는 황당한 일이 벌어질수도 있다라는거다

예를 들어 14억에 두대를 샀는데, 회사 직원 100명도 못사용한다면? 

알고보면 전직원 1천명 가량 사용하려면 GPU서버만 몇대가 필요하다면?

 

이런 상황때문에 아래와 같이 정리해보았다.

 

일단 추정을 하기 위한 가정은 아래와 같다.

 

1. Nvidia B200 GPU서버 1대(HBM 메모리 1.4TB)

2. LLM 모델 크기(LLaMA2 70B)

3. 입력값 크기: 한글 500자 정도

4. 입력 후 결과 응답시간: 3초 이내

--------------------------------------------------------------------------------------------------------------------------------------------------

Nvidia B200 서버에서 LLaMA2-70B 모델 동시 사용자 수 추정

1. 시스템 개요 (LLaMA2-70B + Nvidia B200 서버)

• 하드웨어: Nvidia DGX B200은 Blackwell 아키텍처 GPU 8개가 장착된 서버로, 총 1.4TB의 HBM3e 메모리를 제공합니다 .
• 모델 크기: LLaMA2-70B는 약 1,400억 개 파라미터, FP16 기준으로 약 140GB 메모리를 차지합니다. 따라서 1.4TB 메모리에서 모델은 가볍게 적재되고, 사용자별 대화 세션을 위한 캐시 메모리도 넉넉하게 사용 가능합니다.
• KV 캐시 메모리: 사용자가 입력한 프롬프트와 모델이 생성한 토큰을 저장하는 캐시가 필요합니다. 70B 모델의 경우 약 1000 토큰 컨텍스트에 2~2.5GB 정도의 메모리가 소요됩니다. 즉, 수백 명의 세션을 동시에 메모리에 유지하는 것이 가능합니다.

👉 결론적으로 메모리는 병목이 아니며, 동시 사용자 수를 결정하는 핵심은 **토큰 처리 속도(throughput)와 응답 지연(latency)**입니다.

---

2. B200의 추론 성능

• H100 대비 성능: 기존 8×H100 서버는 LLaMA2-70B에서 초당 약 3.5만 토큰 처리가 가능했으나,
  8×B200 서버는 약 9.8만 토큰/초까지 처리 가능하다는 벤치마크 결과가 있습니다 .
• 실시간(낮은 지연) 환경에서는 62,000 토큰/초 처리, 첫 토큰까지 약 450ms, 이후 40ms/token 속도를 달성했습니다 .
• 즉, B200은 H100보다 약 3배 빠른 처리량과 짧은 응답 지연을 제공합니다.

---

3. 동시 사용자 수 추정 (응답 3초 목표)

• 가정: 한 사용자의 요청은
  • 입력: 한글 500자 ≈ 750~1000 토큰
  • 출력: 약 200~300 토큰
    → 총 약 1200 토큰 처리 필요.
• 시간 제약: 3초 이내 응답하려면 사용자당 400토큰/초 처리가 필요.
• 서버 처리량: B200 서버의 안정적인 처리량을 60,000 토큰/초로 잡으면,
  • 60,000 ÷ 400 = 150명 동시 처리 가능(이론상)

하지만 실제 환경에서는 네트워크 지연, 부하 분산, 변동성 등을 고려해야 하므로,

• 안정적인 추정치: 약 50~100명 동시 접속까지는 3초 이내 응답 품질을 보장할 수 있습니다.
• 더 많은 사용자를 동시에 처리(예: 200~300명)하는 것도 가능하지만, 이 경우 한 명당 처리 속도(토큰/초)가 줄어들어 응답 시간이 3초 이상 걸릴 수 있습니다 .

---

4. 사례 및 참고

• NVIDIA H100 벤치마크: 8×H100 서버에서 LLaMA2-70B 추론 시, 배치(batch) 없이 1회 요청은 1.7초,
  배치 최적화 시 5개의 요청을 2.5초 안에 동시 처리 가능 .
• B200 서버: 위와 동일 조건에서 약 15개의 요청을 2.5초 안에 처리 가능 → 약 3배 확장 .
• 대규모 배치 활용 시: Reddit 기술 토론에 따르면 H200급 서버에서 300명 동시 접속, 사용자당 10 토큰/초 처리 가능 사례 보고 . B200은 더 빠르므로 이론상 900명 수준까지 확장 가능하지만, 사용자 경험(속도)이 떨어질 수 있음.

---

✅ 결론

• Nvidia B200 서버 1대에서 LLaMA2-70B를 inference 전용으로 운영할 경우
  • 안정적이고 빠른 응답(3초 이내): 50~100명 동시 사용자
  • 극한의 동시 처리(느린 응답 허용 시): 수백 명(200~900명)

즉, 일반적인 채팅 서비스라면 50~100명 수준 동시 접속은 충분히 소화 가능합니다.

---

📌 출처

• NVIDIA MLPerf Inference Benchmarks
• NVIDIA DGX B200 성능 소개
• NVIDIA H100 추론 성능 보고서
• Reddit 기술 토론 – LLM 대규모 배치 처리 사례