1,000억 파라미터급 모델 학습 중 장애 복구 시간 47% 단축 성과 발표

Backend.AI Continuum 장애 자동 복구 및 Backend.AI:GO 현장 시연 진행

이미지:레블업

AI 인프라 전문 기업 래블업(대표 신정규)이 3월 16일부터 19일까지 미국 산호세에서 열리는 NVIDIA GTC 2026에 참가해 NVIDIA B200 GPU 504대 규모의 소버린 AI(Sovereign AI) 학습 인프라 운영 경험을 전격 공개한다.

래블업은 현지시간 18일 GTC 시어터 세션(Theater Session)을 통해 73일간의 클러스터 운영 과정에서 축적한 내결함성 스케줄링 전략과 장애 복구 기법을 발표할 예정이다. 특히 이번 발표는 국가나 기관이 독자적으로 AI 인프라를 구축하고 운영하는 데 필수적인 실전 기술을 다룬다는 점에서 주목을 받는다.

발표자로 나서는 신정규 대표는 B200 60노드 이상(GPU 504대) 클러스터를 활용해 1,000억 파라미터급 모델을 처음부터 학습시킨 실제 사례를 공유한다. 해당 프로젝트는 과학기술정보통신부와 정보통신산업진흥원(NIPA)이 주관하는 독자 AI 파운데이션 모델 개발 과제의 일환으로 추진됐다.

래블업은 업스테이지 컨소시엄의 인프라 파트너로서 업스테이지의 Solar Open 100B 학습을 성공적으로 뒷받침했다. 이 과정에서 GPU 오류나 NCCL(GPU 간 집합 통신 라이브러리) 타임아웃 등 대규모 분산 학습에서 반복되는 장애를 자동 감지하고 복구하는 고도화된 내결함성 스케줄링 구조를 구축했다.

기술적 성과로는 기존 대비 평균 장애 복구 시간을 47% 줄였으며, 프로세스 재시작까지 걸리는 시간을 3초 이내로 단축하는 데 성공했다. 또한 대규모 인프라 운영 중 발생할 수 있는 NFS 드라이버 설정 오류 등 미세한 성능 저하 요인을 추적하고 해결한 실질적인 노하우도 세션에서 함께 다뤄질 예정이다.

전시장 243번 부스에서는 기술 시연도 함께 진행된다. 관람객들은 Backend.AI Continuum의 모델 라우트 기능을 직접 체험할 수 있으며, 실제 네트워크 케이블을 분리하는 등 장애 상황을 연출하더라도 추론 요청이 다른 경로로 자동 전환되어 API 호출이 유지되는 내결함성을 실시간으로 확인할 수 있다.

NVIDIA DGX 스파크(Spark)에서 구동되는 Backend.AI:GO도 이번 전시의 핵심 시연 항목이다. Backend.AI:GO는 개인용 컴퓨터는 물론 128GB 통합 메모리를 갖춘 전문 장비에서도 장치 성능을 온전히 끌어내어 사용자에게 최적화된 로컬 AI 환경을 제공하는 플랫폼이다.

래블업 신정규 대표는 "504대의 B200을 73일간 운영하며 대규모 분산 학습이 실전에서 무너지는 지점과 이를 다시 세우는 체계를 정립할 수 있었다"며 "이번 GTC에서는 그 실전 경험을 공유하고 국가와 산업이 독자적으로 AI를 운용할 수 있는 소버린 AI 인프라 구축의 비전을 제시하겠다"고 강조했다.

출처 : 인공지능신문(https://www.aitimes.kr)