레이크하우스에서 AI 팩토리로: Supermicro Open Storage Summit 후기
Simon Lightstone
2025년 9월 3일
서론
Supermicro Open Storage Summit은 엔터프라이즈 인프라의 큰 질문들이 현실로 다가오는 자리입니다.
올해 저는 두 개의 패널에 참여했는데, 하나는 AI를 위한 데이터 레이크와 레이크하우스, 또 다른 하나는 엔터프라이즈 애플리케이션 현대화 주제였습니다. AMD, MiniO, Lightbits Labs의 전문가들과 함께 했죠.
세션 주제는 달랐지만, 결국 같은 질문으로 귀결되었습니다.
“기업이 데이터, 비용, 미래에 대한 통제를 잃지 않으면서 어떻게 AI를 프로덕션 환경에서 제대로 구현할 수 있을까?”
답은 간단하지만 실천적인 네 가지 움직임이었습니다.
- 오픈 스탠더드 기반 구축: Postgres, Iceberg, Kubernetes/OpenShift
- 프로덕션 중심의 현대화: 고가용성, 가시성(Observability), 라이프사이클 지원
- AI를 위한 스토리지 설계: 티어링, 오브젝트 스토리지, 실시간 레이크하우스 접근
- 주권(Sovereignty)에 기반: 비용, 에너지 효율, 규제 준수를 관리하는 것은 곧 통제
이 네 가지는 단순한 기술 선택의 문제가 아니라, EDB Postgres® AI (EDB PG AI) Sovereign Data and AI Factory를 구축할 때 우리가 내린 결정과 직결됩니다.
즉, 모듈형·스토리지 친화적·오픈 시스템으로, 기업이 원하는 방식대로 운영할 수 있도록 설계된 시스템입니다.
하나라도 틀리면 AI는 연구 프로젝트로 머물지만, 모두 맞히면 확장성, 속도, 주권을 확보한 AI를 운영할 수 있습니다.
오픈소스가 만드는 경쟁 우위
AI 환경은 빠르게 변합니다. 오늘의 “필수” 도구가 18개월 뒤에는 무의미해질 수도 있습니다. 아키텍처가 폐쇄적이라면, 변화는 곧 고통입니다. 재개발, 비용 폭증, 혹은 락인(lock-in) 때문이죠.
그래서 첫 번째 원칙은 오픈 스탠더드입니다.
- Postgres: 트랜잭션, 분석, AI 워크로드를 위한 범용 데이터 스토어
- Apache Iceberg: 개방형 레이크하우스 테이블 포맷
- Kubernetes / OpenShift: 클라우드 네이티브 운영을 위한 공통 제어 평면
EDB는 전 세계에서 Postgres 기여도 1위 기업입니다. 10여 년 전 Postgres가 지금처럼 세계에서 가장 인기 있는 데이터베이스가 되기 전부터 우리는 Postgres의 가능성을 믿었고, 고객들은 그 선택 덕분에 막대한 성과를 거두었습니다.
Postgres는 단순한 기술 선택이 아니라, 장기적 회복력과 경쟁 우위를 입증하는 사례입니다.
왜 현대화가 시급한가
20년 된 모놀리식 애플리케이션에 AI를 억지로 붙여서는 확장이 불가능합니다. AI 워크로드는 저지연, 탄력적 성능, 항상 켜져 있는 가용성을 요구합니다.
이를 위해선:
- 클라우드 네이티브 패턴
- 필요한 곳에서의 마이크로서비스
- 자동으로 복원력을 확보하는 제어 평면
Postgres는 이 현대화 여정의 중심에 있습니다. 확장성, 검증된 안정성, 방대한 생태계 덕분이죠. Kubernetes나 OpenShift와 결합하면 애플리케이션을 재플랫폼화하여 AI-ready 상태로 만들 수 있습니다.
하지만 프로토타입은 쉽습니다. 진짜 기준은 프로덕션입니다. 이를 위해서는:
- 장애 도메인 전반의 고가용성
- 롤링 업그레이드
- 무엇보다 데이터 전반의 가시성(Observability) 이 필수입니다.
클러스터 전체에서 무슨 일이 벌어지고 있는지 보이지 않으면, AI를 대규모로 운영하는 건 불가능합니다.
스토리지: 주권, 효율성, 확장의 교차점
두 세션 모두 스토리지가 핵심이었습니다. AI 워크로드의 속도, 비용, 지속가능성은 스토리지에 달려 있습니다. 에너지와 탄소 배출 역시 여기서 관리되죠.
그리고 데이터 주권도 스토리지에서 시작됩니다. 데이터를 어디에 저장할지, 어떤 티어를 거칠지, 어떤 포맷인지 통제하지 못한다면, AI도 통제할 수 없습니다.
현대화 전략은 이렇게 정리됩니다:
- 핫/콜드 데이터를 구분해 운영 DB는 빠르게, 오래된 데이터는 자동으로 오브젝트 스토리지로 이동
- 컬럼 기반 포맷으로 레이크하우스에 스트리밍해 최신 데이터를 기반으로 분석과 예측 실행
- Iceberg 같은 오픈 포맷으로 저장해 원하는 엔진과 툴로 자유롭게 쿼리
이렇게 해야 비용, 탄소, 규제를 관리하면서도 모델을 가장 최신 데이터에 연결할 수 있습니다.
Sovereign Data and AI Factory 내부
이 모든 이유로 우리는 Supermicro, NVIDIA, Red Hat과 함께 EDB PG AI Sovereign Data and AI Factory를 구축했습니다.
이 이름은 단순한 은유가 아니라, 데이터센터 안에 바로 세울 수 있는 검증된 AI-ready Postgres 시스템입니다.
구성 요소:
- EDB가 성능·안정성을 검증한 Supermicro Hyper 서버
- NVIDIA NeMo Retriever 및 NIM 마이크로서비스 기반 가속 컴퓨팅 → 자체 데이터로 RAG·생성형 AI 파이프라인 구축
- Red Hat OpenShift → 이식성과 엔터프라이즈급 운영 보장
- EDB PG AI Hybrid Management 및 AI Factory 소프트웨어 → Postgres 전반의 가시성, 자동화, 정책 기반 티어링 통합
- 액체 냉각 기반, 전력 효율 설계 → 에너지 및 탄소 절감
- 스택 전반(하드웨어~AI 서비스) 라이프사이클 지원
핵심은 단순화입니다.
- 클릭 몇 번으로 고가용성 Postgres 클러스터 배포
- 데이터 티어 자동 이동
- 실시간 레이크하우스 데이터로 챗봇·워크플로우 실행
- 장기적으로 관찰 가능하고 지원 가능한 환경 유지
주권(Sovereignty)은 북극성
이건 단순한 직관이 아닙니다.
2025년, 13개국 2,200명의 임원을 대상으로 한 글로벌 조사(총 GDP 48조 달러 규모)에서 67%가 2027년까지 Sovereign AI·데이터 전략을 수립하겠다고 답했습니다.
데이터·AI 주권은 고립을 의미하지 않습니다. 데이터가 어디에 존재하는지, 모델을 어떻게 실행하는지, 비용·규제·탄소를 어떻게 관리하는지에 대한 통제를 의미합니다.
재무적 측면도 큽니다. 클라우드에서 GPU 8개를 임대하면 시간당 60달러 이상, 연간 50만 달러가 넘습니다. 성능 보장도 불확실합니다.
그래서 EDB PG AI Factory는 모듈형입니다.
- 작게 시작하고, 성장에 따라 확장
- 채택 속도에 맞춰 재정 계획 수립
- Supermicro와 함께 1년 뒤 후회하지 않는 성장 경로 설계
세션 다시 보기
제가 참여한 두 개의 Summit 패널에서는 이런 주제를 더 깊이 다뤘습니다.
- Data Lakes and Lakehouses for Enterprise AI
- Modernizing Enterprise Applications for AI
AI의 속도는 빛과 같습니다. 18개월은 10년처럼 느껴지기도 합니다. 하지만 개방성, 현대화, 주권을 나침반으로 삼으면, 기업은 빠르게 움직이면서도 스스로를 구석에 몰아넣지 않을 수 있습니다.
두 세션에서 공통적으로 나온 메시지, 그리고 제가 만나는 모든 기업 리더에게 드리는 조언은 동일합니다.
“실험에 머물지 말고, 팩토리를 구축하라.”
