작성자: Phil Eaton게시일: 2025년 6월 21일 지난 1년간 저는 Postgres의 메모리 누수를 디버깅하는 다양한 도구들에 대해 소개해왔습니다. Valgrind, AddressSanitizer, memleak, heaptrack 등을 다뤘지만, 아직 살펴볼 가치가 있는 도구가 몇 가지 남아 있습니다. 오늘은 Meta가 만든 대체 malloc 구현체인 jemalloc을 활용한 메모리 누수 탐지 방법을 살펴보겠습니다. jemalloc이란? Google의 tcmalloc, Microsoft의 mimalloc, Meta의 jemalloc처럼 많은 기업들은 표준 malloc 대신 성능이나 기능이 개선된 자체 구현체를 사용합니다. 이 중 jemalloc은 메모리 누수 탐지 기능이 특히 뛰어납니다. 이유는 AddressSanitizer가 탐지하지 못하는 경우까지 jemalloc은 캐치할 수 있기 때문입니다. 예를 들어 프로세스 종료 시 정리되긴 하지만 OOM(Out of Memory)을 간헐적으로 유발하는 누수는 jemalloc이 보다 잘 잡아냅니다. 참고: FreeBSD, Apache Arrow도 jemalloc을 사용합니다. 실험 시나리오: jemalloc으로 Postgres 메모리 […]

Florin Irion2025년 6월 16일 데이터베이스 관리에서 데이터 가용성 확보는 매우 중요합니다. PostgreSQL은 이를 위해 강력한 복제(replication) 기능을 제공합니다. PostgreSQL은 크게 두 가지 복제 방식을 지원합니다: **물리 복제(physical replication)**와 **논리 복제(logical replication)**입니다. 두 방식 모두 데이터를 여러 서버에 복제하는 목적은 같지만, 그 작동 방식은 매우 다릅니다. 이 글에서는 두 복제 방식의 차이점과 함께, **EDB의 Postgres Distributed(PGD)**가 두 방식을 어떻게 확장하여 더 유연하고 고도화된 분산 데이터베이스 솔루션을 제공하는지를 살펴보겠습니다. 물리 복제: 바이트 단위의 완전한 복사 PostgreSQL의 물리 복제는 스토리지 레벨에서 동작합니다. 즉, 기본(primary) 서버의 내용을 바이트 단위로 정확히 복사하여 하나 이상의 대기(standby) 서버에 유지하는 방식입니다. 이는 기본 서버에서 생성되는 **WAL(Write Ahead Log)**을 지속적으로 읽어 standby 서버로 전송하고, standby 서버가 이를 적용하는 방식으로 […]

2025년 6월 9일 EDB 엔지니어링 뉴스레터 7번째 호에 오신 것을 환영합니다!이번 호에서는 EDB 엔지니어링 팀이 주목하고 있는 데이터 업계 소식과 팀의 최신 활동을 공유합니다. 분석 트렌드 Conflict-free Replicated Data Types (CRDTs) 시리즈 UC 버클리의 Joe Hellerstein 교수가 CRDT(충돌 없는 복제 데이터 타입)에 대한 연재글을 게시했습니다. 엔비디아 기술의 시 엔비디아 초기 멤버이자 전 수석 과학자인 David Rosenthal이 엔비디아 초기 혁신 기술(이미징 모델과 I/O 아키텍처)에 대한 심층 기술 설명을 블로그에 공유했습니다.👉 The Dawn of Nvidia’s Technology AI가 분산 시스템을 바꾸는 혁명 Azure Storage의 Cheng Huang 기술 리드가 GitHub Copilot Agent가 Azure Storage 프로덕션 코드 분석과 TLA+ 모델 생성을 통해 실제 프로덕션 버그를 찾아낸 사례를 공유했습니다.👉 AI Revolution in Distributed Systems 이에 대한 […]

글쓴이: Phil Eaton작성일: 2025년 5월 22일 이번 글에서는 Postgres에 인위적으로 두 가지 메모리 누수를 주입한 뒤, heaptrack을 사용하여 이를 디버깅하는 과정을 소개합니다. 지난 포스트에서 다뤘던 memleak처럼 heaptrack 또한 리눅스 환경이 필요합니다. 다만, Mac 사용자도 리눅스 VM을 사용하면 충분히 실습해볼 수 있습니다 (저도 Mac에서 VM을 사용했습니다). Postgres를 기반 코드로 사용하긴 하지만, 이 글에서 소개하는 기법은 C, C++, Rust 프로젝트 전반에 걸쳐 메모리 누수를 추적할 때 유용합니다. 포스트 리뷰를 도와준 동료 Jacob Champion에게 감사드립니다. Postgres 빌드 준비 먼저 Postgres 코드를 클론하고 디버깅 옵션을 활성화하여 빌드합니다: $ git clone https://github.com/postgres/postgres$ cd postgres$ git checkout REL_17_STABLE$ ./configure –enable-debug \ –prefix=$(pwd)/build \ –libdir=$(pwd)/build/lib$ make -j16 && make install 사례 1: Postmaster 프로세스에서의 메모리 누수 Postgres에서 […]

가브리엘레 바르톨리니2025년 3월 18일 PostgreSQL이 가장 인기 있고 다재다능한 데이터베이스 엔진으로 자리 잡은 데에는 확장(Extensions)이 중요한 역할을 했습니다. 하지만 Kubernetes 환경에서 PostgreSQL 확장을 관리하는 것은 여전히 해결해야 할 중요한 과제입니다. 그러나 PostgreSQL 18이 출시되면 상황은 달라질 것입니다. CloudNativePG는 이제 두 가지 혁신적인 기능인 extension_control_path 옵션과 **이미지 볼륨(Image Volumes)**을 통해 획기적인 전환점을 맞이하고 있으며, 이를 통해 확장 관리 방식이 완전히 변화할 것입니다. PostgreSQL Kubernetes 환경에서 불변 확장의 중요성 Kubernetes 환경에서는 불변성(Immutability)을 유지하는 컨테이너 이미지가 필수적입니다. 즉, PostgreSQL 컨테이너 이미지도 보안 표준을 유지하고 업데이트를 체계적으로 관리하기 위해 읽기 전용(RO, Read-Only) 상태를 유지해야 합니다. 하지만 PostgreSQL의 가장 큰 장점은 확장성을 제공하는 데 있습니다. 지금까지 CloudNativePG에서 PostGIS, pgvector와 같은 서드파티 확장을 실행하려면 컨테이너 이미지 […]

Phil Eaton2025년 2월 28일 이 글에서는 커뮤니티 버전 Postgres 16을 실행하는 3노드 EDB Postgres Distributed(PGD) 클러스터를 설정한 후, Postgres 16에서 Postgres 17로 클러스터 전체를 인플레이스 업그레이드하는 방법을 설명합니다. 개별 노드를 메이저 버전 업그레이드를 위해 다운시키더라도 클러스터 전체는 계속해서 읽기 및 쓰기가 가능함을 시연할 것입니다. 각 환경마다 추가적인 확장, 권한 등의 차이점이 있을 수 있으나, 이 글에서는 단순하고 이상적인 경로에 초점을 맞추겠습니다. 이 실습은 새로운 Debian 12 시스템에서 진행됩니다. Postgres 16 설치하기 먼저, postgresql.org에서 제공하는 패키지 저장소 설정 지침을 따릅니다. # Import the repository signing key:sudo apt install curl ca-certificatessudo install -d /usr/share/postgresql-common/pgdgsudo curl -o /usr/share/postgresql-common/pgdg/apt.postgresql.org.asc –fail https://www.postgresql.org/media/keys/ACCC4CF8.asc # Create the repository configuration file:sudo sh -c ‘echo “deb [signed-by=/usr/share/postgresql-common/pgdg/apt.postgresql.org.asc] https://apt.postgresql.org/pub/repos/apt $(lsb_release […]

Ian Kinsey2025년 2월 19일 AI는 방대한 데이터에서 인사이트를 빠르게 도출하는 필수 도구가 되었지만, AI 모델을 설정하는 과정은 여전히 까다롭습니다. Nvidia NIM은 온프레미스 또는 클라우드 환경에서 생성형 AI 모델을 간편하게 배포할 수 있도록 지원하는 플랫폼입니다. 여기에 EDB AI Accelerator를 결합하면, 다양한 AI 모델을 Postgres와 손쉽게 통합하여 데이터베이스 내에서 직접 AI를 활용할 수 있습니다. 이번 글에서는 Docker를 사용해 NIM 모델을 설정하고, 이를 Postgres와 연결하는 방법을 소개합니다. NIM 모델을 사용하는 방법 NIM 모델을 활용하는 방법은 두 가지가 있습니다: 이번 튜토리얼에서는 Docker를 이용한 배포 과정을 다룹니다. Docker를 이용한 NIM 모델 설정 이 가이드는 Ubuntu 24.04 LTS 환경에서 진행되며,AWS **EC2 g5.8xlarge 인스턴스 (1024GB gp3 스토리지 포함)**에서 실행됩니다. 1. Nvidia CUDA Toolkit 설치 Nvidia 공식 웹사이트에서 […]