Syshin

DuckDB

15 min read

Summary

DuckDB는 분석 작업을 위한 경량형 임베디드 데이터베이스로, SQL 쿼리를 통해 대규모 데이터를 효율적으로 처리한다. 컬럼 지향 저장 방식과 병렬 처리를 통해 단일 머신에서도 뛰어난 성능을 제공한다.

DuckDB란?

DuckDB는 OLAP(Online Analytical Processing) 작업을 위해 설계된 경량형 임베디드 데이터베이스로, “분석을 위한 SQLite”라고 불린다. C++로 작성되어 고성능 쿼리 처리를 지원하며, 단일 파일 기반으로 별도의 설치나 설정 없이 사용할 수 있다. SQL 표준을 준수하며 직관적이고 강력한 SQL 쿼리 언어를 제공한다.

DuckDB는 데이터 과학자와 분석가들이 대용량 데이터를 효율적으로 처리하기 위한 도구로, 특히 데이터 분석 워크플로우를 간소화하는 데 큰 도움이 된다.

DuckDB의 주요 특징

로컬 기반 데이터베이스

DuckDB는 in-process 데이터베이스로 단일 파일 기반(SQLite와 비슷)이다.

  • 외부 의존성이 없어 별도의 설치나 설정 없이 바로 사용 가능하다
  • 클라이언트-서버 모델(PostgreSQL 등)과 달리 네트워크 연결이나 추가 설정이 필요하지 않다
  • 데이터베이스가 애플리케이션 내부에 포함되어 있어 로컬 데이터 분석에 최적화되어 있다
  • 데이터 전송이 불필요하여 로컬 설치 환경에서 더 빠르게 작동한다

고성능 분석 처리

DuckDB는 OLAP 작업을 위해 고도로 최적화되어 있다.

Note

OLAP(Online Analytical Processing)는 대량의 데이터를 분석하고 집계하는 데 최적화된 데이터 처리 방식이다. 비즈니스 인텔리전스와 데이터 분석에 주로 사용된다.

  • 컬럼 지향 저장 방식을 사용해 집계, 조인, 읽기 작업을 빠르게 처리한다
  • 벡터화된 쿼리 실행 방식을 통해 CPU 활용을 극대화하며, 다중 CPU 코어를 병렬로 활용할 수 있다
  • Pandas와 비교해 메모리 효율성이 뛰어나며, 메모리 한계를 초과하는 데이터도 안정적으로 처리할 수 있다
  • 복잡하고 긴 쿼리도 빠르게 처리하며, 단일 머신에서 대부분의 대규모 데이터 작업을 수행할 수 있다

SQL 중심 접근법

DuckDB는 SQL을 중심으로 데이터 처리를 간소화한다.

  • 전통적인 SQL 문법과 더불어 윈도우 함수, 집계 함수 등 고급 기능을 제공한다
  • PostgreSQL API를 기반으로 ACID 트랜잭션을 보장하여 안정적인 데이터 처리가 가능하다
  • Pandas의 복잡한 데이터 조작 대신 직관적인 SQL로 동일한 작업을 수행할 수 있다
  • Arrow, Parquet와의 네이티브 통합을 지원하며, Python 클라이언트를 통해 다양한 데이터 과학 도구와 쉽게 연계할 수 있다

DuckDB의 한계

DuckDB는 강력한 도구이지만 몇 가지 한계가 있다.

  • 단일 머신 기반으로 설계되어 데이터가 머신의 메모리 한계를 초과할 경우 적합하지 않다
  • 다중 사용자 환경이나 멀티 테넌트 작업에는 부적합하다
  • 트랜잭션 중심의 OLTP 데이터베이스로 설계되지 않았으므로, 복잡한 트랜잭션 작업에는 SQLite나 PostgreSQL 같은 대안을 고려해야 한다

DuckDB vs SQLite

공통점

  • 단일 파일 데이터베이스로 별도의 서버가 필요하지 않다
  • 경량형으로 임베디드 환경에서도 사용할 수 있다
  • ACID 트랜잭션을 지원해 데이터 무결성을 보장한다

차이점

DuckDB와 SQLite는 목적과 성능 면에서 큰 차이를 보인다:

  • 저장 방식: DuckDB는 컬럼 지향 저장 방식으로 대규모 데이터 집계와 분석에 최적화되어 있다. SQLite는 로우 지향 저장 방식으로 개별 행의 읽기/쓰기에 적합하다.
  • 쿼리 실행: DuckDB는 벡터화된 쿼리 실행 방식으로 대규모 데이터를 빠르게 처리한다. SQLite는 단순 검색과 트랜잭션 중심 작업에서 유리하다.
  • 병렬 처리: DuckDB는 멀티 스레드 활용이 가능해 병렬 쿼리 처리를 지원한다. SQLite는 단일 스레드 기반으로 동시 쓰기가 제한된다.
  • 데이터 형식 지원: DuckDB는 CSV, Parquet, Arrow 등의 데이터를 직접 로드할 수 있다. SQLite는 외부 데이터를 SQL로 삽입하여 처리해야 한다.
  • 활용 분야: DuckDB는 데이터 분석, 대규모 집계, 머신러닝 파이프라인 작업에 적합하다. SQLite는 임베디드 시스템과 간단한 트랜잭션 관리에 더 적합하다.

Python에서 DuckDB 사용하기

설치 및 환경 설정

pip install duckdb

DuckDB 연결 설정

DuckDB는 인메모리 데이터베이스와 영구 데이터베이스 두 가지 방식으로 연결할 수 있다.

# 인메모리 데이터베이스
import duckdb
conn = duckdb.connect()
 
# 영구 데이터베이스
conn = duckdb.connect("my_db.db")

다양한 파일 형식 쿼리하기

DuckDB는 CSV, Parquet 등 다양한 파일 형식을 직접 SQL로 쿼리할 수 있다.

# CSV 파일 쿼리
df = conn.sql("""
    SELECT *
    FROM 'dataset/*.csv'
    LIMIT 10
""").df()
 
# Parquet 파일 쿼리
df = conn.sql("""
    SELECT *
    FROM 'data.parquet'
    WHERE column1 > 100
""").df()

Pandas 통합

Pandas DataFrame을 DuckDB 테이블로 등록하여 SQL로 처리할 수 있다.

import pandas as pd
 
# Pandas DataFrame 생성
pandas_df = pd.DataFrame({
    'A': [1, 2, 3],
    'B': ['a', 'b', 'c']
})
 
# DuckDB에 등록
conn.register("df_view", pandas_df)
 
# SQL로 쿼리
result = conn.execute("SELECT * FROM df_view WHERE A > 1").df()
print(result)
 
# 테이블 구조 확인
print(conn.execute("DESCRIBE df_view").df())

Note

DuckDB는 Pandas DataFrame을 복사하지 않고 참조로 사용하므로 메모리 효율성이 높다. 또한 Pandas의 한계를 초과하는 대용량 데이터도 처리할 수 있어 데이터 전처리 작업에 매우 유용하다.

DuckDB 활용 사례

데이터 과학 및 분석

  • Pandas로 처리하기 어려운 대용량 데이터셋 분석
  • 복잡한 SQL 쿼리를 통한 데이터 집계 및 변환
  • 메모리 효율적인 데이터 처리로 빅데이터 분석 작업 수행
  • 데이터 탐색 및 시각화를 위한 전처리 작업

예시:

# 대용량 CSV 파일 분석
results = conn.sql("""
    SELECT 
        category,
        AVG(price) as avg_price,
        COUNT(*) as count
    FROM 'sales_data/*.csv'
    GROUP BY category
    ORDER BY avg_price DESC
""").df()
 
# 시각화 라이브러리와 통합
import matplotlib.pyplot as plt
plt.bar(results['category'], results['avg_price'])
plt.title('Average Price by Category')
plt.show()

ETL 작업

  • 다양한 소스에서 데이터 추출 및 변환
  • 정형화된 데이터셋 생성 및 저장
  • 데이터 웨어하우스 구축 전 전처리 작업
  • 효율적인 데이터 파이프라인 구성

예시:

# Parquet 파일 변환 및 저장
conn.sql("""
    CREATE TABLE transformed_data AS
    SELECT 
        id,
        EXTRACT(YEAR FROM date) as year,
        EXTRACT(MONTH FROM date) as month,
        amount,
        category
    FROM 'raw_data.parquet'
    WHERE amount > 0
""")
 
# 결과 저장
conn.sql("COPY transformed_data TO 'transformed_data.parquet' (FORMAT PARQUET)")

대규모 데이터 처리

  • 클라우드 스토리지(S3, GCS 등)의 데이터 직접 쿼리
  • 단일 머신에서 효율적인 OLAP 작업 수행
  • 분산 시스템 없이도 수십 GB 데이터 처리 가능
  • 간편한 데이터 분석 환경 구축

예시:

# S3 버킷의 Parquet 파일 쿼리 (httpfs 확장 설치 필요)
conn.sql("INSTALL httpfs")
conn.sql("LOAD httpfs")
conn.sql("SET s3_region='us-east-1'")
 
results = conn.sql("""
    SELECT *
    FROM 's3://bucket-name/path/to/data/*.parquet'
    LIMIT 1000
""").df()

언제 DuckDB를 선택해야 하는가?

분석 중심 작업

복잡한 SQL 쿼리, 집계, 윈도우 함수, 다중 테이블 간 조인 등 분석 중심의 작업이 필요할 때 DuckDB가 적합하다. 데이터 웨어하우스와 유사한 기능을 로컬에서 활용할 수 있다.

대용량 데이터 처리

CSV, Parquet, Arrow와 같은 대용량 데이터 파일을 SQL로 직접 쿼리해야 하는 경우 DuckDB가 유리하다. Pandas보다 성능이 뛰어나고 메모리 문제를 덜 겪는다.

데이터 과학 도구와의 통합

Python, R, Julia와 같은 데이터 과학 도구들과 원활히 작동하며, Pandas DataFrame, Arrow 테이블 등과 직접적으로 연계할 수 있어 기존 워크플로우에 쉽게 통합된다.

병렬 처리 필요성

다중 CPU 코어를 활용하여 데이터 분석 속도를 높일 수 있어, 병렬 처리가 필요한 복잡한 쿼리에 적합하다.

간편한 설정 필요

DuckDB는 별도의 클라이언트-서버 설정 없이 단일 파일로 실행되므로 빠르게 환경을 구성하고 사용할 수 있다.

언제 다른 솔루션이 적합한가?

OLTP 작업

자주 읽고 쓰는 트랜잭션 관리가 중요하다면 SQLite나 PostgreSQL 같은 전통적인 OLTP 데이터베이스가 더 적합하다. DuckDB는 분석에 최적화되어 있어 빈번한 갱신에는 적합하지 않다.

분산 처리 필요성

단일 머신을 넘어 여러 노드로 데이터를 분산 처리해야 한다면 Apache Spark, Dask, BigQuery와 같은 도구를 선택해야 한다. DuckDB는 기본적으로 단일 머신에서 작동한다.

다중 사용자 환경

여러 사용자가 동시에 데이터베이스에 접근하거나 데이터를 공유해야 한다면 PostgreSQL 또는 MySQL 같은 서버 기반 DBMS가 더 적합하다. DuckDB는 주로 단일 사용자 환경을 위해 설계되었다.

임베디드 시스템

단순 트랜잭션 관리와 로우 지향 데이터 저장이 필요한 임베디드 시스템에서는 SQLite가 더 적합하다. DuckDB는 분석 워크로드에 최적화되어 있다.

대규모 데이터 웨어하우스

테라바이트 이상의 데이터를 다루고 클라우드 기반 확장이 필요하다면 Snowflake, Redshift, MotherDuck 같은 솔루션이 더 효율적이다. 이러한 솔루션들은 DuckDB보다 대규모 환경에서 더 나은 확장성을 제공한다.

결론

DuckDB는 가볍고 강력한 데이터 분석 도구로, 단일 머신에서도 효율적인 OLAP 작업을 수행할 수 있게 해준다. 컬럼 지향 저장 방식과 병렬 처리 기능을 통해 대용량 데이터도 빠르게 분석할 수 있으며, SQL 표준을 준수하면서도 다양한 데이터 형식을 지원해 분석 워크플로우를 간소화한다.

SQLite가 트랜잭션 중심의 경량 데이터베이스라면, DuckDB는 데이터 분석을 위한 강력한 솔루션이다. 두 시스템의 차이를 명확히 이해하고 적절한 작업에 적용하면 효율성을 극대화할 수 있다.

특히 데이터 과학, 빅데이터 분석, ETL 작업을 수행하는 전문가들에게 DuckDB는 강력한 도구가 될 수 있으며, 더 복잡한 분산 시스템으로 넘어가기 전에 단일 머신에서의 성능을 최대한 활용할 수 있는 좋은 선택지다.

Graph View