Apache Arrow 기반 Zero-Copy 파이프라인

import duckdb
import polars as pl
import time

con = duckdb.connect()

# 1. DuckDB로 대용량 집계 쿼리 실행 -> Arrow 테이블로 Zero-Copy 반환
start = time.perf_counter()
arrow_table = con.execute("SELECT * FROM read_parquet('lake/*.parquet') WHERE amount > 1000").arrow()

# 2. 메모리 복사 없이 Polars DataFrame으로 변환 (포인터만 전달, 시간: 0.001초 미만)
pl_df = pl.from_arrow(arrow_table)

# 3. Polars에서 멀티코어 머신러닝 피처 가공
final_df = pl_df.with_columns((pl.col("amount") * 1.1).alias("adjusted_amount"))

print(f"⚡ Zero-Copy 파이프라인 완성: {time.perf_counter()-start:.3f}초 소요 (복사 오버헤드 0%)")