제너레이터(Generator) 기반 무한 스트리밍 처리

def stream_large_log(file_path):
    with open(file_path, 'r', encoding='utf-8') as f:
        for line in f:
            if line.strip():
                yield line.strip()

def parse_log_pipeline(lines):
    for line in lines:
        parts = line.split('|')
        if len(parts) >= 3 and int(parts[1]) >= 400: # 에러 로그만 필터
            yield {"timestamp": parts[0], "status": int(parts[1]), "msg": parts[2]}

# 파이프라인 결합 (RAM 점유량 5MB 미만 유지!)
log_stream = stream_large_log("production_50gb.log")
error_stream = parse_log_pipeline(log_stream)
for err in itertools.islice(error_stream, 5):
    print("🚨 이상 감지:", err)