외부 데이터 자동수집과 회계 RPA 시스템

회계사무소의 월말 마감은 보통 "자료 좀 보내주세요"로 시작합니다. 고객이 엑셀이나 PDF를 보내면 직원이 시스템에 업로드합니다. 48단계는 이 패러다임을 바꿉니다. 시스템이 스스로 외부 국세청, 은행 API, 혹은 accounting@company.com 이메일함을 뒤져 데이터를 확보하고 47단계의 AI Workflow로 넘겨버립니다.

우리가 모아야 할 데이터는 은행 API, 스크래퍼 JSON, 외부 SaaS 등 모양이 제각각입니다. 이를 우리 시스템의 transactions 테이블 구조로 통일해야 합니다.

• Extract (추출): requests.get() 또는 OAuth 기반 API 호출로 외부 데이터를 가져옵니다.
• Transform (변환): supply_amount를 amount로, "1,500,000원"을 정수 1500000으로 파이썬을 통해 변환(Data Normalization)합니다.
• Load (적재): 변환된 데이터를 MariaDB에 저장하거나 Workflow Queue로 밀어넣습니다.

파이썬 APScheduler를 활용해 매일 새벽 1시에 "새 데이터 있나?" 하고 물어보는 방식을 Polling이라고 합니다. 반대로 외부 시스템에서 결제가 일어날 때마다 우리 FastAPI의 /webhooks/transaction 엔드포인트를 찔러주는 방식을 Webhook이라고 합니다. 실무에서는 두 가지를 모두 혼용하여 사용합니다.

어제 수집한 데이터를 오늘 스케줄러가 또 수집한다면 장부 금액이 2배로 튀어버립니다. 이를 막는 것은 생명선과 같습니다.

# 외부 API가 고유 ID를 제공하지 않을 경우 파이썬으로 Hash(고유키) 생성
import hashlib

raw_text = "2026-08-27|ABC주식회사|1500000|승인123"
unique_key = hashlib.sha256(raw_text.encode()).hexdigest()

# 이 unique_key를 DB 테이블에 UNIQUE INDEX로 걸어 중복 저장을 차단합니다.

외부 데이터에는 거래처 이름이 (주)ABC, ABC주식회사, ABC 등 중구난방으로 들어옵니다. 단순 == 비교로는 놓치는 데이터가 많으므로, 파이썬을 이용해 문자열을 정제하고 유사도(Fuzzy Matching)를 판별해야 합니다. 단, 신뢰도가 애매한 구간(예: 60~90%)은 반드시 회계사가 수동으로 [확정] 할 수 있도록 UI로 빼주어야 합니다.

만약 대상 기관에서 오픈 API를 제공하지 않는다면, 파이썬 매크로(Selenium이나 Playwright 등)를 띄워 마치 사람이 마우스로 로그인하고 엑셀을 다운로드하는 것처럼 행동하게 만드는 RPA 방식을 구현할 수 있습니다.

47단계의 Workflow와 48단계의 자동 수집이 결합하면, 매월 말일 회계사의 화면에는 다음과 같은 요약판이 등장합니다.

회계사는 12,000건을 다루는 것이 아니라, 시스템이 추려준 700여 건의 예외 케이스(Exception)만 처리하고 퇴근하게 됩니다.

데이터의 '입력'부터 '분석'까지 파이프라인 자동화가 모두 완성되었습니다.

다음 49단계에서는 다시 유저 인터페이스(UI) 측면의 진화를 다룹니다. 버튼을 누르고 메뉴를 찾아다니는 것이 아니라 채팅창에 "A거래처 8월 거래 중 100만원 이상 비용만 뽑아서 전년 동월과 비교해줘"라고 자연어로 치면, AI 에이전트가 알아서 파이썬 판다스(Pandas) 코드를 짜고 SQL을 돌려 PDF 보고서를 던져주는 진정한 회계 Copilot을 완성하게 됩니다!