Firecrawl Document Parsing: AI를 위한 문서 파싱의 새로운 기준

AI 에이전트와 RAG 파이프라인이 확산되면서 비정형 문서를 구조화된 데이터로 변환하는 수요가 폭발적으로 늘고 있습니다. PDF 보고서, Excel 스프레드시트, Word 기획서 — 이 모든 포맷을 AI가 바로 소화할 수 있는 형태로 바꿔야 하죠. Firecrawl Document Parsing은 URL 하나만 넘기면 문서 유형을 자동 감지하고, 깨끗한 마크다운으로 변환해주는 도구입니다.

2026년 4월 14일에 출시된 Fire-PDF 엔진은 Rust 기반으로 기존 대비 3.5~5.7배 빠른 처리 속도를 달성했습니다. 이 글에서는 Firecrawl Document Parsing의 핵심 기능, 3가지 PDF 파싱 모드, Fire-PDF 엔진의 아키텍처, 그리고 실전 RAG 파이프라인 활용법까지 종합적으로 분석합니다.

Firecrawl Document Parsing이란?

Firecrawl Document Parsing은 다양한 문서 포맷(PDF, Excel, Word)에서 구조화된 콘텐츠를 추출하여 AI가 바로 활용할 수 있는 마크다운으로 변환하는 문서 파싱 서비스입니다.

기존의 문서 파싱 도구들은 포맷별로 다른 라이브러리를 사용해야 했습니다. PyPDF2로 PDF를 처리하고, openpyxl로 Excel을 읽고, python-docx로 Word를 파싱하는 식이죠. Firecrawl은 이 과정을 단일 API 엔드포인트로 통합했습니다.

URL을 넘기면 파일 유형을 자동 감지하고, 해당 포맷에 최적화된 파서로 처리한 뒤, 일관된 마크다운 출력을 반환합니다. 코드 변경 없이 PDF든 Excel이든 동일한 인터페이스로 처리할 수 있다는 점이 핵심입니다.

지원 포맷별 변환 방식

PDF (.pdf)

가장 복잡하면서도 가장 수요가 높은 포맷입니다. 텍스트 기반 PDF, 스캔된 PDF, 그리고 텍스트와 이미지가 혼합된 PDF를 모두 지원합니다. OCR이 내장되어 있어 스캔 문서도 별도 설정 없이 처리됩니다.

Excel (.xlsx, .xls)

워크시트별로 HTML 테이블로 변환하며, 셀 서식을 보존합니다. 복잡한 수식이 포함된 재무제표나 데이터 시트도 구조를 유지한 채 마크다운으로 출력됩니다.

Word (.docx, .doc, .odt, .rtf)

문서 구조인 제목, 목록, 표를 그대로 보존합니다. 들여쓰기 깊이, 번호 매기기, 표의 셀 병합까지 원본의 의도를 최대한 살려서 변환합니다.

PDF 파싱 3가지 모드

Firecrawl Document Parsing의 PDF 처리는 3가지 모드를 제공합니다. 문서 특성에 따라 최적의 모드를 선택하거나, auto 모드에 맡기면 됩니다.

auto 모드 (기본)

빠른 텍스트 추출을 먼저 시도하고, 실패하면 OCR로 자동 폴백합니다. 99%의 사용 사례에서 이 모드면 충분합니다. 텍스트 기반 PDF는 빠르게 처리되고, 스캔 문서는 자동으로 OCR이 적용되니 사용자가 문서 유형을 판별할 필요가 없습니다.

fast 모드

임베디드 텍스트만 추출합니다. 가장 빠른 속도를 자랑하지만 스캔 PDF는 지원하지 않습니다. 텍스트 기반 PDF만 다룬다는 확신이 있을 때, 또는 대량 배치 처리에서 속도가 중요할 때 사용합니다.

ocr 모드

모든 페이지에 강제로 OCR을 적용합니다. 완전히 스캔된 문서, 손글씨가 포함된 양식, 또는 이미지 위에 텍스트가 겹쳐진 복잡한 문서를 처리할 때 사용합니다.

from firecrawl import Firecrawl

firecrawl = Firecrawl(api_key='fc-YOUR_API_KEY')

# auto 모드 (기본값 — 대부분의 경우 이것만으로 충분)
result = firecrawl.scrape('https://example.com/report.pdf', formats=['markdown'])

# fast 모드 (텍스트 기반 PDF 전용, 최고 속도)
result = firecrawl.scrape('https://example.com/doc.pdf', formats=['markdown'], parsePDF='fast')

# ocr 모드 (스캔 문서, 손글씨 양식)
result = firecrawl.scrape('https://example.com/scanned.pdf', formats=['markdown'], parsePDF='ocr')

Fire-PDF 엔진: 3.5~5.7배 빠른 Rust 기반 파싱

2026년 4월 14일에 공개된 Fire-PDF는 Firecrawl의 PDF 파싱 성능을 근본적으로 업그레이드한 엔진입니다. 핵심은 페이지별 분류 전략입니다.

pdf-inspector라는 오픈소스 Rust 라이브러리가 밀리초 단위로 각 페이지를 분류합니다. 텍스트 기반 페이지는 GPU 없이 네이티브로 추출하고, 스캔/이미지 페이지만 뉴럴 레이아웃 모델과 GLM-OCR을 적용합니다. 모든 페이지에 무차별적으로 OCR을 돌리는 기존 방식과 달리, 필요한 곳에만 AI를 투입하는 전략입니다.

5단계 파이프라인

1. Classify — pdf-inspector가 페이지를 텍스트/이미지/혼합으로 분류
2. Render — 이미지 페이지를 고해상도로 렌더링
3. Layout Detection — 뉴럴 모델이 표, 수식, 다중 컬럼 등 레이아웃 요소를 감지
4. Extraction — 텍스트 페이지는 네이티브 추출, 이미지 페이지는 GLM-OCR
5. Assembly — 추출된 요소를 원본 순서대로 마크다운으로 조립

이 파이프라인의 결과로 표는 마크다운 테이블로, 수식은 LaTeX로, 다중 컬럼은 정렬을 보존한 채 출력됩니다.

JSON 추출과의 결합

문서 파싱의 진가는 JSON 모드와 결합할 때 드러납니다. 비정형 문서에서 스키마 기반으로 구조화된 데이터를 추출할 수 있습니다.

result = firecrawl.scrape('https://example.com/report.pdf', {
    'formats': [{
        'type': 'json',
        'prompt': 'Extract revenue figures and company name',
        'schema': {
            'type': 'object',
            'properties': {
                'company': {'type': 'string'},
                'revenue': {'type': 'number'}
            }
        }
    }]
})

재무제표에서 매출 데이터를 뽑거나, 기술 논문에서 핵심 메트릭을 추출하거나, 규제 문서에서 특정 조항을 찾아내는 작업을 API 한 번의 호출로 처리할 수 있습니다.

실전 활용 사례

AI 에이전트 지식베이스 구축

기술 매뉴얼, 제품 문서, 내부 가이드라인을 마크다운으로 변환하면 AI 에이전트가 직접 참조할 수 있는 지식베이스가 됩니다. 기존에는 사람이 수동으로 문서를 정리했지만, Firecrawl을 사용하면 URL만 등록하면 됩니다.

RAG 파이프라인

PDF → 마크다운 → 청킹 → 임베딩 → 벡터 DB → 검색. 이 전체 파이프라인에서 가장 앞단인 문서 입수 단계를 Firecrawl이 담당합니다. RAGFlow 등 오픈소스 RAG 프레임워크와도 커넥터로 통합됩니다.

데이터/시장 인텔리전스

공시 보고서, 산업 분석 리포트, 경쟁사 IR 자료를 실시간으로 구조화 데이터로 변환하여 분석 파이프라인에 바로 투입할 수 있습니다.

가격 정책

PDF는 페이지당 1크레딧입니다. parsers를 빈 배열로 전달하면 base64로 반환되며 이 경우 1크레딧 정액으로 처리됩니다.

자주 묻는 질문 (FAQ)

Q: 한국어 PDF도 파싱이 되나요?

네. OCR 모드에서 GLM-OCR이 다국어를 지원하며, 한국어 PDF도 정상적으로 처리됩니다. 단, 복잡한 세로쓰기나 특수 글꼴은 정확도가 낮아질 수 있습니다.

Q: 로컬 파일도 처리할 수 있나요?

현재 Firecrawl API는 URL 기반입니다. 로컬 파일은 S3, GCS 등에 업로드한 뒤 URL을 전달하는 방식으로 처리합니다. 셀프호스팅 옵션도 제공됩니다.

Q: 암호화된 PDF는 어떻게 되나요?

비밀번호로 보호된 PDF는 현재 지원되지 않습니다. 비밀번호를 해제한 후 업로드해야 합니다.

Q: 기존 OCR 솔루션(Tesseract 등) 대비 장점은?

Fire-PDF는 페이지별 분류로 불필요한 OCR을 건너뛰어 속도가 3.5~5.7배 빠릅니다. 또한 표, 수식, 다중 컬럼 등 레이아웃 보존 기능이 Tesseract 단독 사용보다 우수합니다.

마무리

Firecrawl Document Parsing은 AI 시대의 문서 파싱 문제를 단일 API로 해결합니다. PDF, Excel, Word를 구분 없이 처리하고, Fire-PDF 엔진으로 속도와 정확도를 모두 잡았으며, JSON 추출과의 결합으로 비정형 데이터 구조화까지 가능합니다.

RAG 파이프라인, AI 에이전트, 데이터 인텔리전스 — 어떤 사용 사례든 문서 입수가 병목이라면 Firecrawl을 검토해볼 가치가 있습니다.

참고 자료

• Firecrawl Document Parsing 공식 문서
• Fire-PDF 엔진 출시 블로그
• Firecrawl Advanced Scraping Guide