promptfoo: OpenAI가 인수한 LLM 평가·레드팀 오픈소스 도구 완벽 가이드

promptfoo는 LLM 앱의 성능 평가(eval)와 보안 레드팀(red teaming)을 하나의 CLI로 통합한 오픈소스 도구입니다. 2026년 3월 9일 OpenAI에 인수되었으며, MIT 라이선스를 유지합니다.

LLM 애플리케이션을 개발할 때 가장 흔한 실수는 "잘 되는 것 같은데?"로 테스트를 끝내는 것입니다. promptfoo는 이 시행착오(trial-and-error) 방식을 테스트 주도 개발(test-driven)로 전환합니다. 프롬프트를 바꿨을 때 성능이 떨어지진 않았는지, 모델을 교체했을 때 품질이 유지되는지, 보안 취약점은 없는지를 YAML 설정 파일 하나로 자동 검증할 수 있습니다.

OpenAI 인수 배경: AI 에이전트 시대의 보안 과제

2026년 3월 9일, OpenAI는 promptfoo 인수를 공식 발표했습니다. 인수 금액은 비공개이나, 포스트 밸류에이션 기준 $85.5M 이상으로 추정됩니다.

OpenAI가 밝힌 인수 이유는 명확합니다. Fortune 500 기업의 AI 보안 이슈 82%가 표준 가드레일로 탐지할 수 없다는 것입니다. AI 에이전트가 도구를 호출하고, 데이터에 접근하고, 의사결정을 내리는 시대에 보안 테스트는 선택이 아닌 필수가 되었습니다.

promptfoo 전 직원 11명은 OpenAI에 합류하며, 보안 테스트·레드팀 기능을 OpenAI Frontier 플랫폼에 네이티브로 통합할 계획입니다. 중요한 점은 MIT 라이선스가 그대로 유지된다는 것입니다.

promptfoo 핵심 기능: 평가와 레드팀

다중 모델 평가(Eval)

promptfoo의 평가 기능은 GPT, Claude, Gemini, Llama 등 주요 LLM을 사이드바이사이드로 비교합니다. YAML 또는 JSON 설정 파일로 테스트 케이스를 선언적으로 정의하며, 코드를 작성할 필요가 없습니다.

지원하는 Assertion(검증) 유형:

• contains: 특정 키워드 포함 여부
• similar: 임베딩 기반 의미 유사도
• llm-rubric: LLM을 판정관으로 활용하는 LLM-as-Judge 방식
• is-json: JSON 구조 검증
• cost/latency: 비용·응답 시간 제한

100% 로컬에서 실행되며, 프롬프트가 외부 서버로 전송되지 않습니다. CI/CD 파이프라인에서 GitHub Actions와 네이티브로 통합할 수 있어, 프롬프트 변경마다 자동으로 품질 게이트를 적용할 수 있습니다.

레드팀(Red Teaming): 50+ 취약점 자동 스캔

promptfoo의 레드팀 기능은 LLM 앱의 보안 취약점을 자동으로 탐지합니다. 50가지 이상의 취약점 유형을 스캔하며, OWASP LLM Top 10을 커버합니다.

모델 레이어 위협:

• 프롬프트 인젝션 및 탈옥(Jailbreak)
• 혐오 발언, 편향, 독성 콘텐츠 생성
• 환각(Hallucination) 검출
• 저작권 침해 콘텐츠
• 학습 데이터 기반 PII 유출

애플리케이션 레이어 위협:

• 간접 프롬프트 인젝션(RAG 컨텍스트 오염)
• 도구 기반 취약점(SQL 인젝션, 권한 상승)
• 데이터 유출 및 세션 하이재킹

플러그인 아키텍처로 공격 생성기(plugins)와 전달 기법(strategies)을 조합하며, 에이전트 레드팀 기능은 다단계 검증 프로세스를 탐색하는 지능형 공격을 시뮬레이션합니다.

트랙션과 시장 검증

promptfoo의 성장 수치는 인수 근거를 뒷받침합니다.

Shopify, Amazon, Anthropic 등이 promptfoo를 채택하고 있으며, 11명의 팀이 이 규모의 채택을 달성했다는 점이 주목할 만합니다.

창업팀은 Ian Webster(CEO, Discord 시니어 스태프 엔지니어 출신)와 Michael D'Angelo(CTO, Smile ID VP Engineering)로 구성되어 있습니다. Ian Webster는 Discord에서 2억 유저 규모의 LLM 팀을 리드했으며, OWASP Gen AI Red Teaming에도 기여하고 있습니다.

실전 활용 사례: Discord Clyde AI

promptfoo의 가치를 가장 잘 보여주는 사례가 Discord Clyde AI입니다. Discord는 AI 챗봇 Clyde를 런칭한 후 "그랜드마 익스플로잇" 등 다양한 탈옥 취약점을 발견했습니다. 이후 promptfoo 초기 버전을 도입하고, 모든 프롬프트 및 워크플로우 변경에 평가를 의무화했습니다.

이 사례는 LLM 앱에서 "배포 후 문제 발견"이 아닌 "배포 전 자동 검증"이 얼마나 중요한지를 보여줍니다.

경쟁 도구 비교

promptfoo의 가장 큰 차별점은 성능 평가와 보안 레드팀을 하나의 도구로 제공한다는 점입니다.

시작하기: 5분 설치 가이드

promptfoo는 npm, brew, pip 등 다양한 패키지 매니저를 지원합니다.

# npm (권장)
npx promptfoo@latest init

# Homebrew
brew install promptfoo

# pip
pip install promptfoo

기본 평가 설정 파일(promptfooconfig.yaml) 예시:

prompts:
  - "Translate the following to {{language}}: {{text}}"

providers:
  - openai:gpt-4o
  - anthropic:messages:claude-sonnet-4-20250514

tests:
  - vars:
      language: Korean
      text: "Hello, how are you?"
    assert:
      - type: contains
        value: "안녕"
      - type: llm-rubric
        value: "Translation is natural and fluent"

# 평가 실행
npx promptfoo@latest eval

# 결과 웹 UI 확인
npx promptfoo@latest view

최근 업데이트와 향후 전망

2025-2026년 주요 업데이트:

• Claude Agent SDK 프로바이더 지원
• Docker Model Runner 및 MCP 지원
• 정적 모델 보안 스캐너 강화
• 에이전트 레드팀 전략 고도화
• Transformers.js 기반 로컬 추론

OpenAI 인수 후에는 Frontier 플랫폼에 보안 테스트·레드팀 기능이 네이티브로 통합될 예정입니다. 이는 AI 에이전트가 도구를 호출하고, 복잡한 워크플로우를 실행하는 시대에 보안 검증 표준이 될 가능성을 시사합니다.

자주 묻는 질문 (FAQ)

promptfoo는 무료인가요?

네. MIT 라이선스 오픈소스이며, OpenAI 인수 후에도 라이선스가 유지됩니다. 100% 로컬에서 실행할 수 있습니다.

어떤 LLM을 지원하나요?

OpenAI(GPT), Anthropic(Claude), Google(Gemini), Meta(Llama), Mistral 등 주요 LLM과 커스텀 API를 모두 지원합니다.

CI/CD에 통합할 수 있나요?

GitHub Actions와 네이티브로 통합되며, 프롬프트 변경마다 자동으로 평가를 실행할 수 있습니다.

레드팀 기능은 왜 필요한가요?

LLM 앱은 프롬프트 인젝션, 탈옥, PII 유출 등 전통적 소프트웨어에 없는 취약점을 가집니다. promptfoo는 50가지 이상의 공격 패턴을 자동으로 스캔하여 배포 전 취약점을 발견할 수 있습니다.

DeepEval과 뭐가 다른가요?

DeepEval은 Python 네이티브 평가 도구이고, promptfoo는 평가 + 보안 레드팀을 하나의 도구로 통합합니다. 보안 테스트가 필요하다면 promptfoo가 유리합니다.

마무리

promptfoo는 LLM 앱 개발의 "감 기반 테스트"를 "시스템 기반 테스트"로 전환하는 핵심 도구입니다. OpenAI 인수로 향후 AI 보안 표준에 큰 영향을 미칠 것으로 예상됩니다. LLM 앱을 개발하고 있다면, 지금 바로 프로젝트에 promptfoo를 도입해 보세요.

참고 자료

• OpenAI 공식 인수 발표
• promptfoo 공식 문서
• promptfoo GitHub 저장소
• TechCrunch 보도
• promptfoo 레드팀 문서