QJC · BLOG · TAG

#llm-as-judge

2 posts

2026.07.08[TUTORIAL]

AI 에이전트, 데모는 되는데 실전에선 왜 무너질까 — 평가(eval)가 답이다

AI 에이전트가 시연에선 완벽하다가 실전에서 무너지는 진짜 이유는 평가 부재입니다. 최종 답이 아니라 과정(궤적)을 채점하는 eval 체계를 쉽게 풀어드립니다.

23 views#Llm 평가#에이전트 평가

2026.06.01[TUTORIAL]

AI 슬롭 고치는 법: eval loop 4단계가 '시스템'인 이유 (Hermes Agent)

AI 슬롭은 프롬프트 문제가 아니라 시스템 문제입니다. 생성→채점→게이트→발행으로 이어지는 eval loop 4단계와 LLM-as-judge, Hermes Agent 자기개선 사례를 통해 1인 운영자가 오늘 바로 시작할 수 있는 최소 eval loop를 단계별로 정리했어요.

18 views#Nousresearch#Llm As Judge