블로그로 돌아가기
[TREND]

AI 글쓰기, 이렇게 하면 안 되나요? 방식 3가지의 근거와 한계, 내 눈 점검 퀴즈 (2026)

퀀텀점프클럽 정상록퀀텀점프클럽 정상록10분 읽기1 views
#블라인드 퀴즈#CLAUDE.md#AI 티#프롬프트#AI 글쓰기

무료 자료

PDF · 무료

AI로 글쓰기 이렇게 하면 안됩니다. 직접 확인해보세요: 비개발자를 위한 쉬운 가이드

긴 글을 다 읽기 전에, 실무 가이드부터 먼저 챙겨가세요.

AI 글쓰기, 이렇게 하면 안 되나요? 방식 3가지의 근거와 한계, 내 눈 점검 퀴즈 (2026)

AI로 쓴 글은 정말 보면 티가 나나요?

AI로 글을 쓰는 방식은 하나가 아니에요. 지시문(프롬프트)만 던지기, AI 티 목록 보고 지우기, 규칙과 지침 파일을 매번 함께 싣기가 대표적이고 방식마다 근거와 한계가 달라요.

"AI가 쓴 글은 보면 티 나지 않나요?" 보고서나 제안서를 쓰는 분이라면 한 번쯤 던져 본 질문일 거예요. "우리 팀 문서에 AI 티가 나면 어떡하지" 하는 걱정도 자연스럽고요. 이 글에서는 AI 글쓰기 세 방식을 연구와 공식 문서로 살펴보고 QJC 블라인드 퀴즈 "이 중 AI가 쓴 글은 몇 편일까요?"로 이어 갑니다.

사람은 AI 글을 얼마나 잘 가려내나요?

Cheng 등이 2025-11-22 Advances in Simulation에 발표한 연구에 따르면 블라인드 평가자 5명의 판별 정확도는 19%였어요. 의학 시뮬레이션 학술지의 논문 서론 30편을 사람이 전부 쓴 글, 가벼운 AI 편집, 많은 AI 편집, 사람 내용 바탕의 AI 작성, 제목만 주고 AI가 쓴 글의 5가지 조건으로 만들어 맞히게 한 실험이에요. 5가지 중 하나를 고르는 과제라 무작위로 찍어도 20%가 나와요. 19%는 그 기준선과 같은 수준이고 논문 초록도 "우연과 구분되지 않는다"고 적었어요.

국제 AI 안전 보고서 2026(2026-02-24)에 따르면 기존 연구에서 5분 대화를 나눈 뒤 참가자의 77%가 GPT-4o가 만든 텍스트를 사람이 쓴 것으로 착각했어요. 대화 상황에서 나온 수치라 글을 읽고 맞히는 19%와는 직접 견줄 수 없어요.

사람은 헷갈려도 기계는 글의 구조를 봐요. 2026-09-14 공개된 SlopShape 프리프린트(동료 심사를 받기 전 논문)는 ChatGPT 이전 사람이 쓴 블로그 글 2,250편과 AI 모델 5종이 쓴 글 11,250편을 비교했어요. 정보를 놓는 순서나 근거를 대는 방식 같은 구조 특징 176개만으로 AI 글을 가려내는 점수(macro-F1)가 97.0이었다고 밝혔어요. 논문은 AI 글이 "깔끔하고 스스로를 예고하는 모양"을 공유한다고 설명해요. 268개 기업 도메인의 블로그 글을 대상으로 한 심사 전 결과라 모든 글에 그대로 옮기기는 어려워요.

지시문만 던지면 글이 어떻게 되나요?

가장 흔한 방식은 지시문만 건네고 결과를 그대로 쓰는 거예요. 위키백과 'Signs of AI writing' 문서(2026-10-09 개정판)는 AI 글이 평범해지는 이유를 이렇게 설명해요. LLM(대규모 언어 모델)은 통계적으로 가장 그럴듯한 쪽으로 '평균 회귀'해서 구체적이고 드문 사실을 지우고 더 일반적이고 긍정적인 서술로 바꾸는 경향이 있다는 거예요. 문서가 든 예는 '최초의 열차 연결 장치 발명가'가 '혁명적인 산업의 거인'으로 바뀌는 경우예요.

Anthropic의 프롬프팅 공식 문서는 Claude를 "당신 회사의 규범과 업무 방식을 모르는, 뛰어나지만 새로 온 직원"으로 생각하라고 권해요. 원하는 바를 정확히 설명할수록 결과가 좋아진다는 설명도 있어요. 시스템 프롬프트(AI에게 처음 주는 역할 지시)에 역할을 한 문장만 적어도 어조가 달라진다고 해요.

저희 해석은 이래요. 새 직원에게 회사 사정을 알려 주지 않고 보고서를 맡기면 무난한 평균점의 글이 나오기 쉬워요.

AI 티 목록을 보고 지우는 방식은 통할까요?

AI 티(AI-tell): 내용과 상관없이 문체나 구조에서 기계가 썼다는 느낌을 주는 특징이에요. 위키백과 문서는 이를 규칙이 아니라 관찰 기록으로 정리해요.

AI 티 목록은 참고하기 좋아요. 문제는 목록이 계속 바뀐다는 점이에요. 위키백과 문서는 징후를 고치기만 하면 "탐지를 더 어렵게 만들 뿐"이라고 짚어요. 줄표(em dash) 과다 사용은 한때 대표적인 티였지만 2026-10-09 개정판 기준으로는 '과거 지표(2022~2026년 9월)' 절에 들어 있어요.

이코노미스트 2026-07-30 기사는 ChatGPT·Claude·Gemini·Grok이 쓴 기사를 사람 기사와 5만 5,940문장 규모로 비교했어요. 사람보다 줄표를 많이 쓰는 모델은 Claude뿐이었고 ChatGPT는 가장 적게 썼다고 보도했어요(Daring Fireball의 발췌로 확인). 영어 기사를 분석한 연구라 한국어 글에 그대로 대입하면 안 돼요.

위키백과(영어 문서), 오마이뉴스 칼럼(2026-09-06), 브런치 글(2026-06-26)이 꼽는 패턴을 모으면 아래와 같아요. 일부는 한 곳에서만 나온 관찰이에요.

  • 결론을 너무 깔끔하게 정리하는 마무리
  • 셋씩 묶어 나열하기
  • "단순한 X가 아니라 Y" 식 대구
  • 같은 길이 문장의 반복
  • "~하는 것이 중요합니다" 같은 정리형 관용구

줄표나 '~것이 중요' 같은 고전적인 티는 퀴즈 글 18편 전체에서 0회였어요. 저희가 직접 세어 본 값이에요. 목록만으로 글을 가려내기는 생각보다 쉽지 않다는 뜻이에요. 한 X 사용자(@j_g_allen, 2026-09-20)는 AI 글의 티가 줄표나 대구 구조가 아니라 "고칠 데가 없다는 것"이라고 썼어요. 목록을 보고 지우는 일은 지난 모델의 흔적을 닦는 작업이라 모델이 바뀌면 다시 낡는다는 게 저희 해석이에요.

규칙과 지침 파일을 매번 함께 싣는 방식은 어떤가요?

세 번째는 회사 규칙과 글쓰기 지침을 적은 파일을 AI에게 매번 함께 싣는 방식이에요. Anthropic의 AI 작업 도구 Claude Code에서는 이 파일이 CLAUDE.md예요. 공식 문서(2026-10-10 수정 기준)에 따르면 각 세션은 "새 컨텍스트 창으로 시작한다"고 해요. 컨텍스트 창은 AI가 한 번에 볼 수 있는 작업 메모장이에요. CLAUDE.md는 "매 세션 시작 시 읽힌다"니, 첫 출근 같은 하루를 매번 시작하는 직원 책상에 업무 수첩을 올려 두는 셈이에요.

문서는 이 파일을 "강제 설정이 아니라 맥락"으로 다룬다고 밝혀요. 지시가 "구체적이고 간결할수록 더 일관되게 따른다"고 하고 파일당 200줄 이하를 권해요. "긴 파일은 컨텍스트를 더 쓰고 준수도를 떨어뜨린다"는 설명도 있어요. 규칙을 많이 넣으면 글이 저절로 자연스러워진다는 근거는 이 문서에서 찾을 수 없어요.

비슷한 발상은 다른 곳에서도 보여요. AI타임스 2026-09-07 보도는 오픈AI가 이메일·문서·메시지를 연결해 개인 문체를 학습하는 '글쓰기 스타일' 기능을 테스트 중이라고 전했어요(테스팅카탈로그 보도 인용). 아직 정식 출시 전의 테스트 보도예요.

블라인드 퀴즈는 어떻게 진행되나요?

QJC(퀀텀점프클럽) 글쓰기 블라인드 퀴즈의 첫 화면에는 "이 중 AI가 쓴 글은 몇 편일까요?"라는 질문이 나와요. 18편을 읽고 글마다 "사람이 썼다"와 "AI가 썼다" 중 하나를 고르면 돼요. 걸린 표현은 메모로 남길 수 있고 채점 뒤에는 정답과 다른 참여자의 판정을 함께 볼 수 있어요. 메모 예시는 "문장 길이가 다 비슷함", "마지막 문단이 교과서 같음" 같은 것들이에요. 이름은 저장하지 않고 판정과 메모만 익명으로 모아요.

글은 제안서, 블로그, 유튜브 대본 3개 과제로 나뉘어요. 과제마다 글이 6편씩 있고, 누가 어떻게 쓴 글인지는 채점을 마친 뒤에 공개돼요.

어느 방식의 글이 더 자연스럽게 읽혔는지는 아직 말씀드릴 수 없어요. 참여가 쌓여야 알 수 있어요. 위키백과 문서에도 'Wikipedia:AI or not quiz' 링크가 있어서 이런 판별 퀴즈는 낯선 형식이 아니에요. 정답보다 솔직한 첫인상이 쓸모 있다고 퀴즈 화면은 안내해요.

마무리

세 방식을 나란히 놓으면 공통점이 하나 보여요. 어느 쪽도 만능이 아니에요. 지시문만 던지면 평균에 가까운 글이 나오기 쉽고 티 목록은 모델이 바뀌면 낡아요. 규칙 파일은 구체적이고 간결해야 잘 따른다는 것이 공식 문서의 설명이에요. 사람의 감이 우연 수준이라는 연구가 있으니 내 눈이 어떤지 직접 재 보는 것도 AI 글쓰기를 점검하는 한 방법이에요.

우리 팀 상황에 맞는지부터 따져보셔도 충분합니다. 판단에 필요한 기준은 위에 정리해 뒀어요.

18편 중 AI가 쓴 글을 직접 골라보세요: https://claude.ai/artifact/MQ6dedPXFc3Teb2UxHVj9y

자주 묻는 질문

사람 눈으로 AI가 쓴 글을 가려낼 수 있나요?

연구에서는 어려웠어요. Cheng 등의 2025-11-22 연구에서 평가자 5명의 정확도는 19%였고 5가지 조건을 고르는 과제의 무작위 기준선은 20%예요. 평가자 수가 적고 의학 논문 서론이라는 한정된 조건이라는 점은 감안해야 해요.

AI 티 목록만 보고 지우면 충분한가요?

충분하지 않아요. 위키백과 'Signs of AI writing' 문서(2026-10-09 개정판)는 징후를 고치기만 하면 탐지를 더 어렵게 만들 뿐이라고 짚어요. 그 개정판 기준으로 줄표 과다 사용은 '과거 지표(2022~2026년 9월)' 절에 있어요.

AI로 글을 아예 쓰지 말라는 의견은 어떻게 봐야 하나요?

의견이 갈려요. 2026-09-21 해커뉴스에 올라온 'Don't Use AI to Write'는 148포인트와 댓글 85개를 받았어요. 교정과 재배치에는 쓸 만하다는 의견과 구조와 교정을 AI에 맡기면 결국 AI로 쓰는 것이라는 반론이 함께 나왔어요. 이 글은 쓸지 말지를 정하지 않고 방식별 근거만 정리했어요.

관련 글

참고 자료