AI 에게 묻는 순서 바꾸기 — 결론 말고 근거부터 요구하는 지시문
IT/전자기기· 수정
“AI 한테 물어보면 늘 그럴듯하게 대답은 하는데, 이게 진짜 근거가 있어서 하는 말인지 그냥 있어 보이게 지어낸 말인지 모르겠다”는 얘기, 한 번쯤 해보셨을 거예요.
결론부터 말씀드리면, 질문의 순서를 바꾸는 것만으로도 답의 구조가 달라진다는 게 여러 공식 문서와 연구에서 확인됩니다. “정답이 뭐야?“처럼 결론부터 물으면 AI 는 그 결론에 맞는 근거를 뒤늦게 갖다 붙이는 경향이 있고, 반대로 “결론 내리기 전에 근거부터 정리해”라고 순서를 뒤집어 지시하면 답이 근거 중심으로 재구성됩니다. 아래에 그대로 복사해 쓸 수 있는 지시문과, 어느 서비스 공식 가이드에 이런 권고가 실제로 있는지를 정리했어요.
왜 순서를 바꾸면 답이 달라지나
사람도 그렇지만 AI 도 결론을 먼저 손에 쥐면 그 결론을 정당화하는 방향으로 말을 짜맞추는 경향이 있어요. 피츠버그대 연구진이 ACL 2025 학회에 발표한 「Unveiling Confirmation Bias in Chain-of-Thought Reasoning」 논문은, 모델이 어떤 답을 미리 “믿고” 있으면 그 믿음이 이후에 만들어내는 근거의 내용과 근거를 답으로 연결하는 방식 둘 다를 왜곡시킨다는 걸 실험으로 보였습니다. 사용자가 프롬프트 안에서 결론을 먼저 던져주는 것도 비슷한 효과를 낼 수 있다는 뜻이에요.
구글도 자사 프롬프트 설계 가이드에서 아예 대놓고 이렇게 적어 놨더라고요. “프롬프트 안의 내용 순서를 바꿔보고 그게 답변에 어떤 영향을 주는지 확인해 보라”는 문장이 실전 팁으로 들어가 있습니다(Prompt design strategies, Google — 프롬프트 설계 전략 ). 순서가 답의 형태를 바꾼다는 걸 구글 스스로도 전제하고 있는 셈이죠.
시작하기 전에 — 이 지시문이 통하는 조건
이건 어떤 설정 화면을 켜고 끄는 얘기가 아니라 프롬프트 안에 넣는 문장이라서 ChatGPT, Claude, Gemini 어느 요금제에서든 그냥 붙여 넣으면 됩니다. 무료 플랜이라고 안 되는 게 아니에요.
다만 하나 걸리는 게 있어요. “출처를 대라”는 지시는 AI 가 실제로 웹을 찾아볼 수 있을 때 의미가 있습니다. ChatGPT 의 검색 기능이나 Claude 의 웹 검색 도구, Gemini 의 실시간 검색 연동이 꺼져 있는 상태에서 출처를 대라고 시키면, 모델은 훈련 데이터에서 패턴으로 그럴듯한 링크를 지어낼 수 있어요. 이 부분은 아래 “안 되는 경우”에서 좀 더 자세히 다룰게요.
복사해서 바로 쓰는 지시문
프롬프트 맨 앞이나 시스템 프롬프트 칸에 그대로 넣을 수 있는 문장들이에요. 질문마다 필요한 것만 골라 붙이면 됩니다.
결론을 내리기 전에, 근거가 되는 핵심 사실을 최소 3가지 먼저 정리해줘. 각 사실마다 출처와 발행일(또는 확인 시점)을 같이 표시해줘. 확인할 수 없는 전망이나 예측은 “추정”이라고 따로 표시하고, 마지막에 결론을 말해줘.
확실하지 않은 내용은 “확실하지 않음”이라고 표시해도 괜찮아. 답변에 나오는 주장마다 그 주장을 뒷받침하는 인용문이나 출처를 붙여줘. 뒷받침할 근거를 찾지 못한 주장은 답변에서 빼줘.
웹에서 가져온 정보에는 반드시 출처를 표시해줘. 출처를 찾지 못한 내용은 쓰지 말고, 사실이나 날짜, URL 을 지어내지 마.
세 번째 문장은 사실 OpenAI 가 자기네 개발자 문서에서 권고하는 문장을 거의 그대로 옮긴 거예요. 원문은 “Do not invent citations.”, “Never invent facts.” 로, 짧고 단호하게 못 박혀 있습니다(GPT-5.2 Prompting Guide, OpenAI Cookbook — 프롬프팅 가이드 (개정) ).
“정답이 뭐야” 와 “근거부터 대” — 같은 질문, 다른 구조
같은 질문이라도 순서를 바꾸면 답의 뼈대가 이렇게 갈립니다. 예를 들어 “우리 동네에 새로 생긴다는 지하철역, 진짜 확정된 거야?“라는 질문을 두 가지 방식으로 넣는다고 해볼게요.
| 구분 | 결론 먼저 묻기 | 근거 먼저 요구하기 |
|---|---|---|
| 실제 프롬프트 | “우리 동네에 지하철역 새로 생기는 거 맞아?” | “결론 내리기 전에, 이 계획과 관련된 핵심 사실을 발표 주체·발표 시점과 함께 최소 3개 정리해줘. 그중 아직 확정 안 되고 검토 중이거나 추정인 내용은 ’추정’이라고 표시하고, 그다음에 결론을 말해줘.” |
| 답의 첫 줄 | “네, 확정됐습니다” 처럼 단정으로 시작 | 사실 1·2·3 을 발표 주체·시점과 함께 나열하는 것으로 시작 |
| 근거의 위치 | 결론 뒤에 뒷받침용으로 따라옴 | 결론보다 앞에 놓여, 결론이 근거의 요약 형태로 나옴 |
| 불확실한 부분 처리 | 잘 드러나지 않고 단정문에 섞여버림 | “추정”이라고 따로 표시되어 눈에 띔 |
이 구조 차이는 Anthropic 이 자사 문서에서 든 예시에서도 그대로 드러나요. 보도자료 초안을 쓰게 하면서 “각 주장마다 근거 문서에서 뒷받침하는 인용을 찾아서, 못 찾으면 그 주장을 빼고 빈 괄호로 표시해줘”라고 지시한 예시를 공식 가이드에 실어 놨는데, 이 방식대로 하면 근거가 없는 주장은 아예 결과물에서 빠지는 걸 볼 수 있습니다(Reduce hallucinations, Claude 문서 — 환각 줄이기 ).
ChatGPT·Claude·Gemini 공식 가이드에 실제로 있나
세 서비스 모두 확인해 봤는데, 표현은 달라도 방향은 비슷하더라고요.
Anthropic(Claude) 은 아예 “환각 줄이기”라는 이름의 공식 가이드 문서를 따로 두고 있어요. 여기서 권하는 기본 전략 세 가지가 정확히 이 글 주제예요 — “모른다”고 말할 권한을 명시적으로 주는 것, 긴 문서를 다룰 때는 답을 만들기 전에 원문 그대로의 인용문을 먼저 뽑게 하는 것, 그리고 답변이 나온 뒤에 주장마다 뒷받침 인용을 찾아 검증하고 못 찾으면 그 주장을 빼게 하는 것. 세 가지 모두 실제 프롬프트 예시가 그대로 실려 있습니다(Claude 문서 — 환각 줄이기 ).
OpenAI(ChatGPT) 는 GPT-5 계열 모델을 위한 프롬프팅 가이드를 개발자 사이트에 공개해 뒀는데, “확인할 수 없으면 그렇다고 분명히 말하라”는 문장과 “출처·URL·저자·날짜·연구·인용문을 지어내지 말라”는 문장이 각각 별도 항목으로 들어가 있어요(GPT-5.2 Prompting Guide, OpenAI Cookbook — 프롬프팅 가이드 (개정) ). GPT-5 기본 가이드 쪽에는 “웹에서 가져온 정보에는 반드시 출처를 표시하라”는 항목이 별도로 있습니다(OpenAI Cookbook — 프롬프팅 가이드 ).
Google(Gemini) 은 개발자용 프롬프트 설계 가이드에서 제약 조건 예시로 “Cite sources”(출처를 인용하라)를 직접 들고 있고, “정답을 내기 전에 아주 신중하게 생각하라”는 식의 문장이 답변 품질을 끌어올린다고 소개하고 있어요(Prompt design strategies, Google — 프롬프트 설계 전략 ).
세 회사 문서 모두 “근거를 대라”, “확실하지 않으면 표시하라”, “지어내지 말라”는 세 가지 요소를 공통으로 권하고 있다는 게 확인되는 셈이에요.
잘 듣는 질문, 소용없는 질문
이 방법이 아무 질문에나 똑같이 잘 먹히는 건 아니에요.
잘 듣는 쪽 — 사실관계를 확인하는 질문, 최신 정보가 걸린 질문, 여러 문서나 자료를 비교해서 판단해야 하는 질문. “이 정책이 시행됐는지”, “이 계획이 확정됐는지” 처럼 답이 외부 사실에 근거해야 하는 질문일수록 근거를 먼저 요구하는 지시문이 효과가 큽니다. 검증할 대상(문서·근거)이 실제로 존재하기 때문이에요.
소용없는 쪽 — 창작, 의견, 취향을 묻는 질문. “소설 아이디어 하나 줘”, “이 색이 저 색보다 예뻐?” 같은 질문에는 애초에 “근거 문서”라는 게 없으니 출처를 대라고 시켜 봐야 모델이 억지로 그럴듯한 근거를 만들어내는 역효과가 날 수 있어요. 실제로 인용을 강제하는 제약이 창작물의 자유도를 떨어뜨린다는 지적도 있더라고요(Three system prompts reportedly cut Claude’s hallucinations, XDA Developers — 시스템 프롬프트 실험 기사 ).
수학 문제나 순수 논리 추론도 애매한 영역이에요. 이런 문제는 “출처”가 아니라 “풀이 과정”이 근거라서, Anthropic 문서도 이럴 땐 인용이 아니라 “단계별로 생각하게 하라”는 걸 따로 권합니다 — 결이 비슷하지만 요구하는 지시문 자체는 다릅니다.
안 되는 경우 — 출처를 대라고 해도 지어낼 때가 있다
여기가 제일 중요한 부분인데요, 이 지시문을 넣는다고 AI 가 진짜 출처만 갖다 쓰는 건 아니에요.
SE Ranking 이 2025년 12월 19일 공개한 조사에 따르면, ChatGPT 가 답변에 넣은 링크 145,463개 가운데 1.22%가 실제로는 존재하지 않는 페이지(404 오류)로 연결됐다고 해요. 같은 조사에서 구글 AI 오버뷰는 0.56%, 일반 검색 결과는 0.65%로 더 낮았고요(SE Ranking — ChatGPT 깨진 링크 조사 ). 출처를 대라고 시켜도 그 출처가 진짜인지는 별개 문제라는 뜻이에요.
더 오래된 학술 조사도 있어요. 2023년 Scientific Reports 에 실린 연구는 GPT-3.5 가 만든 참고문헌의 55%, GPT-4 가 만든 참고문헌의 18%가 아예 지어낸 것이었다고 보고했습니다(Scientific Reports — 참고문헌 조작 연구 ). 최신 모델일수록, 그리고 검색 기능이 켜져 있을수록 비율은 줄어드는 추세지만, 여러 조사에서 웹 검색을 켠 최신 모델도 완전히 0%는 아니라는 얘기가 계속 나오고 있어요. 그러니 “출처를 대라”는 지시문을 넣었다고 링크를 안 열어 보고 믿는 건 위험합니다.
정리하면 —
- 웹 검색·그라운딩 기능이 꺼진 상태에서는 출처를 대라고 해도 그 출처가 진짜라는 보장이 없어요.
- 창작·의견 질문에는 이 방식이 오히려 답을 부자연스럽게 만들 수 있어요.
- 근거를 먼저 대게 해도 완전히 편향이 사라지는 건 아니라고 Anthropic 문서도 직접 명시하고 있어요 — “이 기법들이 환각을 크게 줄이긴 하지만 완전히 없애지는 못한다”는 문장이 그 문서 마지막에 그대로 적혀 있습니다.
이럴 땐 쓰지 마라
빠르게 아이디어만 던지고 싶을 때, 혹은 브레인스토밍처럼 오히려 넓게 퍼지는 답이 필요할 때는 이 지시문이 안 맞아요. 근거부터 정리하라고 시키면 모델이 검증 가능한 좁은 범위 안에서만 답하려는 경향이 생기는데, 이건 확산적 사고가 필요한 순간에는 방해가 됩니다. 이럴 땐 그냥 “여러 가능성을 자유롭게 던져줘”라고 묻는 편이 나아요.
✔ 정리
- 결론부터 물으면 그 결론에 맞춰 근거가 짜맞춰지는 경향이 있다
- “근거 세 개 + 출처 + 발행일 먼저, 확정 안 된 건 추정으로 표시” 지시문을 프롬프트 앞에 붙이면 답의 구조가 근거 중심으로 바뀐다
- ChatGPT, Claude, Gemini 공식 가이드 모두 출처 인용·불확실성 표시·지어내지 않기를 권고한다
- 사실관계·최신 정보 질문에는 효과가 크고, 창작·의견·순수 논리 문제에는 효과가 작거나 역효과가 날 수 있다
- 웹 검색 기능이 꺼져 있으면 출처를 대라고 시켜도 지어낼 수 있다 — 링크는 열어서 확인해야 한다
- 완전히 편향을 없애는 방법은 아니다, 중요한 판단에는 여전히 직접 검증이 필요하다
2026년 8월 기준으로 확인한 내용이며, 서비스별 가이드 문구나 수치는 바뀔 수 있으니 아래 공식 문서에서 다시 확인해 보세요.