CHAPTER 05 / 13
5장. AI의 그럴듯한 오류를 가려내는 3가지 질문
『AI에게 일을 부탁하는 연습장: 프롬프트가 아니라 '부탁하는 방법'을 익히자』 · 김재우 · 2026년 11월 23일
이 장에서는 AI의 답을 '그대로 써도 괜찮은지' 확인하는 연습을 합니다. 답을 받은 뒤에 되묻는 3가지 질문과, 복사해서 쓰는 확인용 양식을 익힙니다.
CHAPTER 05 / 13
『AI에게 일을 부탁하는 연습장: 프롬프트가 아니라 '부탁하는 방법'을 익히자』 · 김재우 · 2026년 11월 23일
이 장에서는 AI의 답을 '그대로 써도 괜찮은지' 확인하는 연습을 합니다. 답을 받은 뒤에 되묻는 3가지 질문과, 복사해서 쓰는 확인용 양식을 익힙니다.
이 장에서는 AI의 답을 '그대로 써도 괜찮은지' 확인하는 연습을 합니다. 답을 받은 뒤에 되묻는 3가지 질문과, 복사해서 쓰는 확인용 양식을 익힙니다.
이 장을 다 읽으면 다음 3가지를 할 수 있습니다.
AI의 답은 언제나 자신감이 넘치고 글도 매끄럽습니다. 그래서 오히려 어디가 맞고 어디가 틀렸는지 가려내기 어렵습니다. 나중에 찾아보니 숫자가 달라서 가슴이 철렁한 적 없으신가요.
AI의 답을 전부 의심하다 보면 시간이 아무리 있어도 모자랍니다. 이 장에서는 확인할 곳을 좁히는 '3가지 질문'을 익힙니다.
AI는 수많은 글을 바탕으로 '다음에 올 법한 말'을 이어 붙여 답을 만듭니다. 그래서 사실은 모르는 것도 그럴듯한 글로 답해 버릴 때가 있습니다. 이 '그럴듯한 오류'를 할루시네이션(AI가 지어낸 이야기)이라고도 부릅니다.

AI의 답은 겉모습으로는 맞는지 알 수 없다
오류가 나오기 쉬운 곳은 대체로 정해져 있습니다.
거꾸로 말하면 여기만 확인해도 큰 실패는 꽤 막을 수 있습니다.
저는 AI를 파트너 삼아 혼자서 앱을 개발합니다. AI가 "이걸로 돌아갑니다"라고 쓴 프로그램이 실제로 돌려 보면 오류가 나는 일은 지금도 있습니다. 그래서 AI의 답을 '돌려서 확인하기'까지를 한 세트로 삼고 있습니다. 업무용 글로 치면 그 '확인하기'가 오늘의 3가지 질문입니다.
앞 장의 '가을 사내 스터디' 준비를 이어 갑니다. 스터디를 시작하면서 집중력에 관한 짧은 이야깃거리를 꺼내고 싶어졌다고 해 봅시다.
사람의 집중력에 대해 스터디에서 말할 만한 토막 상식을 알려 줘
2026년 11월 11일에 ChatGPT(유료 Plus 요금제, 모델 선택은 'Instant')에 이 한 문장만으로 부탁했더니 토막 상식 7개가 돌아왔습니다. 처음 2개를 뽑아 봅니다(실제 답변. 이모지만 뺐습니다).
① 스마트폰은 놓여 있기만 해도 집중력을 빼앗는다? 스마트폰을 쓰지 않아도 책상 위에 있는 것만으로 인지 능력 테스트 성적이 떨어졌다는 연구가 있습니다. 마무리 멘트: "스마트폰은 무음 모드보다 다른 방에 두는 편이 나을지도 모릅니다!"
② 집중력은 몇 분 지속될까? "사람의 집중력은 15분밖에 지속되지 않는다"는 말을 자주 하지만, 사실 모든 사람에게 들어맞는 과학적인 제한 시간은 없습니다. 과제의 난도와 흥미, 피로에 따라 달라집니다.
답변 끝에는 ①의 바탕이 된 연구로 'Ward et al. (2017)'이라는 논문명도 붙어 있었습니다. 이야깃거리로는 재미있고, 연구 이름까지 붙어 있으니 믿고 싶어집니다. 하지만 이 답만 봐서는 어디까지가 연구로 확인된 내용이고 어디부터가 AI가 덧붙인 말인지 알 수 없습니다.
잘 되는 부탁에서는 답을 받은 뒤에 3가지 질문으로 되묻습니다.

그럴듯한 오류를 가려내는 3가지 질문
① "그 근거는 무엇인가요? 출처가 있으면 제목과 발표한 기관을 알려 주세요"
숫자나 "○○에 따르면"이 나오면 먼저 출처를 묻습니다. 다만 AI는 출처 자체를 지어내기도 합니다. 나온 출처는 직접 검색해서 정말 있는지 확인합니다.
② "이 답에서 자신 없는 부분은 어디인가요? 사실과 추측을 나눠 주세요"
이 장의 나머지 내용은 읽기 화면에서 이어서 볼 수 있어요.
이어서 읽기ChatGPT가 연구 이름까지 붙여 내놓은 토막 상식을 예로, 답을 받은 뒤 되묻는 3가지 질문을 소개합니다. 근거와 출처를 묻는 것부터 시작해 어디까지가 확인된 내용이고 어디부터 AI가 덧붙인 말인지 가려냅니다.
토막 상식 7개가 담긴 ChatGPT 답변에 확인용 양식을 붙여 되물은 실제 결과입니다. AI가 출처를 찾아 '출처 불명'과 재현되지 않은 연구를 스스로 밝히고, 항목을 사용 가능·수정 필요·삭제 권장으로 나눴습니다.