CHAPTER 01 · 3 / 7
AI 에이전트가 업무를 진행하는 원리
『ChatGPT Work로 일하기』 제1장 새로운 세대의 ChatGPT 기초 지식 · 김재우 · 2026년 11월 23일
AI 에이전트가 자율적으로 일하는 원리를 세 단계 그림으로 설명합니다. 단순한 AI 채팅에서 시작해 LLM·웹 검색·RAG 같은 기술이 더해지고, 여러 기능이 결합되면서 복잡한 업무를 수행하게 되는 구조를 이해합니다.
CHAPTER 01 · 3 / 7
『ChatGPT Work로 일하기』 제1장 새로운 세대의 ChatGPT 기초 지식 · 김재우 · 2026년 11월 23일
AI 에이전트가 자율적으로 일하는 원리를 세 단계 그림으로 설명합니다. 단순한 AI 채팅에서 시작해 LLM·웹 검색·RAG 같은 기술이 더해지고, 여러 기능이 결합되면서 복잡한 업무를 수행하게 되는 구조를 이해합니다.
앞의 예에서는 ChatGPT Work가 스스로 작업 목록을 만들고 목표까지 진행했습니다. 어떻게 이런 자율적인 작업이 가능할까요? 사실 하나의 마법 같은 기술이 있는 것은 아닙니다. 여러 기능이 결합되면서 복잡하고 강력한 작업을 어느 정도 자율적으로 수행할 수 있게 된 것입니다.
여기서는 AI의 모습을 세 단계로 나누어 조금씩 이해해 보겠습니다. 하나의 그림이 점점 확장되는 방식이므로 순서대로 살펴보면 됩니다. 전체 구조를 이해하면 AI 에이전트에 지시하는 방법과 작업 설계 능력도 크게 좋아집니다.
먼저 가장 단순한 모습부터 시작하겠습니다. 많은 사람이 처음 떠올리는 ChatGPT는 그림 1과 같은 챗봇일 것입니다. 사용자가 질문하면 AI 도구가 답합니다. 등장하는 것은 ‘사용자’와 ‘AI 도구’ 두 가지뿐이며, 둘을 연결하는 양방향 화살표 하나로 표현할 수 있습니다.
그림 1. AI의 모습 ① — 단순한 AI 채팅
사용자와 AI 도구가 1대1로 질문과 답변을 주고받는 가장 단순한 형태입니다.
이러한 이해가 틀린 것은 아닙니다. 다만 이것만으로는 ‘AI가 왜 자율적으로 움직이는가’, ‘왜 다양한 기능을 사용할 수 있는가’를 설명할 수 없습니다. 이제 그림 1에 구성 요소를 조금씩 더해 에이전트의 모습에 가까워져 보겠습니다.
그림 2. AI와 웹 검색·데이터 연계
| 구성 요소 | 역할 및 연결 관계 |
|---|---|
| 사용자 | AI 도구와 질문·답변을 주고받는다. |
| AI 도구의 핵심인 대규모 언어 모델(LLM) | 문장을 생성하고, 검색 및 데이터 연계 결과를 활용한다. |
| 웹 | 검색을 통해 최신 정보 등을 제공한다. |
| 데이터 | RAG를 통해 필요한 자료를 제공한다. |
AI의 핵심에는 대규모 언어 모델(LLM)이 있습니다. 웹을 검색해 답을 만들거나, ‘RAG’라는 방식을 이용해 특정 데이터와 연계할 수 있습니다.
이 그림의 핵심은 세 가지입니다. 첫 번째는 ‘대규모 언어 모델’, 즉 LLM입니다. ChatGPT 같은 AI 도구의 내부에는 방대한 문장을 학습한 AI 모델이 있으며, 이를 대규모 언어 모델이라고 합니다. 영어 ‘Large Language Model’의 약자인 ‘LLM’이라는 이름으로 더 자주 접할 수도 있습니다. 그림 중앙에 있는 것이 바로 LLM입니다.
초보자가 흔히 혼동하지만, LLM의 원리는 웹 검색과 완전히 다릅니다. LLM은 ‘앞선 말 뒤에 이어질 확률이 높은 말을 연결해 그 자리에서 문장을 생성하는’ 방식으로 작동합니다. 예를 들어 ‘옛날 옛적 어느 마을에’라고 입력하면 ‘할아버지와 할머니가 살고 있었습니다’처럼 자연스럽게 이어지는 문장이 나오는 것입니다. 실제로는 훨씬 세밀하고 복잡한 구조로 문장을 생성하지만, 이런 언어의 연결을 통해 매우 정교한 답변을 구현하는 것이 LLM입니다.
두 번째는 ‘웹 검색’입니다. LLM이 학습한 지식은 매우 방대하며, 일반 상식에는 상당히 정확하게 답할 수 있습니다. 하지만 뉴스나 날씨처럼 최신 정보에 해당하거나 아직 학습하지 않은 사항에는 답하기 어렵습니다. 그래서 웹 검색을 함께 사용합니다. LLM이 외부 검색 시스템에 검색을 요청하면 웹에서 정보를 가져옵니다. 검색 결과는 텍스트로 LLM에 전달되며, LLM은 이를 바탕으로 답변을 생성합니다.
세 번째는 ‘데이터 연계’입니다. 회사의 취업규칙이나 매출 데이터처럼 사내에서만 활용하는 정보는 일반적으로 제공되는 LLM이 학습하지 않은 내용입니다. 웹에도 공개되어 있지 않으므로 LLM은 답할 수 없습니다. 이러한 회사 고유의 데이터를 AI에서 활용하기 위해 ‘RAG’라는 방식을 사용합니다.
나머지 내용은 읽기 화면에서 이어서 볼 수 있어요.
이어서 읽기