최신 연구를 통한 AI agent의 기초 이론 - 개요·작동 원리·평가 방법·미래 -

AI agent（AI 에이전트）와 Agentic AI（에이전틱 AI）가 전 세계적으로 주목받고 있으며, 다양한 분야에서의 활용이 기대되고 있습니다. 최신 연구를 바탕으로 AI agent의 이론（개요·작동 원리·평가 방법·미래）을 정리했습니다.

AI 에이전트의 개요

AI 에이전트의 정의

AI 에이전트란 환경을 인지하고, 추론을 수행하며, 특정한 목표를 달성하기 위해 자율적으로 행동을 취하는 소프트웨어 또는 시스템을 의미합니다(Akuma et al., 2025; Bandi et al., 2025; Di Maggio, 2025; Liu et al., 2025)。
기존의 수동적인 소프트웨어（입력에 대해 미리 정해진 출력을 반환하는 프로그램）와는 달리, AI 에이전트는 인지-사고-행동 루프를 반복함으로써 인간의 지속적인 개입 없이 작업을 완수하려고 합니다.

기존 AI, LLM, AI 에이전트의 관계성

다음 그림은 AI와 관련된 개념의 관계를 보여줍니다(Bandi et al., 2025).

AI의 프레임워크에서 AI 에이전트（에이전틱 AI）는 LLM（대규모 언어 모델）과 RL（강화학습）을 기반으로 하는 영역입니다. LLM이 추론과 계획이라는 「지능」을 담당하고, RL이 경험 기반의 「자율적 학습·최적화」를 담당함으로써, AI는 목표 달성을 위한 자율적 행동이 가능해집니다.

또한, AI 에이전트는 멀티에이전트 시스템（MAS）과도 긴밀하게 관련되어 있습니다. MAS의 개념을 도입함으로써, 복수의 AI가 협력·보완하면서 복잡한 과제를 해결할 수 있게 됩니다. 이들에 「메모리 시스템」과 「계획 알고리즘」이 결합됨으로써, AI는 단순한 도구를 넘어 스스로 전략을 세워 움직이는 지능형 파트너로 진화합니다.

AI agent와 Agentic AI의 차이

AI Agent와 Agentic AI는 흔히 혼동되지만, 최근 연구에서는 구별하여 정의하는 경향이 있습니다(Bandi et al., 2025; Sapkota et al., 2025).

AI Agent는 「특정 작업을 실행하는 개별 자율 주체」를 지칭하는 반면, Agentic AI는 「복잡한 목표를 달성하기 위해 복수의 에이전트가 연계·조정하는 고도의 시스템 또는 패러다임」을 지칭합니다.

여행의 예시로는 다음과 같습니다.

• AI Agent: 「시카고행 항공편을 찾아줘」라는 지시에 대해 항공편 검색 도구를 사용하여 선택지를 제시합니다.

• Agentic AI: 「예산 1500달러 이내로 3일간의 시카고 여행을 계획해줘」라는 지시에 대해 작업을 분해（항공편, 호텔, 일정）하고, 각 전문 에이전트가 실시간 정보를 검색·비교·예약하며, 캘린더와 동기화하고, 공유 가능한 계획을 작성합니다.

스마트홈의 예시로는 다음과 같습니다.

• AI Agent: 사용자의 설정에 따라 온도를 조절하는 「스마트 온도계」처럼 단일 기능을 자율적으로 제어합니다.

• Agentic AI: 기상 예보, 에너지 가격, 사용자 일정, 가전제품, 보안 시스템을 관리하는 복수의 에이전트가 연계하여, 「쾌적성, 안전성, 에너지 효율성의 최적화」라는 고수준의 목표를 향해 전체 집을 조정합니다.

이와 같이, Agentic AI란 복수의 AI Agent를 오케스트레이션（통합 관리）하여 분산형 지능으로 기능하게 하는 시스템이며, Agentic AI는 AI Agent의 다음 단계로 위치지어집니다.

AI 에이전트가 이렇게까지 빠르게 실현·보급된 이유는 무엇인가

AI 에이전트가 급속도로 보급된 배경에는 LLM의 비약적인 진보가 있습니다. 기존 AI는 특정 작업에 제한되어 있었지만（멀티에이전트 시뮬레이션 등）(Akuma et al., 2025), LLM이라는 범용적인 「뇌」를 갖춤으로써 자율적으로 사고하고 행동하는 존재로 진화했습니다(Liu et al., 2025).

실현의 핵심이 된 것은 주로 다음의 4가지입니다.

• 추론과 적응: LLM이 고도의 추론 엔진이 되어 미지의 상황이나 모호한 지시에도 유연하게 대응할 수 있게 되었습니다.

• 계획 능력: 「Chain-of-Thought（사고의 연쇄）」 등의 기술에 의해 복잡한 목표를 작은 단계로 분해하고 실행 가능한 계획을 세울 수 있게 되었습니다.

• 도구의 활용: 외부 API나 검색 엔진을 스스로 선택·조작（Tool Use）할 수 있게 됨으로써, 디지털의 벽을 넘은 실무가 가능해졌습니다.

• 메모리와 자율성: 과거의 경위를 보유하는 「메모리」를 갖추고, 사용자의 지시를 기다리는 것만이 아닌 「생성형 AI」에서 스스로 목표를 추구하는 「에이전틱 AI」로의 패러다임 전환이 일어나고 있습니다.

이와 같이, AI 에이전트가 실현된 주된 이유는 LLM이 고도의 「추론 엔진」으로 기능하여, 계획 수립（Planning）, 도구 조작（Action）, 메모리 보유（Memory）라는 에이전트의 주요 컴포넌트를 통합·제어할 수 있게 되었기 때문입니다.

AI 에이전트의 작동 원리

AI 에이전트의 4가지 구성 요소（아키텍처）

현대의 AI 에이전트（특히 LLM 기반 에이전트）는 일반적으로 다음의 4가지 주요 컴포넌트로 구성되는 시스템으로 정의됩니다(Bandi et al., 2025; Di Maggio, 2025; Liu et al., 2025).

① 뇌（Brain）
추론과 의사결정의 중추이며, LLM이 이 역할을 담당합니다. 사용자로부터의 지시나 환경으로부터의 정보를 이해하고, 지식을 검색하며, 작업을 수행하기 위한 계획（플래닝）을 세우고, 최종적인 의사결정을 합니다. LLM의 진화에 따라 단순한 텍스트 생성뿐만 아니라 논리적인 추론과 복잡한 작업의 분해가 가능해졌습니다(Akuma et al., 2025; Di Maggio, 2025).

② 인지（Perception）
환경 정보의 수집을 하며, 인간의 감각기관（눈과 귀）에 해당합니다. 외부 환경으로부터의 정보를 수집하고, 에이전트（뇌）가 이해할 수 있는 형식으로 변환합니다.
텍스트뿐만 아니라 이미지, 음성, 센서 데이터 등 다양한 모달리티（형식）의 정보를 처리하는 능력이 향상되고 있습니다（멀티모달화）. 이를 통해 에이전트는 화면상의 정보를 읽거나 물리적인 로봇으로서 주변을 인식할 수 있게 됩니다(J. Gao et al., 2024).

③ 행동·도구 이용（Action & Tools）
외부 세계에 개입하기 위한 인간의 손과 발에 해당합니다. 뇌가 결정한 계획을 실행에 옮기고, 환경에 변화를 가져옵니다. 에이전트는 LLM 단독으로는 할 수 없는 것을 하기 위해 「도구」를 사용합니다. 여기에는 웹 검색, 코드 실행（Code Interpreter）, API 호출（캘린더 조작, 이메일 송신, 데이터베이스 쿼리 등）이 포함됩니다. Model Context Protocol (MCP)과 같은 표준 프로토콜을 통해 다양한 외부 데이터와 도구에 연결하여 확장성을 높이고 있습니다(Di Maggio, 2025; Ganesh et al., 2025).

④ 메모리（Memory）
과거의 행동, 사용자의 선호도, 절차 등을 보존하고, 필요에 따라 호출합니다.

단기 메모리（Short-term Memory）와 장기 메모리（Long-term Memory）로 분류되며, 각각 다음과 같은 역할을 담당합니다.

• 단기 메모리: 현재의 작업이나 대화의 맥락을 보유하고, 즉각적인 추론에 이용합니다.

• 장기 메모리: 벡터 데이터베이스（Vector DB）등을 활용하여 방대한 과거의 경험과 지식을 지속적으로 보존합니다. RAG（검색 확대 생성）기술을 사용하여 필요한 때에 적절한 정보를 검색·취득（Retrieve）함으로써 장기간에 걸친 학습과 일관된 행동을 실현합니다(Liu et al., 2025).

AI 에이전트의 실행 프로세스

AI 에이전트는 다음의 사이클을 반복함으로써 작업을 완수합니다. 이 프로세스는 ReAct（Reason + Act）나 OODA 루프（Observe-Orient-Decide-Act）라고도 불립니다(Akuma et al., 2025; Bandi et al., 2025; Karim, Khan, et al., 2025; Karim, Van, et al., 2025).

1. 목표 설정
   사용자로부터 「시카고 여행을 계획해줘」라는 고수준의 목표를 받습니다.

2. 계획（Planning）
   작업 분해와 추론을 합니다.
   ·작업 분해: 뇌（LLM）가 복잡한 목표를 「항공편 검색」「호텔 예약」「일정 작성」이라는 작은 서브태스크로 분해합니다.
   ·추론: 어떤 도구를 어떤 순서로 사용해야 하는지를 논리적으로 조립합니다.

3. 실행（Execution/Action）
   계획에 기반하여 구체적인 도구（예: 항공편 검색 API）를 호출합니다.

4. 관찰과 수정（Observation & Reflection）

   • 관찰: 도구의 실행 결과（예: 항공편 목록이나 에러 메시지）를 관찰합니다.

   • 수정: 결과가 예상과 다르면 계획을 수정하거나 다른 검색어를 시도합니다.

5. 완료: 모든 서브태스크가 완료되고 목표가 달성되었다고 판단되면, 최종적인 답변을 사용자에게 제시합니다.

싱글에이전트와 멀티에이전트（Agentic AI）

에이전트의 작동 원리는 단체（싱글에이전트）로 작동하는지, 집단（멀티에이전트）으로 작동하는지에 따라 다릅니다(Bandi et al., 2025).

싱글에이전트와 멀티에이전트의 차이는 다음과 같습니다.

• 싱글에이전트: 하나의 LLM이 모든 역할（계획, 실행, 평가）을 담당합니다. 단순한 작업에는 적합하지만, 너무 복잡하면 혼란스러워질 수 있습니다.

• 멀티에이전트: 「계획 담당」「검색 담당」「코드 작성 담당」처럼 전문화된 복수의 에이전트가 연계합니다. Agentic AI의 작동 원리가 됩니다.

멀티에이전트는 오케스트레이션과 프로토콜에 의해 실현됩니다.

• 오케스트레이션: 메인 에이전트（오케스트레이터）가 작업을 다른 에이전트에 할당하고, 결과를 통합합니다.

• 프로토콜: 에이전트 간에는 Agent-to-Agent (A2A) 프로토콜과 같은 표준화된 통신 수단을 사용하여, 인간을 거치지 않고 에이전트 간 대화·협력하여 문제를 해결합니다.

AI 에이전트의 평가 방법

AI 에이전트의 평가는 정량적 지표（성능）와 정성적 지표（품질·행동） 및 평가 수법의 3가지 점으로 정리하면 다음과 같습니다.

정량적 지표

에이전트의 객관적인 성능을 측정하기 위해 사용됩니다(Akuma et al., 2025; Bandi et al., 2025; Liu et al., 2025).

• 작업 성공률과 정확성 (Success Rate & Accuracy): 성공률 (Success Rate): 에이전트가 목표를 달성할 수 있었던 비율. 예를 들어, 웹 열람 작업이나 API 조작에서 최종적인 목표에 도달할 수 있었는지를 측정합니다.

• 정확성 (Accuracy): 출력이 정답과 얼마나 일치하는지. 의료 진단이나 금융 예측 등 정답이 명확한 작업에서 사용됩니다.

• 적합율 (Precision)과 재현율 (Recall): 에이전트가 검색이나 정보 추출을 수행할 때 관련 정보를 얼마나 정확하고 빠짐없이 획득했는지를 측정합니다.

• 효율성 (Efficiency): 작업 완료 시간 (Task Completion Time, TCT): 계획부터 실행 완료까지 소요되는 시간. 기존 AI와 비교하여 에이전트가 복잡한 워크플로우를 얼마나 신속하게 처리할 수 있는지를 나타냅니다.

• 단계 수 (Number of Steps): 목표 도달까지 필요한 행동(사고, 도구 사용 등)의 횟수. 적은 단계로 해결할수록 효율적인 것으로 간주됩니다.

• 비용 (Cost): API 호출 횟수나 토큰 사용량을 기반으로 작업 완료에 소요되는 금전적·계산적 비용을 평가합니다.

• 구조적·논리적 지표: 그래프 편집 거리 (Graph Edit Distance, GED): 에이전트가 생성한 작업 계획(그래프 구조)과 정답(인간이 작성한 계획 등)과의 구조적 유사성을 측정하는 지표입니다. 계획 능력(플래닝) 평가에 사용됩니다.

• 규칙 충실도 (Rule Fidelity): 에이전트가 논리적 규칙이나 제약 조건을 얼마나 엄격하게 준수했는지를 측정합니다.

정성적 지표

이들은 에이전트의 행동, 신뢰성, 사용자 경험과 관련된 지표입니다(Akuma et al., 2025; Bandi et al., 2025; Zhou et al., 2025).

• 신뢰성 및 안전성 (Trust & Safety): 환각 부재 (Faithfulness/Hallucination): 응답이 제공된 출처나 사실에 완전히 기반하고 있는가. RAG(검색 증강 생성) 시스템에서는 응답이 참고 문헌에 기반하고 있는가(Faithfulness)가 중요시됩니다.

• 견고성 (Robustness): 오류 입력이나 예기치 않은 상황, 적대적 공격에 대해 에이전트가 계속 기능할 수 있는가.

• 편향 및 공정성 (Fairness & Bias): 특정 그룹에 대해 불공정한 결정을 내리고 있지는 않은가, 출력에 편향이 없는가.

• 투명성 및 설명 가능성 (Transparency & Explainability): 에이전트가 "왜 그러한 결정을 했는가"를 인간이 이해할 수 있는 형태로 설명할 수 있는가. 의료나 금융 등 고위험 분야에서 특히 중요시됩니다.

• 자율성 (Autonomy): 인간의 개입 없이 작업을 완수할 수 있는 정도.

• 협력 행동 (Cooperative Behavior): 멀티에이전트 시스템에서 에이전트들이 얼마나 효과적으로 연계·조정할 수 있는가.

• 자기 성찰 (Self-Reflection): 자신의 실수를 감지하고 수정하는 능력.

평가 방법·벤치마크

이러한 지표들을 측정하기 위해 다양한 평가 프레임워크가 제안되고 있습니다(Akuma et al., 2025; Bandi et al., 2025; Ferrag et al., 2025).

벤치마크 데이터세트:

• AgentBench: 여러 환경(OS, DB, Knowledge Graph 등)에서 LLM 에이전트를 평가하는 포괄적 벤치마크.

• GAIA (General AI Assistants benchmark): 추론, 도구 사용, 멀티모달리티를 필요로 하는 실제 질문 모음. 인간에게는 쉽지만 AI에게는 어려운 작업을 포함합니다.

• SWE-bench: 실제 GitHub 이슈 해결 능력(코딩, 디버깅)을 평가합니다.

• MMLU (Massive Multitask Language Understanding): 광범위한 세계 지식과 문제 해결 능력을 테스트합니다.

AI에 의한 평가 (LLM-as-a-Judge / Agent-as-a-Judge):
인간에 의한 평가는 비용이 많이 들기 때문에, "강력한 LLM(GPT-4 등)을 판사로 삼아 다른 에이전트의 출력을 채점하게 하는" 방법이 보편화되고 있습니다. 더 나아가 에이전트가 다른 에이전트의 사고 과정이나 중간 생성물까지 포함하여 평가하는 "Agent-as-a-Judge" 프레임워크도 제안되었으며, 인간과의 일치율이 높은 것으로 나타났습니다.

인간 참여형 평가 (Human-in-the-Loop):
사용자 만족도(User Satisfaction)나 수용 테스트(UAT) 등 최종 사용자 경험에 기반한 평가도 여전히 필수적입니다.

AI 에이전트의 미래

AI 에이전트는 단순한 작업 실행 도구에서 자율적으로 학습·진화하며 다른 에이전트나 인간과 협력하여 복잡한 사회 시스템을 형성하는 에이전틱 AI(Agentic AI) 및 자기 진화형 시스템(Self-Evolving Systems)으로 급속히 발전하고 있습니다.
향후 진전을 다음의 4가지 관점으로 정리합니다.

AI 에이전트에서 에이전틱 AI로의 진화

향후 AI는 단일 작업을 수행하는 "AI 에이전트"에서 조직적 자율성을 갖춘 "에이전틱 AI"로 패러다임 전환합니다(Bandi et al., 2025).

• 정의의 확장: 현재의 AI 에이전트가 "특정 작업을 실행하는 자율적 실체"인 반면, 향후의 Agentic AI는 여러 전문화된 에이전트가 협력·조정·계획을 수행하여 복잡하고 높은 수준의 목표를 달성하는 시스템이 될 것입니다.

• 멀티에이전트 시스템(MAS)의 표준화: 향후에는 단일 LLM(대규모 언어 모델)이 아닌 역할 분담된 에이전트 군(예: 계획 담당, 실행 담당, 비평 담당)이 연계하는 아키텍처가 주류가 될 것입니다. 이를 통해 단독으로는 해결 불가능한 복잡한 문제를 사회적 분업을 통해 해결하게 됩니다.

• 시장의 급성장: 산업계의 에이전틱 AI에 대한 관심이 급속히 증가하고 있으며, 시장 규모는 2023년 약 36.6억 달러에서 2033년 약 1391.2억 달러로 연평균 성장률 43% 이상으로 확대될 것으로 예측됩니다(Market. us, 2025).

자기 진화(Self-Evolving)와 생애학습(Lifelong Learning)

• 지금까지의 AI 개발은 "모델의 사전학습(MOP)"에 의존해왔으나, 향후 에이전트는 운영 중에 계속 학습하는 능력을 갖추게 됩니다(Bandi et al., 2025; Hettiarachchi, 2025).

• 자기 진화형 AI 에이전트: 환경과의 상호작용을 통해 자신의 프롬프트, 도구 사용 전략, 기억, 그리고 에이전트 간의 위상(연결 구조)까지 자율적으로 최적화·업데이트하는 시스템이 등장합니다.

• 생애학습(Lifelong Learning): 정적 데이터세트에서의 학습에 그치지 않고, 새로운 작업이나 환경에 적응하기 위해 경험을 지속적으로 축적하는 "생애학습" 시스템으로의 전환이 진행 중입니다. 이를 통해 인간이 매번 개입하여 재학습시킬 필요가 없어지며, 지속적인 성능 향상이 가능해집니다.

인프라 및 프로토콜의 표준화

에이전트들이 기업이나 플랫폼의 경계를 넘어 연계하기 위한 "공통 언어"와 인프라가 정비됩니다(Di Maggio, 2025).
MCP (Model Context Protocol)나 A2A (Agent-to-Agent) 등 에이전트 간의 상호운용·협상을 위한 프로토콜의 표준화와, 다양한 개발자가 만든 에이전트들이 안전하게 통신·협력할 수 있는 Internet of Agents 에코시스템이 구축될 것입니다.

직면한 과제와 위험

밝은 전망의 한편, 해결해야 할 심각한 과제들이 남아 있습니다(Ganesh et al., 2025; S. Gao et al., 2024; Karim, Van, et al., 2025).
· 인과 추론과 신뢰성: 현재의 에이전트는 통계적 상관관계에는 강하지만, 인과관계(Why)의 이해가 부족하여 미지의 상황에서의 추론이나 계획에 실패하기 쉽다는 문제가 있습니다. 또한 환각(그럴듯한 거짓) 문제는 자율적으로 행동하는 에이전트의 경우 실제 피해로 이어질 위험이 있습니다.
· 보안 및 안전: 멀티에이전트 시스템은 공격 대상 영역이 광범위하며, 프롬프트 인젝션이나 에이전트 간 상호작용을 악용한 공격(예: 데이터 독 전파)에 대한 취약성이 우려됩니다.
· 윤리 및 거버넌스: 에이전트가 자율적으로 계약을 체결하거나 법적 책임을 지는 행동을 취하는 경우의 책임 소재(Liability), 그리고 인간의 의도와 다른 방향으로 행동이 변화하는 "정렬(Alignment)" 문제에 대처하기 위한 새로운 법규제 및 거버넌스 프레임워크가 필요합니다.

맺음말

최근 급속도로 발전 중인 AI 에이전트에 관해 기본적인 이론 관련 내용을 정리했습니다. 향후 AI의 진전과 직면할 위험을 내다보면서 활용과 개발을 해나가야 합니다.

참고 문헌

• Akuma, C. F., Hewage, P., Garg, A., & Amaechi, C. V. (2025). AI agents: A comprehensive review of evolution, architectures, applications, and future directions. 2025 12th International Conference on Reliability, Infocom Technologies and Optimization (Trends and Future Directions) (ICRITO), 1–5.

• Bandi, A., Kongari, B., Naguru, R., Pasnoor, S., & Vilipala, S. V. (2025). The rise of agentic AI: A review of definitions, frameworks, architectures, applications, evaluation metrics, and challenges. Future Internet, 17(9), 404.

• Di Maggio, L. G. (2025). Toward autonomous LLM-based AI agents for Predictive Maintenance: State of the art, challenges, and future perspectives. Applied Sciences (Basel, Switzerland), 15(21), 11515.

• Ferrag, M. A., Tihanyi, N., Hamouda, D., Maglaras, L., Lakas, A., & Debbah, M. (2025). From prompt injections to protocol exploits: Threats in LLM-powered AI agents workflows. ICT Express. https://doi.org/10.1016/j.icte.2025.12.001

• Ganesh, S., Ardon, L., Borrajo, D., Garg, D., Sehwag, U. M., Narayanan, A. L., Canonaco, G., & Veloso, M. M. (2025). Generative AI agents for knowledge work augmentation in finance. Annual Review of Control, Robotics, and Autonomous Systems, 8(1), 189–210.

• Gao, J., Qiao, H., & Zhang, Y. (2024). Intelligent recognition of tool wear with artificial intelligence agent. Coatings, 14(7), 827.

• Gao, S., Fang, A., Huang, Y., Giunchiglia, V., Noori, A., Schwarz, J. R., Ektefaie, Y., Kondic, J., & Zitnik, M. (2024). Empowering biomedical discovery with AI agents. Cell, 187(22), 6125–6151.

• Hettiarachchi, I. (2025). Exploring Generative AI Agents: Architecture, Applications, and Challenges. Journal of Artificial Intelligence General Science (JAIGS) ISSN:3006-4023, 8(1), 105–127.

• Karim, M. M., Khan, S., Van, D. H., Liu, X., Wang, C., & Qu, Q. (2025). Transforming data annotation with AI agents: A review of architectures, reasoning, applications, and impact. Future Internet, 17(8), 353.

• Karim, M. M., Van, D. H., Khan, S., Qu, Q., & Kholodov, Y. (2025). AI agents meet blockchain: A survey on secure and scalable collaboration for multi-agents. Future Internet, 17(2), 57.

• Liu, F., Niu, Y., Zhang, Q., Wang, K., Dong, Z., Wong, I. N., Cheng, L., Li, T., Duan, L., Li, K., Li, G., Hou, T. W., Fok, M., Luo, H., Chen, X., Zhang, K., & Yin, Y. (2025). A foundational architecture for AI agents in healthcare. Cell Reports. Medicine, 6(10), 102374.

• Market. us. (2025). AI Agents Market size, share, trends | CAGR of 43.8% [Dataset]. https://market.us/report/ai-agents-market/

• Sapkota, R., Roumeliotis, K. I., & Karkee, M. (2025). AI Agents vs. Agentic AI: A Conceptual Taxonomy, Applications and Challenges. In arXiv [cs.AI]. arXiv. http://arxiv.org/abs/2505.10468

• Zhou, Z., Zhang, H., Song, C., Ming, C., & Sun, Y.-Y. (2025). Construction of an artificial-intelligence agent for the discovery of next-generation white-LED phosphors. Physical Chemistry Chemical Physics, 27(43), 22885–22893.