Articles
최신 AI로 무엇을 할 수 있을까? 약 600가지 기능을 Gemini·Claude·Open AI·OpenClaw·Genspark 등의 공식 문서에서 종합적으로 정리했다
Product
Career
일본어 원문으로부터의 자동 번역입니다
시작하며
AI의 진화는 눈부실 정도로 빠르며, 할 수 있는 일이 계속 늘어나고 있습니다. 다만 SNS나 테크뉴스에서는 단편적인 활용 사례 소개가 많아서, 전체적으로 어떤 일을 할 수 있는지에 대한 개관적인 정보를 찾기 어렵습니다. 여기서는 전 세계적으로 사용자 수가 많은 주요 AI 약 15개를 다루고, 공식 문서를 중심으로 기능을 종합적으로 나열하고 있습니다. 일반 사용자 및 개발자 양쪽 정보도 포함되어 있습니다. 현재 AI로 어떤 일을 할 수 있는지 참고가 되길 바랍니다.
AI의 기능은 이해, 검색, 추론, 생성, 행동, 기타의 6가지로 분류하고 있습니다. 이는 최근의 AI 에이전트가 ReAct (Reason + Act) 프레임워크와 RAG (Retrieve + Generate) 모델, Retrieve-Reason-Act 루프 등을 통합한 개념으로 이해되기 때문에, AI 에이전트의 대표적인 구성 요소로서 이해, 검색, 추론, 생성, 행동을 다루고 분류하고 있습니다.
대상 AI와 참조 문서
ChatGPT: 압도적인 인지도와 사용자 수를 보유한 대표적인 생성 AI입니다.
Gemini: Google 검색, Android 기기, Google Workspace와 강력하게 연동되어 있으며, 전 세계 사용자의 생활 인프라에 내장되어 있습니다.
Claude: 자연스러운 문장 생성과 고도의 논리적 추론, 프로그래밍 능력으로 전문가층으로부터 열렬한 지지를 받는 인기 높은 AI입니다.
Microsoft Copilot: OpenAI의 기술을 기반으로 하지만, Windows OS와 Word, Excel 등의 Office 제품에 표준 탑재되어 있기 때문에 비즈니스 전문가의 이용률이 매우 높습니다.
OpenClaw: 자신의 PC(로컬 환경)에서 작동하며, WhatsApp이나 Discord 등의 채팅 앱에서 지시를 내리기만 하면 AI가 자율적으로 파일 읽고 쓰기 및 브라우저 조작을 수행합니다.
Perplexity AI: 링크의 나열이 아니라 여러 웹사이트를 읽고 직접 답변을 정리하는 기능에 특화된 AI 검색 엔진으로서, 전 세계에서 사용자를 급속도로 확대하고 있습니다.
Character.ai: 사용자가 생성한 다양한 캐릭터(애니메이션 캐릭터나 유명인 등)와 대화할 수 있는 AI입니다. 특히 젊은 층에서 막대한 트래픽을 기록하고 있습니다.
DeepSeek: 중국발 AI로, OpenAI와 Anthropic에 버금가는 성능을 극히 낮은 비용으로 제공하며, 전 세계의 개발자와 기업으로부터 한 번에 사용자를 획득했습니다.
Llama: Meta가 제공하는 오픈소스 모델입니다. 전 세계의 스타트업이 개발하는 AI 앱의 엔진으로 가장 널리 사용되고 있습니다.
Mistral: 프랑스발 AI입니다. 유럽 시장을 중심으로 경량이면서 고성능의 오픈 모델로 높은 인기를 자랑하고 있습니다.
Grok: 일론 머스크가 이끄는 xAI가 개발했습니다. X(구 Twitter)의 실시간 정보와 연동되는 점이 최대의 강점입니다.
Kimi: 중국발이며, 수백만 글자라는 초장문을 한 번에 읽을 수 있는 기능으로 아시아권을 중심으로 사용자를 급속도로 확대하고 있습니다.
Midjourney: 텍스트로부터 고품질의 이미지를 생성하는 대표적인 AI입니다. Discord 위에서 작동하며, 전 세계의 크리에이터와 디자이너에게 애용되고 있습니다.
Stable Diffusion: 오픈소스 이미지 생성 AI의 사실상의 표준입니다. PC의 로컬 환경에 설치하여 자신의 선호도에 맞게 커스터마이즈할 수 있습니다.
DALL·E: OpenAI가 개발한 이미지 생성 AI로, 입력한 텍스트 지시에 따라 고품질의 이미지를 만들어냅니다.
Genspark: AI 에이전트를 활용한 차세대 검색, 정보 수집, 자료 작성 플랫폼입니다.
"이해" 관련 기능
사용자의 의도, 모호한 자연언어, 이미지나 음성 등의 멀티모달 입력 데이터를 구조적으로 파악하는 기능입니다.
텍스트 이해·요약·정보 추출
텍스트 요약 (Text summarization): 장문이나 여러 문서의 문맥을 이해하고, 주요 포인트와 결론을 추출하는 기본 기능 [OpenAI, Google/Gemini, Anthropic/Claude, Microsoft Copilot, Mistral, Meta/Llama, Kimi, DeepSeek]
구조화된 데이터 추출 (Structured output / JSON schema): 정의된 JSON 스키마에 따라 비구조화 텍스트로부터 엔티티나 특정 값을 정확하게 추출·해석하는 기능 [OpenAI, Google/Gemini, Anthropic/Claude, Meta/Llama, xAI, DeepSeek]
엔티티 추출 (Entity extraction): 장문 중에서 인명, 회사명, 날짜, 금액 등의 고유명사나 키워드를 식별하여 추출하는 기능 [OpenAI, Google/Gemini, Anthropic/Claude, Microsoft Copilot]
토픽 및 사용자 의도 해석 (Intent recognition / Topic triggering): 사용자의 발화나 모호한 질문으로부터 목적(의도)을 해석하여 적절한 에이전트 플로우를 시작하는 기능 [Microsoft Copilot, OpenClaw, Google/Gemini]
다국어 번역 및 문맥 이해 (Multilingual support): 다국어로 작성된 텍스트를 모국어처럼 해석하고, 지정된 언어로 번역·요약하는 기능 [OpenAI, Google/Gemini, Anthropic/Claude, Meta/Llama, xAI, DeepSeek]
콘텐츠 모더레이션 및 안전성 해석 (Moderation / Safety checks): 텍스트에 정책 위반, 해로움, 부적절한 요소가 없는지 분석·이해하는 기능 [OpenAI, Meta/Llama, Google/Gemini, xAI]
대화 컨텍스트 파악 (Context management / Threads): 과거 메시지 히스토리나 세션의 흐름을 기억·이해하고, 문맥에 맞는 응답을 제공하는 기능 [OpenAI, Anthropic/Claude, Google/Gemini, xAI, OpenClaw, Perplexity]
감정 분석 및 톤 해석 (Sentiment analysis): 텍스트의 어조나 표현으로부터 사용자의 감정 상태와 톤을 이해·추출하는 기능 [Google/Gemini, OpenAI, Microsoft Copilot]
대규모 컨텍스트 전체 조망 (Long-context understanding): 100만~500만 토큰, 또는 256K 등의 초장문을 한 번에 읽어 전체를 조망하여 이해하는 기능 [Google/Gemini, Anthropic/Claude, Meta/Llama, Kimi, DeepSeek]
프롬프트 변수의 자동 추출 및 해석 (Templatize a prompt): 사용자 입력으로부터 변수를 자동으로 특정·추출하고, 시스템에 조립하기 쉬운 템플릿 구조로 이해하는 기능 [Anthropic/Claude]
캐릭터 심리 추론 및 관계성 추출 (Character mind map): 책이나 이야기로부터 등장인물의 사고 과정과 인간관계를 해석하여 정리하는 기능 [Meta/Llama]
페르소나 및 행동 규칙 해석 (Persona understanding): 시스템 프롬프트나 설정 파일(AGENTS.md 등)에 기재된 역할, 톤, 규칙을 자율적으로 이해하고 적응하는 기능 [OpenClaw, Anthropic/Claude, Mistral, OpenAI]
연구 논문·학술 데이터의 깊은 분석 (Analyze research papers): 복잡한 포맷의 학술논문이나 연구 데이터를 읽어내고, 과학적 인사이트를 추출하는 기능 [Meta/Llama, Google/Gemini, Anthropic/Claude]
다중 문서의 횡단적 이해 (Multi-document analysis): 업로드된 여러 파일 간의 관련성이나 모순을 해석하여 통합적으로 이해하는 기능 [OpenAI, Anthropic/Claude, Google/Gemini, Mistral, Kimi]
조직 데이터의 업무 문맥 이해 (Data grounding): 사내 SharePoint, 이메일, 채팅 등을 읽어내고, 기업 고유의 업무 문맥으로 이해하는 기능 [Microsoft Copilot, Google/Gemini]
프롬프트 캐싱을 통한 문맥 재이용 (Prompt caching): 길다란 컨텍스트를 캐시하고, 재계산 없이 효율적으로 정보를 해석·추출하는 기능 [OpenAI, Anthropic/Claude, xAI, DeepSeek]
챗 프리픽스를 통한 문맥의 지속적 이해 (Chat Prefix Completion): 중간까지 작성된 텍스트의 프리픽스를 정확하게 이해하고, 후속 문맥을 예측·추출하는 기능 [DeepSeek, OpenAI]
법적 문서·계약서 조항 해석 (Legal document analysis): 장대한 법적 문서로부터 위험 조항이나 의무 내용을 정확하게 이해·추출하는 기능 [Anthropic/Claude, OpenAI, Google/Gemini, Kimi]
이력서의 경력·스킬 추출 (Resume/Profile extraction): 인사 데이터나 이력서로부터 스킬 세트와 경력을 구조화하여 추출·이해하는 기능 [OpenAI, Google/Gemini, Anthropic/Claude]
의료 데이터·헬스케어 기록의 문맥 추출 (Healthcare data extraction): 진료 기록이나 환자 데이터로부터 중요한 의료 인사이트나 증상을 해석하여 추출하는 기능 [Google/Gemini]
회의록으로부터 액션 아이템 추출 (Action item extraction): 미팅이나 지원 채팅의 히스토리로부터 결정 사항이나 태스크를 해석하여 추출하는 기능 [OpenAI, Microsoft Copilot, Anthropic/Claude]
개인정보·기밀정보의 식별 및 추출 (Sensitive Data Protection / PII extraction): 입력 데이터로부터 개인정보를 이해하고, 보호·마스킹을 위해 추출하는 기능 [Google/Gemini, OpenAI, Microsoft Copilot]
멀티모달·시각 정보의 이해(이미지·동영상·UI)
이미지 내의 객체와 장면 이해 (Image understanding / Vision): 이미지에 나타난 물체, 상황, 공간적 관계를 시각적 문맥으로 이해하는 기능 [OpenAI, Google/Gemini, Anthropic/Claude, xAI, Meta/Llama, DeepSeek, Kimi]
광학 문자 인식 및 텍스트 추출 (OCR / DeepSeek-OCR-2): 이미지화된 문서나 사진 내의 문자 정보를 추출하여 구조화된 데이터로 해석하는 기능 [OpenAI, Google/Gemini, DeepSeek, Anthropic/Claude]
UI 목업의 코드 해석 (Image mock up to HTML): 이미지에 그려진 손글씨 메모나 UI 디자인의 의도를 이해하고 코드 구조로 해석하는 기능 [Google/Gemini, OpenAI, Anthropic/Claude]
복잡한 차트와 그래프의 시각적 분석 (Chart & Graph analysis): 이미지화된 데이터 그래프에서 수치적 인사이트와 논리적 트렌드를 읽어내는 기능 [Anthropic/Claude, Meta/Llama, OpenAI, Google/Gemini]
시각적 인과관계와 논리 구조 이해 (Visual Causal Flow): 복잡한 도해나 플로우차트에서 정보의 흐름과 논리적 인과관계를 해석하여 추출하는 기능 [DeepSeek]
동영상 프레임과 문맥 이해 (Video understanding): 동영상 파일을 입력으로 받아 장면의 전환, 내용, 움직임의 문맥을 분석하여 정보를 추출하는 기능 [Google/Gemini, xAI, Kimi]
PDF의 텍스트와 시각 콘텐츠 통합 분석 (PDF support / Document AI): PDF 내의 텍스트뿐만 아니라 도표와 레이아웃 구조도 동시에 해석·추출하는 기능 [Anthropic/Claude, Google/Gemini, OpenAI, Kimi, Mistral]
SNS 포스트 내의 멀티모달 해석 (Enable Image/Video Understanding): 소셜 미디어 게시물에 포함된 이미지나 동영상의 문맥을 특화하여 추출·이해하는 기능 [xAI]
컴퓨터 화면의 UI 구조 해석 (Computer use vision): 데스크톱 화면의 스크린샷에서 UI의 배치와 조작 가능한 요소를 시각적으로 이해하는 기능 [Anthropic/Claude, OpenAI]
이미지 편집용 마스크의 투명 영역 해석 (Masking understanding): 지정된 마스크 이미지의 알파 채널을 이해하여 편집·재생성할 영역을 해석하는 기능 [OpenAI]
카메라를 통한 물리 세계의 시각적 해석 (Device Camera Vision): 모바일 앱 등의 카메라에서 직접 입력된 현실 세계의 영상을 해석하여 상황을 이해하는 기능 [OpenClaw, Google/Gemini]
멀티턴 이미지 생성의 문맥 파악 (Multi-turn image context): 대화 중간에 이전에 생성한 이미지(Previous response ID)의 문맥을 이어받아 해석하는 기능 [OpenAI]
얼굴 사진에서의 나이·생체 정보 시각적 추론 (Age Assurance / Persona Verification): 셀피 이미지에서 생체 정보를 분석·해석하여 사용자의 연령대를 추정하는 기능 [C.AI, OpenAI]
멀티모달 혼합 전문가 이해 (Mixture-of-Experts Vision-Language): 이미지와 텍스트가 혼재된 고급 입력을 최적의 전문가 모델을 할당하여 해석하는 기능 [DeepSeek]
공간적 조명과 3D 구조의 시각적 해석 (ReLi3D / SViM3D): 단일 2D 이미지에서 물체의 3D 형상과 환경의 조명(라이팅) 조건을 물리적으로 해석하는 기능 [Stability AI]
동영상 내 음성과 영상의 동기 해석 (Video audio analysis): 동영상 콘텐츠에서 음성 트랙과 영상의 움직임을 통합적으로 이해·추출하는 기능 [Google/Gemini]
지리공간 데이터 해석 (Geospatial Analytics / Earth Engine): 위성 이미지나 지도 데이터에서 지형의 변화와 공간적 인사이트를 추출·이해하는 기능 [Google/Gemini]
코드·시스템·로그 이해
프로젝트 전체의 코드 구조와 의존성 이해 (Codebase understanding): 단일 파일이 아닌 프로젝트 전체의 다중 파일 간 로직과 의존성을 이해하는 기능 [Google/Gemini, Anthropic/Claude, OpenAI, Kimi]
에러 로그와 스택 트레이스 해석 (Error trace analysis): 터미널 출력이나 크래시 로그에서 시스템 에러의 근본 원인을 추출·이해하는 기능 [Anthropic/Claude, Google/Gemini, OpenAI]
Git 커밋과 PR 차이의 의도 해석 (Diff understanding): 변경된 코드의 차이(Diff)를 분석하여 수정의 의도와 리뷰 포인트를 해석하는 기능 [Anthropic/Claude, Google/Gemini, Microsoft Copilot]
데이터베이스 스키마와 SQL의 의도 해석 (Database Assistance): 기존의 복잡한 SQL 쿼리 로직과 테이블 메타데이터를 이해하여 언어화하고 설명하는 기능 [Google/Gemini, Microsoft Copilot]
스프레드시트 데이터의 인사이트 추출 (Code Interpreter data analysis): CSV나 Excel 데이터를 읽어 수치적 의미를 해석하여 차트와 트렌드를 추출하는 기능 [Mistral, OpenAI, Microsoft Copilot]
터미널 환경과 디렉토리 구조의 자율적 이해 (CLI Workspace understanding): CLI 도구가 현재 프로젝트 환경과 디렉토리 구성을 자율적으로 파악·해석하는 기능 [Anthropic/Claude, Mistral, Google/Gemini]
API 사양과 정책 코드의 해석 (Apigee / API policy understanding): 엔터프라이즈 API 명세서와 보안 정책 코드를 읽어내고 설정의 의도를 이해하는 기능 [Google/Gemini]
MLOps에서의 데이터 편향과 드리프트 해석 (Model Monitoring): 머신러닝 모델의 입력 데이터 편향(스큐)과 저하 추세를 분석하여 이해하는 기능 [Google/Gemini]
보안 로그와 위협 인텔리전스 해석 (Security Copilot / Threat Analysis): 방대한 시스템 로그와 통신 데이터에서 사이버 공격의 징후와 위협 문맥을 추출하는 기능 [Microsoft Copilot, Google/Gemini]
클라우드 인프라 설정과 리소스 해석 (Cloud Assist / Infrastructure understanding): 소스 코드나 에디터의 문맥에서 최적의 클라우드 리소스와 배포 구성을 해석하는 기능 [Google/Gemini]
세션 이력과 에이전트 상태의 문맥 이해 (Session history retrieval): 에이전트가 과거 세션 정보를 읽어 작업의 진행 상황과 문맥을 거슬러 올라가 이해하는 기능 [OpenClaw, OpenAI]
외부 데이터 소스(Jira/Google Drive 등)의 구조 이해 (MCP server resources): MCP를 통해 연결된 외부 SaaS의 티켓 정보나 문서 구조를 이해·추출하는 기능 [Anthropic/Claude, OpenAI, Microsoft Copilot]
FIM 보완에서의 전후 문맥 해석 (Fill-in-the-Middle Completion): 코드의 전후 기술에서 중간에 들어가야 할 누락된 로직을 해석하여 이해하는 기능 [DeepSeek, OpenAI]
코드 현대화의 요구사항 이해 (Code modernization analysis): 레거시 코드를 최신 프레임워크로 마이그레이션할 때 원본 비즈니스 로직을 해석하여 이해하는 기능 [Google/Gemini, Anthropic/Claude]
트러블슈팅 절차 추출 (Troubleshooting extraction): 사용자의 에러 상황 설명에서 필요한 해결 단계를 매뉴얼 등에서 추출하여 이해하는 기능 [Google/Gemini, Anthropic/Claude]
Webhook 페이로드의 구조 해석 (Webhook event parsing): 외부 시스템에서 전송된 Webhook의 JSON 데이터를 이해하여 필요한 이벤트 정보를 추출하는 기능 [OpenAI, OpenClaw]
모바일 디바이스의 상태·센서 정보 해석 (Mobile node context): 모바일 노드에서 전송된 배터리 잔량이나 시스템 상태 등을 에이전트가 문맥으로 이해하는 기능 [OpenClaw]
Git 워크트리의 독립적 문맥 이해 (Worktrees context): 여러 작업 환경에서 별개의 작업이 진행 중일 때 현재 디렉토리 고유의 문맥을 이해하는 기능 [Anthropic/Claude]
개발자용 트레이스 로그의 의미 추출 (Trace / Debug log understanding): 모델의 내부 처리나 네트워크 요청 로그에서 병목 지점이나 에러 위치를 해석하는 기능 [OpenAI, OpenClaw]
클라우드 비용·FinOps 데이터의 추세 해석 (Cost Management / Billing analysis): API 이용료 및 인프라 비용 데이터를 분석하여 비정상적인 소비 추세와 최적화 포인트를 추출하는 기능 [Google/Gemini, OpenAI]
프로젝트 지시 파일(CLAUDE.md 등)의 자율 해석: 디렉토리에 배치된 지시 파일을 에이전트가 자체적으로 읽고 프로젝트 요구사항을 이해하는 기능 [Anthropic/Claude, OpenClaw]
서드파티 모델의 프롬프트 호환성 해석 (OpenAI Compatibility): OpenAI의 API 형식으로 전송된 요청을 다른 모델이 이해할 수 있는 형식으로 해석·변환하는 기능 [Meta/Llama, Perplexity, DeepSeek]
음성·오디오의 이해
음성 인식 및 문자 변환 (Speech-to-text / Whisper): 음성 데이터를 입력으로 받아 발화 내용을 정확한 텍스트로 해석·추출하는 기능 [OpenAI, Google/Gemini, xAI]
실시간 음성의 감정·톤 해석 (Realtime API / Voice API): 극저지연의 음성 입력으로부터 단어의 의미뿐 아니라 화자의 감정과 톤을 실시간으로 이해하는 기능 [OpenAI, xAI, Microsoft Copilot]
화자 분리 및 대화 구조 이해 (Diarization): 음성 데이터에서 "누가, 언제 말했는가"를 식별하고 여러 사람의 대화 흐름과 구조를 이해하는 기능 [OpenAI]
IVR의 사용자 의도 음성 해석 (Interactive voice response): 고객 지원 등의 음성 대응에서 고객의 요구사항을 해석하여 운영자로의 인수인계 여부를 판단하는 기능 [Microsoft Copilot]
음성 동의 기록의 문맥 이해 (Voice Consents interpretation): 음성 합성 API 등의 이용 시 필요한 사용자의 동의 정보를 텍스트나 음성으로부터 추출·이해하는 기능 [OpenAI]
검색 결과·외부 지식·도구의 이해
웹 검색 결과의 통합적 요약 (Web-grounded summarization): 여러 웹페이지로부터 얻은 정보를 통합하고 관련성과 모순을 이해하여 요약하는 기능 [Perplexity, OpenAI, Google/Gemini, Anthropic/Claude, Mistral, Kimi]
복잡한 주제의 심층 이해 (Deep research / Sonar): 복잡한 테마에 대해 웹상의 정보를 다단계로 읽어내며 깊이 있게 이해하고 요약하는 기능 [OpenAI, Google/Gemini, Perplexity]
정보 출처의 신뢰성 및 관련성 해석 (Search API filters): LLM의 생성 없이 검색 결과의 제목이나 스니펫으로부터 정보의 의미적 관련성을 추출하는 기능 [Perplexity]
검색 결과의 도메인 특정 문맥 해석 (Domain controls): 특정 도메인(의료·금융 등)에 한정된 검색 결과로부터 전문적 컨텍스트를 이해하는 기능 [Perplexity]
RAG의 문맥 보존 정보 추출 (Contextual retrieval): 정보를 분할(청크화)할 때 문서 전체의 문맥이 손실되지 않도록 해석하여 추출하는 기능 [Anthropic/Claude, Perplexity]
텍스트의 의미적 벡터화 및 해석 (Embeddings): 텍스트의 의미와 뉘앙스를 다차원 벡터로 수치적으로 해석하고 유사성을 찾는 기능 [OpenAI, Anthropic/Claude, Perplexity, Google/Gemini]
X의 실시간 트렌드 및 스레드 흐름 이해 (Thread fetch & Trend analysis): SNS의 스레드 전체 대화 흐름과 최신 화제를 컨텍스트로 하여 해석하는 기능 [xAI]
팩트체크의 근거 해석 (Grounding verification): 모델의 응답과 웹 검색 결과를 대조하여 사실관계가 일치하는지를 이해하는 기능 [Google/Gemini, Microsoft Copilot]
인용 출처의 정확한 컨텍스트 추출 (Citation extraction): 검색 결과로부터 응답의 근거가 되는 문장을 정확히 추출하고 인용으로 연결하는 기능 [Perplexity, OpenAI, Google/Gemini]
사용자의 독자적 컬렉션의 의미적 이해 (Collections / Knowledge base): 사용자가 업로드한 독자적 문서 집합의 메타데이터를 추출하고 전체 문맥을 이해하는 기능 [xAI, Mistral]
도구 선택 의도 및 인자 이해 (Tool choice / Function calling interpretation): 사용자의 요청으로부터 "어떤 도구를 어떤 파라미터로 사용할 것인가"를 자율적으로 해석하는 기능 [OpenAI, Anthropic/Claude, Google/Gemini, Meta/Llama, xAI, DeepSeek, Mistral]
eDiscovery를 위한 법적 증거 추출 (Legal hold retrieval): 조직 데이터로부터 소송이나 감사와 관련된 대화 기록이나 파일을 의미적으로 검색·추출·이해하는 기능 [Microsoft Copilot]
사용자의 과거 프롬프트 추세 학습 및 해석 (Personalization / Memory): 사용자의 과거 지시사항과 선호도를 기억하고 현재 프롬프트의 의도를 보다 정확히 해석하는 기능 [Google/Gemini, OpenAI, OpenClaw]
통신 네트워크 데이터의 트래픽 해석 (Telecom Data Fabric / Subscriber Insights): 통신사의 트래픽 데이터와 가입자 정보를 분석하여 행동 패턴을 이해·추출하는 기능 [Google/Gemini]
소매업 향 상품 검색의 의도 해석 (Vertex AI Search for commerce): 전자상거래 사이트에서 사용자의 모호한 검색 쿼리로부터 원하는 상품의 특징을 이해하는 기능 [Google/Gemini]
뉴스 및 주가의 실시간 데이터 추출 (Real-time data extraction): 검색 결과로부터 최신 뉴스 헤드라인과 금융시장 수치를 구조화하여 추출·이해하는 기능 [Perplexity]
다양한 문서 형식의 구조 이해 (Markup interpretation): Markdown, HTML, DOCX 등의 제목이나 표 등의 마크업 구조를 유지한 채로 의미를 해석하는 기능 [OpenAI, Anthropic/Claude, Google/Gemini, Mistral, Kimi]
추론 모델·분석 접근법에 의한 깊은 이해
추론 모델에 의한 복잡한 과제의 심층 해석 (Reasoning models): 직관적인 패턴 매칭이 아니라 단계별 논리 사고 프로세스를 사용하여 문제의 본질을 이해하는 기능 [OpenAI, DeepSeek, xAI, Google/Gemini, Kimi]
확장 사고에 의한 다단계 문맥 해석 (Extended thinking): 시간을 들여 문제의 배경과 제약을 깊이 있게 읽어내고 논리적 문맥을 해석하는 기능 [Anthropic/Claude]
적응형 사고에 의한 태스크 난이도 해석 (Adaptive thinking): 입력된 태스크의 복잡성을 자율적으로 이해하고 할당할 추론 수준을 조정하는 기능 [Anthropic/Claude]
추론 에포트(사고 수준)의 요청 해석 (Reasoning effort): 사용자가 지정한 사고의 깊이를 이해하고 이에 따른 세분도로 정보를 추출하는 기능 [OpenAI, OpenClaw]
수학적·과학적 난제의 논리적 해석 (Deep thought / Math reasoning): 수식이나 물리 법칙을 포함한 텍스트로부터 엄밀한 논리 전개와 정리의 문맥을 해석하는 기능 [DeepSeek, xAI, Google/Gemini]
데이터 인사이트의 자동 추출 (Data Insights): 데이터베이스의 테이블이나 로그 데이터로부터 상관관계와 비즈니스상 의미를 자율적으로 이해·추출하는 기능 [Google/Gemini, Microsoft Copilot]
마케팅 성과의 문맥 추출 (Campaign summarization): 캠페인 배포 결과 데이터로부터 성공·실패의 요인을 이해하고 요약하는 기능 [Google/Gemini]
에이전트의 건전성 및 성과 지표 해석 (Agent analytics): 봇의 대화 로그로부터 사용자의 좌절감과 해결율을 이해하고 개선점을 추출하는 기능 [Microsoft Copilot]
프롬프트의 자기 평가 및 최적화 의도 이해 (Prompt optimizer analysis): 모델이 자신의 응답 결과를 분석하고 사용자의 본래 의도를 충족하도록 프롬프트를 재해석하는 기능 [OpenAI]
자동 테스트 세트(Evals)의 정답 해석 (Evaluations grading): LLM 자신이 테스트 답안을 읽어내고 기준에 따라 정답·오답의 문맥을 해석하는 기능 [OpenAI, Anthropic/Claude, Google/Gemini]
라이브 스트리밍의 실시간 채팅 해석 (Twitch chat analysis): 방송 채팅 댓글로부터 시청자의 총의와 질문을 실시간으로 추출·이해하는 기능 [OpenClaw]
채팅 앱의 멘션과 수신처 이해 (Mention / Routing interpretation): Slack이나 Discord 등에서 누구를 대상으로 한 메시지인지, 봇이 응답해야 하는지를 해석하는 기능 [OpenClaw, Anthropic/Claude, Microsoft Copilot]
비대화형 모드에서의 자동 작업 목표 해석 (Non-interactive mode analysis): 인간의 피드백 없이 초기 프롬프트에서 최종 목표를 완전히 이해하고 작업을 수행하는 기능 [Anthropic/Claude]
API 요청의 속도 제한・메타데이터 해석 (Rate limit / Meta info extraction): API의 응답 헤더에서 남은 토큰 프레임이나 요청 ID를 체계적으로 해석하는 기능 [OpenAI, Perplexity]
에이전트 간 핸드오프 문맥 공유 및 이해 (Handoff context understanding): 봇에서 오퍼레이터 또는 다른 에이전트로 작업을 인수인계할 때, 그동안의 대화 문맥을 해석하는 기능 [OpenAI, Microsoft Copilot]
동영상에의 광고 삽입 포인트의 문맥 해석 (Video Stitcher API): 동영상 콘텐츠의 문맥을 이해하고, 서버 측에서 광고를 동적으로 삽입하는 적절한 타이밍을 추출하는 기능 [Google/Gemini]
사용자 활동 신호로부터의 연령 추론・이해 (Age assurance signals): 로그인 정보나 플랫폼상의 활동 이력 등의 신호를 종합적으로 분석・이해하여 연령층을 판단하는 기능 [C.AI]
"검색"에 관한 기능
AI가 학습하지 않은 최신 정보나 사내 기밀 데이터를 외부 데이터베이스나 웹에서 취득하는 기능입니다.
웹 검색・심층 리서치
자율적 웹 검색 (Web search tool): 모델이 자율적으로 인터넷상의 최신 정보나 사실 관계를 검색하여 답변에 포함시키는 [OpenAI, Anthropic/Claude, xAI/Grok, Kimi].
심층 리서치 (Deep research): 복잡한 토픽에 대해 웹상의 여러 정보 출처를 자율적으로 다단계로 따라가며 깊이 있게 조사하는 [OpenAI, Google/Gemini].
웹 그라운딩 (Web Grounding): 검색 엔진의 실시간 결과를 활용하여 답변에 근거를 제공하고 최신 정보를 취득하는 [Google/Gemini, Microsoft Copilot, Perplexity].
원본 웹 검색 결과 취득 (Search API): LLM의 추론을 거치지 않고 원본 웹 검색 결과(제목, URL, 스니펫)를 순위 지정하여 취득하는 [Perplexity].
웹 페치 도구 (Web fetch tool): 지정한 URL의 웹페이지에 직접 액세스하여 콘텐츠를 읽어 정보를 취득하는 [Anthropic/Claude].
Le Chat 웹 검색 (Le Chat Web search): 채팅 화면에서 웹 검색을 실행하고 최신 정보를 취득하여 Canvas에서의 리서치에 활용하는 [Mistral].
M365 웹 그라운딩 (Microsoft 365 Copilot Chat): 웹상의 검색 결과를 사용하여 최신 정보의 리서치나 안전한 팩트 체크를 수행하는 [Microsoft Copilot].
인용 포함 AI 답변 (Sonar API): 웹상의 지식을 실시간으로 리서치하고 "인용 포함 AI 답변"을 생성・취득하는 [Perplexity].
팩트 체크・더블 체크 (Double-check): 생성된 답변에 대해 웹상의 정보 출처를 검색하여 내용의 사실 확인을 수행하는 [Google/Gemini].
관련 출처 표시 (View related sources): 답변의 바탕이 된 웹 출처를 검색・표시하여 사용자가 직접 확인할 수 있도록 하는 [Google/Gemini].
도메인 제어・필터링 검색 (Search Filters / Domain Controls): 특정 도메인이나 사이트로 좁혀 웹 검색 결과를 취득하는 [Perplexity].
멀티 쿼리 병렬 검색 (Multi-query support): 한 번의 요청으로 여러 검색 쿼리를 병렬 실행하여 복합적인 웹 검색 결과를 취득하는 [Perplexity].
실시간 데이터 추출 (Real-time data extraction): 검색 결과에서 실시간 데이터(뉴스나 주가 등)를 추출하여 취득하는 [Perplexity].
에이전트 API 검색 (Agent API): 여러 써드파티 모델을 사용하여 통합된 웹 검색 도구와 프리셋으로 리서치를 수행하는 [Perplexity].
검색 크롤러 인덱스 취득 (Perplexity Crawlers): 공식 크롤러가 수집한 웹 인덱스 데이터를 기반으로 정보를 취득하는 [Perplexity].
RAG・벡터 검색・엠베딩
파일 검색 (File search): 업로드된 PDF 등의 파일 그룹에서 사용자의 질문과 관련된 부분을 검색・추출하는 [OpenAI, Anthropic/Claude].
검색 확장 생성 (Retrieval / RAG): 독자적인 문서 그룹에서 의미상으로 정보를 찾아내어 답변의 근거로 활용하는 [OpenAI, Mistral, Meta/Llama, Anthropic/Claude].
벡터 스토어 관리 (Vector Stores): 검색을 고속이고 고정밀하게 수행하기 위해 문서의 벡터 데이터를 저장・관리・검색하는 [OpenAI].
텍스트 엠베딩 (Embeddings API): 텍스트의 의미를 수치 벡터화하여 시맨틱 검색이나 독자적 RAG의 검색 정확도를 향상시키는 [OpenAI, Perplexity, Anthropic/Claude].
문맥을 보존한 검색 (Contextual retrieval): 문서를 분할할 때 전체의 문맥을 보존하여 RAG의 검색 정확도를 대폭 향상시키는 [Anthropic/Claude].
문맥화 엠베딩 (Contextualized Embeddings): 문맥을 고려한 벡터 데이터를 생성・취득하여 RAG 시스템의 검색 정확도를 높이는 [Perplexity].
컬렉션 검색 (Collections Search): 사용자가 작성한 독자적인 컬렉션(문서 그룹) 내에서 필요한 정보를 시맨틱 검색하는 [xAI/Grok].
컬렉션의 메타데이터 취득 (Collection Metadata): 작성한 RAG용 컬렉션의 메타데이터나 프로퍼티 정보를 취득하는 [xAI/Grok].
파일 API 연계 검색 (Files API Retrieval): API를 경유하여 업로드된 텍스트 파일이나 문서를 읽어 정보를 검색하는 [OpenAI, Anthropic/Claude, xAI/Grok].
PDF에서의 통합 검색 (PDF support): PDF 내의 텍스트뿐만 아니라 차트나 그래프 등의 시각적 정보도 통합적으로 검색・취득하는 [Anthropic/Claude].
초장문 콘텍스트 직접 검색 (Ultra-long Context Retrieval): 256K 등의 대량의 콘텍스트를 활용하여 RAG를 사용하지 않고 전체 문서에서 정보를 직접 찾아내는 [Kimi].
커스텀 에이전트 나레지 검색 (Custom agent knowledge base): 커스텀 에이전트에 연결된 독자적인 나레지베이스에서 업무에 고유한 정보를 검색・취득하는 [Mistral].
엔터프라이즈 문서 검색 (Vertex AI Search): 기업 내의 대규모 비정형 데이터에서 의미를 이해하고 정보를 순간적으로 검색하는 [Google/Gemini].
벡터 검색 기반 (Vector Search): 데이터 크기나 요구 사항에 따라 확장 가능한 의미적 검색을 제공하는 인프라 기능 [Google/Gemini].
Llama RAG 통합 (Llama RAG Integration): Cookbook 등을 통해 모델을 벡터 DB와 연계하여 외부 지식을 검색하는 [Meta/Llama].
사내 데이터・SaaS 연계 검색
M365 업무 데이터 그라운딩 (Microsoft 365 Data Grounding): 조직 내의 문서, 이메일, Teams 채팅 등의 업무 데이터를 횡단적으로 검색하여 답변의 근거로 하는 [Microsoft Copilot].
Google Workspace 데이터 검색 (Connected Apps): Gmail, Google Drive, 문서 등에서 개인의 업무 데이터나 파일을 검색・취득하는 [Google/Gemini].
MCP 서버 리소스 검색 (MCP and Connectors): Model Context Protocol을 이용하여 원격 서버에 있는 외부 DB나 SaaS에서 표준 프로토콜로 데이터를 취득하는 [OpenAI, Anthropic/Claude, Microsoft Copilot].
Jira/Slack 데이터 취득 (MCP SaaS Retrieval): MCP를 경유하여 Jira의 티켓 정보나 Slack의 메시지 이력을 직접 검색・추출하는 [Anthropic/Claude, OpenClaw].
Google Drive 문서 취득 (Google Drive Retrieval): MCP를 통해 Google Drive에 저장된 사양서나 설계 문서를 검색하여 읽어 들이는 [Anthropic/Claude].
외부 API 데이터 직접 취득 (Data retrieval): ChatGPT Actions 등과 연계하여 특정 엔드포인트(사내 데이터베이스 등)에서 필요한 데이터를 직접 검색・취득하는 [OpenAI].
커넥터 확장 검색 (Connectors): 외부 SaaS 시스템이나 독자적인 데이터베이스를 연결하여 에이전트의 리서치 범위와 데이터 수집 능력을 확장합니다 [Microsoft Copilot].
공개 사이트를 지식 소스로 활용 (Knowledge sources - Public website): 에이전트에 특정 공개 웹사이트를 지정하고 해당 사이트에서 정보를 리서치하게 합니다 [Microsoft Copilot].
SharePoint 나레지 검색 (Knowledge sources - SharePoint): 조직 내 SharePoint를 지식 소스로 연결하여 보안된 환경에서 사내 문서를 검색합니다 [Microsoft Copilot].
비정형 데이터 추출 (Document AI): 서식지 등의 비정형 문서를 검색·처리하여 필요한 데이터를 자동으로 추출·수집합니다 [Google/Gemini].
통합 데이터 카탈로그 검색 (Dataplex Universal Catalog): 클라우드의 모든 데이터를 횡단적으로 검색·관리·수집합니다 [Google/Gemini].
eDiscovery/법적 보유 검색 (eDiscovery / Legal hold): 소송이나 감사에 대비하여 저장된 Copilot의 대화 기록과 시스템 로그를 검색·수집합니다 [Microsoft Copilot].
Power Platform 커넥터 수집 (Power Platform Connector Retrieval): Power Automate 등의 흐름에서 연계하는 커넥터로부터의 데이터를 검색하여 Copilot에 전달합니다 [Microsoft Copilot].
코드·데이터베이스·개발 리서치
GitHub 리포지토리 검색 (GitHub Repository Search): GitHub 리포지토리를 임포트·연결하여 코드베이스와 이력에 대해 직접 검색합니다 [Google/Gemini, Microsoft Copilot].
프라이빗 코드베이스 횡단 검색 (Custom Codebase Search): 자사의 GitHub/GitLab 등을 연결하여 프라이빗 대규모 코드베이스에서 코드를 검색합니다 [Google/Gemini].
코드 리뷰 컨텍스트 수집 (Code Review Context Retrieval): GitHub 등에서의 코드 리뷰 시 관련 PR과 코드의 컨텍스트를 검색·수집합니다 [Google/Gemini, Anthropic/Claude].
로컬 코드베이스 검색 (Claude Code File Search): CLI 환경에서 로컬 코드베이스 전체를 자율적으로 읽어 필요한 파일과 의존성을 검색합니다 [Anthropic/Claude].
에러 트레이스 검색 (Error Trace Retrieval): 터미널의 에러 로그와 증상으로부터 코드베이스 내 버그의 근본 원인을 추적·검색합니다 [Anthropic/Claude].
BigQuery 메타데이터 수집 (BigQuery Data Insights): 데이터베이스 내 테이블 메타데이터를 검색하여 인사이트가 되는 유용한 쿼리와 정보를 수집합니다 [Google/Gemini].
데이터베이스 쿼리 검색 (Database Search): 자연언어 지시를 통해 SQL 데이터베이스 내를 검색·정보를 수집합니다 [Google/Gemini, Microsoft Copilot].
코드 인터프리터 데이터 수집 (Code Interpreter Data Retrieval): 스프레드시트 등의 데이터를 읽어 코드를 실행하고 필요한 정보와 인사이트를 검색·추출합니다 [Mistral, OpenAI, Microsoft Copilot].
API 사양 스마트 검색 (Smart Search in API hub): 개발자가 사내의 API 사양 등을 효율적으로 검색·수집할 수 있는 Vertex AI 탑재 기능입니다 [Google/Gemini].
클라우드 로그/트레이스 수집 (Cloud Logging / Trace Retrieval): 시스템의 로그와 에러 트레이스를 검색하여 수집하고 성능을 시각화합니다 [Google/Gemini].
도구의 자율 검색 (Tool search): 이용 가능한 다수의 도구 그룹 중에서 실행하려는 태스크에 최적의 도구 자체를 검색하여 찾아냅니다 [OpenAI].
샌드박스 내 파일 수집 (Docker Sandbox File Retrieval): 안전한 컨테이너(샌드박스) 환경에 저장된 실행 결과와 파일을 외부에서 안전하게 검색·수집합니다 [OpenClaw].
Llama Stack 검색 (Llama Stack Retrieval): Llama Stack의 API 레이어를 통해 자사 호스팅 모델로부터 독자적인 데이터를 검색·수집합니다 [Meta/Llama].
플랫폼·SNS·특화형 검색
X 포스트 검색 (X Search): X(구 Twitter)의 실시간 포스트를 키워드나 사용자 지정으로 검색하여 트렌드와 사실을 수집합니다 [xAI/Grok].
X 특정 계정 검색 (allowed_x_handles): 특정 X 계정(최대 10개)으로 좁혀 포스트를 검색·수집합니다 [xAI/Grok].
X 제외 계정 검색 (excluded_x_handles): 특정 X 계정을 검색 결과에서 제외하여 정보를 수집합니다 [xAI/Grok].
X 특정 기간 검색 (Date Range): 날짜 범위(ISO8601)를 지정하여 특정 기간의 X 포스트를 검색합니다 [xAI/Grok].
X 스레드 수집 (Thread fetch): X의 특정 스레드나 포스트 대화 흐름 전체를 수집하여 컨텍스트로 활용합니다 [xAI/Grok].
X 이미지/동영상 콘텐츠 검색 (Media Understanding): X 검색에서 텍스트뿐만 아니라 이미지와 동영상의 내용도 검색·해석하여 수집합니다 [xAI/Grok].
보안 위협 인텔리전스 검색 (Security Copilot Threat Retrieval): 방대한 보안 데이터와 로그 중에서 사이버 공격의 징후와 위협 정보를 검색·수집합니다 [Microsoft Copilot, Google/Gemini].
재무 데이터 검색 (Copilot for Finance): ERP 시스템이나 재무 데이터로부터 비즈니스에 필요한 재무 인사이트와 관련 데이터를 검색·수집합니다 [Microsoft Copilot].
CRM 영업 데이터 검색 (Copilot for Sales): Dynamics 365 등의 CRM 시스템에서 고객 정보와 상담 이력을 검색하여 수집합니다 [Microsoft Copilot].
지원 나레지 검색 (Copilot for Service): 고객 지원 시 관련 나레지베이스와 과거 케이스 이력을 검색·수집합니다 [Microsoft Copilot].
데이터 분석 기반의 통합 검색 (Copilot in Microsoft Fabric): 연관성이 없는 여러 데이터 소스에서 필요한 데이터를 검색·수집하여 분석 기반에 통합합니다 [Microsoft Copilot].
Azure 클라우드 리소스 검색 (Copilot in Azure): Azure의 클라우드 리소스 상태와 작업 이력, 트러블슈팅 가이드를 검색·수집합니다 [Microsoft Copilot].
이커머스 상품 검색 (Vertex AI Search for commerce): 소매업 향으로 기업 데이터에서 고도의 상품 검색과 추천 정보를 수집합니다 [Google/Gemini].
통신 가입자 데이터 수집 (Telecom Subscriber Insights): 통신 업계 향으로 가입자 데이터를 검색·인제스트하여 수집합니다 [Google/Gemini].
지리공간 데이터 수집 (Geospatial Data Retrieval): Google Earth Engine 등으로부터 지구 관측 데이터와 위성 이미지를 검색·수집합니다 [Google/Gemini].
대화 이력·컨텍스트·메모리 검색
프롬프트 캐시 검색 (Prompt caching): 캐시된 대량의 컨텍스트 중에서 재처리 없이 빠르게 과거 입력 파일과 문맥을 검색·인출합니다 [OpenAI, Anthropic/Claude, xAI/Grok].
채팅 스레드 이력 수집 (Conversation History / Threads): 과거 채팅 스레드 이력에서 문맥과 과거 메시지 정보를 검색하여 수집하는 API 기능입니다 [OpenAI].
로컬 세션 이력 검색 (sessions_history): 에이전트가 과거의 상호작용이나 다른 세션 이력을 거슬러 필요한 컨텍스트를 자율적으로 검색·수집합니다 [OpenClaw].
로컬 세션 목록 수집 (sessions_list): 에이전트가 자신의 워크스페이스 내에 존재하는 모든 활성 세션 목록을 검색·수집합니다 [OpenClaw].
커스텀 지시·메모리 검색 (Personalization retrieval): 과거 채팅 이력과 커스텀 지시로부터 사용자의 선호도와 문맥을 검색·추출하여 응답에 반영합니다 [Google/Gemini].
데스크톱 화면 정보의 시각적 수집 (Computer Use Desktop Retrieval): 데스크톱 환경을 시각적으로 보고 화면 상의 앱과 브라우저 정보를 자율적으로 검색·수집합니다 [Anthropic/Claude].
모더레이션 데이터 수집 (Moderation Retrieval): 안전성 모델을 활용하여 텍스트가 정책을 위반하지 않는지의 판정 결과와 플래그 데이터를 수집합니다 [OpenAI, Meta/Llama].
파일·로컬 시스템 검색
로컬 파일 직접 읽기 (read tool): 에이전트가 로컬 디바이스에 저장된 파일이나 문서를 직접 읽어 정보를 취득 [OpenClaw, Anthropic/Claude].
프로세스·시스템 상태 취득 (Process / Bash Retrieval): 셸 명령을 실행하여 로컬 시스템의 상태나 프로세스 정보를 검색하여 취득 [OpenClaw, Anthropic/Claude].
모바일 노드 상태 취득 (Mobile Node Retrieval): 페어링된 iOS/Android 노드로부터 디바이스의 센서 정보나 시스템 상태를 검색·취득 [OpenClaw].
파일 목록 취득 (List files): API나 워크스페이스에 업로드된 모든 파일의 목록을 검색하여 취득 [OpenAI, xAI/Grok, Anthropic/Claude].
파일 콘텐츠 취득 (Retrieve file content): 저장된 특정 파일의 내용 자체를 다운로드·취득 [OpenAI, xAI/Grok].
업로드 상태 취득 (Files Upload Status): 용량이 큰 업로드 처리 중인 파일의 상태 정보를 검색하여 취득 [OpenAI, xAI/Grok].
벡터 스토어 파일 취득 (Retrieve vector store file): 벡터 스토어 내에 저장된 특정 파일이나 상태를 검색·취득 [OpenAI].
파일 배치 취득 (Retrieve a file batch): 벡터 스토어에 일괄로 추가된 파일 그룹의 배치 처리 상태를 검색·취득 [OpenAI].
메타데이터·관리 로그·평가 데이터 취득
실행 로그 검색 (Retrieve runs): 어시스턴트 API 등에서 실행된 스레드의 실행 로그(Runs)를 검색하여 취득 [OpenAI].
배치 처리 결과 취득 (Retrieve a batch): 비동기 배치 처리의 결과나 상태 정보를 검색하여 취득 [OpenAI, xAI/Grok].
메시지 배치 처리 결과 취득 (Message Batches Retrieval): 일괄 처리된 메시지의 상태나 결과를 검색하여 취득 [Anthropic/Claude].
워크스페이스 감사 로그 취득 (Audit Logs Retrieval): 관리자가 API 키의 이용 이력이나 사용자 작업 등의 감사 로그를 검색하여 취득 [OpenAI, xAI/Grok].
관리자용 데이터 취득 (Admin API Data Retrieval): 관리자가 워크스페이스의 권한 설정이나 API 키의 이용 데이터를 검색·취득 [Anthropic/Claude, OpenAI].
에이전트 성능 분석 데이터 취득 (Agent Analytics Retrieval): 에이전트의 상태나 대화 로그, 성능 데이터를 분석하기 위해 정보를 검색·취득 [Microsoft Copilot].
청구·이용 현황 취득 (Billing & Usage Retrieval): 워크스페이스별 API 사용량, 비용, 청구 정보를 검색하여 취득 [Mistral, xAI/Grok, OpenAI].
API 이용 한도·레이트 제한 취득 (Rate Limits Retrieval): 사용자의 현재 API 이용 한도나 레이트 제한 상태를 취득 [Perplexity, OpenAI].
시스템 상태 취득 (System Status Retrieval): API의 시스템 전체 가동 상황을 API 경유로 취득 [Perplexity, Anthropic/Claude].
Webhook 이벤트 정보 취득 (Webhook event retrieval): 외부 시스템에서 Webhook 경유로 송신된 이벤트 정보나 페이로드를 취득·분석 [OpenAI, OpenClaw].
생성 이미지의 인용 출처 메타데이터 취득 (Citations Retrieval): 웹 검색의 결과로서, 답변의 근거가 된 이미지의 인용 출처(Citations)의 메타데이터를 취득 [Perplexity, xAI/Grok].
모델 평가 보고서 취득 (Vertex AI Model Evaluation Retrieval): 생성 AI 모델의 객관적 평가 지표(BLEU, ROUGE 등)의 분석 결과를 검색·취득 [Google/Gemini].
평가 데이터 검색 (Retrieve an eval): 모델의 객관적 평가를 실시한 과거의 테스트 세트나 평가 데이터(Evals)를 검색하여 취득 [OpenAI].
클라우드 쿼타 취득 (Cloud Quotas Retrieval): 클라우드 상의 전 서비스의 할당(쿼타) 정보를 검색하여 취득 [Google/Gemini].
모델 목록 취득 (List models): 이용 가능한 AI 모델의 목록이나 상세 정보를 API 경유로 검색하여 취득 [OpenAI, xAI/Grok, DeepSeek].
"추론"에 관한 기능
복잡한 태스크를 작은 스텝으로 분해하여 A이기 때문에 B가 된다는 식의 논리적 사고나 계획을 수행하는 기능입니다.
추론 모델·사고 프로세스
추론 특화 모델 (Reasoning models): 직관적 응답이 아닌 단계적 논리 사고 프로세스(Chain of Thought)를 이용하여 복잡한 태스크를 해결 [OpenAI, DeepSeek, xAI/Grok, Kimi]
추론 노력의 제어 (Reasoning effort): API 요청 시 사고의 깊이("low", "medium", "high" 등)를 지정하여 추론에 투입하는 계산 리소스를 제어 [OpenAI, OpenClaw]
확장 사고·추론 (Extended thinking): 장시간에 걸쳐 단계적 사고 프로세스를 거쳐 복잡한 문제에 대한 깊은 논리적 추론을 실행 [Anthropic/Claude]
적응형 사고 (Adaptive thinking): 태스크의 복잡도나 난이도를 모델이 자율적으로 해석하여 추론(사고)의 수준을 동적으로 조정 [Anthropic/Claude]
추론 노력과 태스크 예산 관리 (Task budgets / Effort): 추론에 투입하는 노력이나 계산 예산을 설정하여 분석 프로세스의 깊이와 비용을 제어 [Anthropic/Claude]
사고 모드 (Thinking Mode / deepseek-reasoner): 복잡한 프롬프트에 대해 명시적 사고 프로세스를 전개하여 보다 깊은 논리적 분석을 실행 [DeepSeek]
고속 추론 모델 (Fast-reasoning models): 도구 호출의 정확성과 추론 속도의 균형을 최적화하여 저지연으로 분석이나 논리 전개를 실행 [xAI/Grok]
사고 프로세스의 명시적 생성 (Reasoning Trace generation): 최종 답변을 내기 전에 "머릿속에서 어떻게 논리 전개했는지"라는 사고의 궤적을 텍스트로 출력 [OpenAI, DeepSeek]
다단계 추론 모델 (Thinking Models): 복잡한 비즈니스 과제나 데이터 분석 태스크에 대한 논리적 해결 스텝을 다단계로 추론 [Kimi]
사고 수준의 동적 명령 제어 (/think command): 채팅 명령 등을 이용하여 에이전트의 추론의 깊이를 로컬 환경에서 동적으로 조정 [OpenClaw]
데이터 분석·계산 추론
코드 인터프리터 (Code interpreter): AI가 자율적으로 Python 코드 등을 생성·실행하여 수학적 계산이나 데이터셋의 분석, 그래프 작성을 논리적으로 실시 [OpenAI, Microsoft Copilot, Mistral]
로컬 코드 실행 추론 (Code execution tool): AI 자신이 로컬 또는 샌드박스 환경에서 코드를 실행하여 수치 집계나 통계 분석을 추론 [Anthropic/Claude, xAI/Grok]
데이터베이스의 자동 인사이트 추론 (BigQuery Data Insights): 데이터베이스의 메타데이터를 해석하여 데이터 분석에 유용한 인사이트나 SQL 쿼리를 자동 추론·생성 [Google/Gemini]
SQL 쿼리의 의도·성능 분석 (Database Development Assistance): 복잡한 SQL의 로직을 추론하여 언어화하고, 성능 향상을 위한 최적화 방안을 분석 [Google/Gemini]
스프레드시트 데이터의 분석과 추론 (Le Chat Code Interpreter): 표계산 데이터를 읽어 코드를 실행하여 데이터의 추세 분석, 차트 생성, 인사이트 추론을 실시 [Mistral]
여러 데이터소스의 통합 인사이트 추론 (Copilot in Microsoft Fabric): 연관성이 없는 여러 데이터소스 간의 연결고리를 찾아내어 유용한 비즈니스 인사이트를 자동 추론·생성 [Microsoft Copilot]
최적의 데이터 시각화 추론 (Power BI Copilot): 분석한 데이터 결과를 바탕으로 사용자가 이해하기 쉬운 최적의 대시보드 구성이나 그래프 표현을 추론 [Microsoft Copilot]
고객 데이터로부터의 인사이트 추론 (Dynamics 365 Copilot): CRM 상의 고객 데이터나 거래 이력을 분석하여 최적의 세일즈 액션이나 고객의 잠재적 니즈를 추론 [Microsoft Copilot]
데이터 사이언스용 노트북에서의 추론 (Colab Enterprise): 데이터 분석이나 ML 모델 학습 워크로드에서 Python 코드의 추론과 실행을 원활히 지원 [Google/Gemini]
대규모 데이터셋의 일괄 추론 (Batch processing reasoning): 대량의 데이터 분석 및 추론 작업을 비동기로 일괄 처리하여 비용을 절감하고 인사이트를 추출 [OpenAI, Anthropic/Claude, xAI/Grok]
코딩·개발·디버깅에서의 추론
코드베이스 전체의 잠재적 버그 추론 (Codebase understanding): 단일 파일뿐만 아니라 프로젝트 전체의 컨텍스트에서 잠재적인 버그 및 취약점을 추론 [Google/Gemini, Anthropic/Claude]
누락된 로직의 추론 (FIM Completion): 전후 코드의 문맥(Fill-in-the-Middle)을 이해하고 중간에 누락된 논리적인 코드 블록을 추론하여 생성 [DeepSeek, OpenAI]
접두사로부터의 후속 로직 추론 (Chat Prefix Completion): 제공된 코드의 접두사(prefix)를 기반으로 지금까지의 문맥을 해석하여 후속 논리 전개를 추론 [DeepSeek]
프로젝트 횡단적 의존성의 추론 (Cross-file reasoning): CLI 환경 등에서 코드베이스를 읽고 복수 파일 간의 논리적 의존성 및 시스템 구조를 추론 [Anthropic/Claude, Kimi]
아키텍처의 추론·설계 (Architecture reasoning): 사용자의 요구사항 정의로부터 최적의 시스템 아키텍처를 추론하고 복잡한 프로그램 코드의 기반을 설계 [OpenAI, Google/Gemini]
에러 트레이스로부터의 근본 원인 추론 (Error trace reasoning): 터미널의 에러 로그 및 스택 트레이스로부터 코드 내의 버그 근본 원인을 논리적으로 추적·추론 [Anthropic/Claude, Google/Gemini, OpenAI]
커밋·PR 차이의 의도 추론 (PR diff reasoning): 변경된 코드의 차이를 분석하고 왜 그러한 수정이 이루어졌는지에 대한 논리적 의도를 추론하여 메시지화 [Anthropic/Claude, Google/Gemini]
앱 크래시의 요인 분석 (App crash analysis): Firebase 등의 크래시 로그를 요약·분석하고 버그의 근본 원인 및 문제 해결 절차를 논리적으로 추론 [Google/Gemini]
프로젝트 개요로부터의 구조 추론 (Scaffolding reasoning): 터미널에서 자연언어로 개요만 전달하면 프로젝트에 필요한 디렉토리 구조 및 초기 파일을 논리적으로 추론 [Mistral]
프로그래밍 중의 다음 수순 추론 (Code completion reasoning): 개발자가 코드를 작성하는 과정에서 프로젝트 내 문맥을 읽고 다음에 필요한 코드 로직을 자동으로 추론 [Microsoft Copilot, Google/Gemini]
리서치 및 복잡한 문제 해결의 추론
심층 리서치의 정보 통합 추론 (Deep research reasoning): 웹 검색을 다단계로 반복하여 복수의 정보를 논리적으로 통합하고 깊은 인사이트 및 결론을 추론·분석 [OpenAI, Google/Gemini]
검색 결과 통합에 기반한 사실 추론 (Web-grounded reasoning): 웹의 최신 지식을 수집하고 복수 정보원의 관련성 및 모순을 추론하여 정확한 답변을 도출 [Perplexity, OpenAI]
정보 소스의 신뢰성 및 관련성 분석 추론 (Search API filtering): LLM의 텍스트 생성 없이 생 검색 결과의 의미적 관련성 및 신뢰성의 높이를 스코어링·추론 [Perplexity]
과학적·수학적 난제의 깊은 논리 추론 (Scientific/Math reasoning): 고도의 수학적 계산(DeepSeek-Math 등) 및 물리 법칙을 포함한 텍스트로부터 엄밀한 논리 전개 및 정리의 증명 프로세스를 추론 [DeepSeek, xAI/Grok, Google/Gemini]
연구 논문·학술 데이터의 깊은 분석 추론 (Analyze research papers): 복잡한 포맷의 연구 논문 및 학술 데이터를 읽고 과학적 인사이트를 논리적으로 추출·분석 [Meta/Llama, Anthropic/Claude]
초장대 컨텍스트의 조감적 분석 추론 (Long-context analysis): 수백만 토큰의 컨텍스트 전체를 분석하고 거시적 관점에서의 추론 및 종합적 요약을 실시 [Meta/Llama, Google/Gemini, Kimi]
에이전트 워크플로우의 계획 추론 (Agent API workflow planning): 외부 모델 및 웹 검색 도구를 조합한 복잡한 리서치 워크플로우의 최적 실행 단계를 추론·계획 [Perplexity, OpenAI, Anthropic/Claude]
복수 문서의 통합 분석 및 레포트 구축 추론 (Canvas analysis): 검색 결과 및 업로드된 복수 문서를 횡단적으로 분석하여 레포트 및 기획서의 논리적 구성을 추론 [Mistral, OpenAI]
등장인물의 심리 추론 및 관계성 분석 (Character mind map reasoning): 소설 및 장문의 컨텍스트로부터 등장인물의 사고 프로세스 및 인간관계를 추론하여 마인드맵으로 정리 [Meta/Llama]
예측 분석 및 생성AI의 융합 추론 (Predictive AI integration): 기존 머신러닝의 수치적 예측 결과와 생성AI의 논리적 추론 능력을 결합하여 고도의 비즈니스 추론을 실행 [Google/Gemini]
시각·멀티모달 추론
이미지 내 객체 관계성의 논리적 추론 (Visual reasoning): 이미지에 담긴 물체 간의 관계성 및 상황의 배경을 시각적으로 추론·해석 [OpenAI, Anthropic/Claude, Google/Gemini, xAI/Grok, Kimi]
차트 및 그래프로부터의 인사이트 추론 (Chart/Graph analysis): 이미지화된 그래프 데이터로부터 수치적 인사이트, 논리적 트렌드 및 상관관계를 시각적으로 추론 [Anthropic/Claude, Meta/Llama, OpenAI]
멀티모달 혼합 전문가 추론 (Mixture-of-Experts Vision-Language): 이미지와 텍스트가 혼재된 입력에 대해 모델 내부의 최적 전문가를 추론·선택하여 고도의 이해를 실행 [DeepSeek]
시각적 인과관계 및 논리 구조의 추론 (Visual Causal Flow): 복잡한 도해, 플로우차트 및 광학 문자 인식(OCR) 결과로부터 정보의 흐름 및 논리적 인과관계를 추론 [DeepSeek]
3D 공간 구조 및 조명의 물리적 추론 (ReLi3D / 3D reasoning): 단일의 2D 이미지로부터 대상물의 3D 형상, 환경의 조명 조건, 재질의 반사 특성을 물리적으로 추론·재구성 [Stability AI]
이미지로부터의 동작 및 공간의 시각적 추론 (SViM3D / Video generation reasoning): 단일의 정지 이미지를 입력으로 그 안에 존재해야 할 자연스러운 동작 및 3D 재질 구조를 시각적으로 추론하여 동영상화 [Stability AI]
소셜 투시의 멀티모달 추론 (Social media multimodal reasoning): X의 검색에서 투시 텍스트뿐만 아니라 포함된 이미지 및 동영상의 시각적 컨텍스트도 통합하여 논리적으로 추론 [xAI/Grok]
데스크톱 화면의 UI 구조 시각적 추론 (Computer use vision): PC 화면을 시각적으로 이해하고 목표를 달성하기 위해 어떤 UI 요소를 조작할지의 수순을 추론 [Anthropic/Claude, OpenAI]
UI 목업으로부터의 코드 구조 추론 (UI to HTML reasoning): 손글씨 또는 UI의 목업 이미지를 시각적으로 해석하여 해당하는 프론트엔드의 논리적 코드 구조를 추론 [Google/Gemini, OpenAI]
동영상의 문맥 및 시간적 인과관계의 추론 (Video analysis reasoning): 업로드된 동영상의 프레임 전환 및 음성을 분석하여 시간적 인과관계 및 액션의 의도를 추론 [Google/Gemini, xAI/Grok]
이미지 편집용 마스크 영역의 논리적 추론 (Masking understanding): 이미지 편집에서 지정된 마스크 이미지의 영역과 사용자의 프롬프트 의도를 대조하여 최적의 편집 내용을 추론 [OpenAI]
셀피 이미지로부터의 생체·나이 추론 (Age assurance vision): 셀피 이미지로부터 얼굴의 생체 정보를 분석하고 사용자의 나이(18세 이상 등)를 시각적으로 추론·판정 [C.AI, OpenAI]
멀티모달 정보의 통합 추론 (Integrated multimodal reasoning): 텍스트, 이미지, 동영상, 음성 등 서로 다른 모달리티의 입력을 원활하게 조합하여 통합적인 논리 추론을 실시 [Google/Gemini, Kimi, OpenAI]
시스템·보안·운용 추론
기계 속도의 보안 위협 추론 (Security threat reasoning): 방대한 보안 로그를 고속으로 분석하여 사이버 공격 등의 위협 징후 및 공격 패턴을 논리적으로 추론 [Microsoft Copilot]
클라우드 운용 상태의 진단 추론 (Cloud infrastructure diagnostics): 클라우드 인프라의 로그 및 메트릭을 분석하여 시스템의 운용 상태 진단 및 병목 해소 절차를 추론 [Microsoft Copilot, Google/Gemini]
콘텐츠 모더레이션의 유해성 추론 (Content moderation reasoning): 텍스트 및 이미지의 내용을 분석하여 정책 위반 또는 잠재적 유해성의 유무를 논리적으로 추론·스코어링 [OpenAI, Meta/Llama]
데이터 편향 및 모델 성능 저하 모니터링 추론 (MLOps monitoring): 머신러닝 모델의 입력 데이터 스큐(편향) 또는 드리프트를 분석하고 모델 성능 저하 상황을 객관적으로 평가·추론 [Google/Gemini]
조직 데이터 횡단 업무 문맥 추론 (Enterprise context reasoning): 사내 SharePoint, 이메일, 채팅 등을 횡단적으로 읽고 정보를 논리적으로 정리하여 현재 업무 상황이나 답변을 추론 [Microsoft Copilot]
API 정책 코드 해석 추론 (API policy reasoning): 엔터프라이즈 환경의 API 명세서나 보안 정책 코드를 해석하고 그 설정의 의도를 추론 [Google/Gemini]
소스 에디터 컨텍스트 기반 아키텍처 추론 (Editor context reasoning): 클라우드 인프라의 소스 에디터 위의 코드 기술로부터 최적의 배포 구성이나 리소스를 추론 [Google/Gemini]
사용자 활동 신호로부터의 종합적 연령 추론 (Age assurance signals): 로그인 정보나 플랫폼상의 활동 이력 등의 신호를 종합적으로 분석하여 사용자의 연령대를 추론 [C.AI]
가드레일 준수 기반 안전 행동 추론 (Guardrails reasoning): 에이전트가 도구 호출을 수행할 때 사전 정의된 안전성 및 윤리 정책을 자율적으로 대조하여 안전한 행동을 추론 [OpenAI, Microsoft Copilot, Anthropic/Claude]
디버그 추론의 가시화 (Developer mode trace / Trace logs): 에이전트의 내부 네트워크 요청이나 사고 로그를 출력하여 개발자가 시스템의 병목을 추론·분석 [OpenAI, OpenClaw]
도구 선택·에이전트 행동 추론
도구 선택 및 파라미터 자율 추론 (Tool choice reasoning): 사용자의 지시를 분석하여 제공된 여러 외부 도구 중 "어느 것을, 어떤 인수(JSON)로 호출할 것인지"를 자율적으로 추론 [OpenAI, Anthropic/Claude, Google/Gemini, xAI/Grok, Meta/Llama, Mistral, DeepSeek]
에이전트 흐름의 논리 설계 추론 (Agent flow reasoning): 자연어 지시로부터 에이전트가 실행해야 할 복잡한 처리 절차나 조건 분기 워크플로우를 논리적으로 설계·추론 [Microsoft Copilot]
서브에이전트로의 태스크 위임 추론 (Orchestration reasoning): 메인 에이전트가 복잡한 태스크를 세분화된 단계로 분할하여 어느 전문 서브에이전트에 위임할 것인지를 계획·추론 [OpenAI, Anthropic/Claude]
에이전트의 동적 라우팅 추론 (Multi-agent routing): 수신 채널이나 사용자별로 어느 워크스페이스나 에이전트의 컨텍스트를 적용할 것인지를 추론하여 트래픽을 분배 [OpenClaw]
페르소나 및 행동 계획의 자율적 추론 (Persona/Workspace reasoning): 워크스페이스 내의 설정 파일(AGENTS.md 등)을 읽어 프로젝트 요건이나 사용자의 선호도를 분석하여 행동 계획을 추론 [OpenClaw, Anthropic/Claude]
구조화된 데이터 출력의 스키마 추론 (Structured output reasoning): 비구조화 데이터로부터 추론한 결과를 엄밀한 JSON 스키마 구조에 매핑하여 확실히 출력하고 데이터 분석 기반에 전달 [OpenAI, Anthropic/Claude, Google/Gemini, Meta/Llama, DeepSeek]
대화 컨텍스트 및 이력으로부터의 의도 추론 (Context management reasoning): 과거의 대화나 이전 생성 출력 내용의 문맥을 논리적으로 고려하여 후속 답변이나 액션을 추론 [OpenAI, Anthropic/Claude, Google/Gemini]
데이터 취득 결과의 해석 및 최종 답변 추론 (Action retrieval reasoning): 외부 API로부터 취득한 원본 데이터베이스 정보를 해석하여 사용자 질문에 대한 최종 답변을 추론 [OpenAI, Microsoft Copilot]
사용자 발화로부터의 토픽 트리거 추론 (Topic trigger reasoning): 사용자의 모호한 발화로부터 진정한 의도(토픽)를 추론하여 적절한 에이전트의 워크플로우를 시작 [Microsoft Copilot, Google/Gemini]
세션 이력의 소급적 추론 (Session history reasoning): 에이전트가 자율적으로 과거의 대화나 다른 세션 이력을 거슬러 읽고 현재 태스크에 필요한 정보를 추론·추출 [OpenClaw]
사용자 고유 지시·선호도의 학습 추론 (Personalization reasoning): 과거의 채팅 이력이나 커스텀 지시로부터 사용자의 선호도나 업무 문맥을 추론하여 개인화된 응답을 생성 [Google/Gemini, OpenClaw]
실시간 음성으로부터의 감정·문맥 추론 (Voice/Emotion reasoning): 극저지연 음성 입력으로부터 단어의 의미뿐 아니라 사용자의 감정이나 톤, 대화의 문맥을 실시간으로 추론하여 응답 [OpenAI, xAI/Grok, Microsoft Copilot]
추론의 최적화·평가·자기개선
오픈 모델의 파인튜닝 (Fine-tuning recipes): Llama 모델 등을 특정 유스케이스에 맞게 미세 조정 [Meta/Llama]
프롬프트 캐싱 (Prompt caching): 긴 프롬프트를 캐시하여 API의 레이턴시와 비용을 감소 [OpenAI, Anthropic, grok]
프롬프트의 자기 추론·자동 최적화 (Prompt optimizer reasoning): 모델이 자신의 추론 프로세스를 객관적으로 분석하고 태스크 해결에 최고 성능을 발휘하는 프롬프트 구조를 자율적으로 추론·재구성 [OpenAI, Anthropic/Claude]
프롬프트 변수의 자동 추론 (Prompt templating): 사용자의 입력 텍스트로부터 변수를 자동으로 특정·추출하여 시스템에 통합하기 쉬운 프롬프트 템플릿 구조로 추론·변환 [Anthropic/Claude]
모델 추론의 객관적 평가 (Model evaluation / Evals): 정의된 테스트 세트를 사용하여 AI 모델 자체의 추론 정확성이나 논리성을 데이터 기반으로 분석·스코어링 [OpenAI, Google/Gemini, Anthropic/Claude]
에이전트 성능의 분석 추론 (Agent analytics reasoning): 자율형 에이전트의 대화 로그나 상태를 분석하여 에러율 저감이나 사용자 만족도 향상을 위한 개선 힌트를 추론 [Microsoft Copilot]
파라미터 조정에 의한 추론 변화의 비교 분석 (Playground analysis): 플레이그라운드에서 프롬프트나 추론 파라미터를 조정하여 모델 출력의 논리적 변화를 비교·분석 [Mistral, OpenAI]
추론 패턴의 학습 및 적응 (Reasoning fine-tuning / SFT): 지도학습(파인튜닝)을 통해 특정 업무 데이터에 특화된 고유의 추론 패턴을 모델에 학습 [OpenAI, Google/Gemini]
텍스트의 의미적 거리 추론 (Embeddings reasoning): 텍스트의 의미를 다차원 벡터화하여 정보 간의 의미적 유사성이나 거리를 수학적으로 추론·분석하고 RAG에 활용 [OpenAI, Anthropic/Claude, Perplexity, Google/Gemini]
장문맥 검색에서의 의미적 연결성 추론 (Contextual retrieval reasoning): 문서를 청크로 분할하여 검색할 때 문서 전체의 문맥이나 정보의 연결성을 유지하여 추론·추출 [Anthropic/Claude, Perplexity]
컨텍스트 캐싱에 의한 재추론의 생략 (Context Caching): 대규모 입력 컨텍스트를 시스템 측에서 캐시하여 불필요한 논리 계산을 피하고 효율적으로 후속 추론을 전개 [DeepSeek]
예측 출력에 의한 고속 추론 (Predicted Outputs reasoning): 캐시나 알려진 출력 내용을 활용하여 모델에 예측하도록 하고 추론 레이턴시를 최적화하여 결과를 도출 [OpenAI]
테스트 결과의 정답 기준 추론 (Evaluations grading): LLM 자체가 자동 테스트의 답변을 읽고 인간이 설정한 기준에 따라 정답·오답의 문맥을 논리적으로 해석·추론 [OpenAI, Anthropic/Claude]
인프라·하드웨어 추론 최적화
추론의 양자화 및 메모리 최적화 추론 (Quantization reasoning): 메모리 제약이 있는 디바이스에서도 양자화에 의해 최적화된 모델을 사용하여 고도의 추론을 실행·오프로드 [Stability AI/Diffusers]
PyTorch 컴파일에 의한 추론 속도 부스트 (torch.compile reasoning): 모델의 추론 그래프를 컴파일 최적화하여 실행 속도를 소프트웨어 레벨에서 극적으로 향상 [Stability AI/Diffusers]
NVIDIA TensorRT 최적화 추론 (TensorRT optimized reasoning): NVIDIA GPU 아키텍처를 위해 이미지 생성이나 언어 모델의 추론 속도를 극한까지 최적화하여 계산 실행 [Stability AI/Diffusers]
AMD GPU 최적화 추론 (AMD Optimized reasoning): AMD 환경에서의 추론 처리에 특화된 모델 튜닝을 적용하여 하드웨어의 성능을 최대화 [Stability AI/Diffusers]
에이전트 추론의 스토리지 대역폭 병목 해소 (DualPath inference): Agentic LLM에서의 추론 시 스토리지 대역폭의 병목을 해소하는 고도의 추론 계산 기법 [DeepSeek]
FP8 및 잠재 어텐션의 커널 최적화 추론 (DeepGEMM / FlashMLA): FP8 정밀도의 GEMM 커널이나 효율적인 멀티헤드 잠재 어텐션을 사용하여 모델의 추론 처리를 고속화 [DeepSeek]
도메인 특화·검색·정보의 추론
실시간 소셜 데이터 트렌드 추론 (Social trend reasoning): X(Twitter) 등 소셜 미디어의 최신 포스트로부터 화제의 트렌드와 사회적 인사이트를 실시간으로 추론·추출 [xAI/Grok]
마케팅 성과의 요인 추론 (Campaign summarization reasoning): 메시징 캠페인 등의 성과 데이터를 분석하여 성공·실패의 요인과 개선을 위한 구체적인 액션을 추론 [Google/Gemini]
독자적 컬렉션으로부터의 의미적 추론 (RAG data reasoning): 사용자가 업로드한 독자적인 문서군(컬렉션)으로부터 메타데이터를 추출하고 의미적 인사이트를 추론 [xAI/Grok, Mistral]
도메인 특화 데이터의 전문적 추론 (Domain controls reasoning): 의료, 금융 등 특정 도메인에 한정된 검색 결과로부터 높은 전문성이 요구되는 컨텍스트를 추론하여 정보를 추출 [Perplexity]
인용 출처의 신뢰성 추론 (Citation reliability reasoning): 검색 결과를 사용하여 답변을 생성할 때, 어느 정보원이 가장 신뢰성이 높고 적절한지를 추론하여 인용으로 연결 [Perplexity, xAI/Grok, OpenAI]
스레드 전체의 대화 흐름 추론 (Thread fetch reasoning): SNS의 특정 스레드나 포스트를 거슬러 올라가며, 대화의 흐름 전체의 컨텍스트를 총합적으로 추론 [xAI/Grok]
엔터프라이즈 문서의 의미적 추론 (Enterprise Search reasoning): 사내의 방대한 비정형 데이터로부터 문맥과 의미적 관련성을 추론하여 순간적으로 검색·요약 [Google/Gemini, Microsoft Copilot]
통신 네트워크의 트래픽 추론 (Telecom Data Fabric reasoning): 통신 캐리어의 트래픽 데이터와 가입자 정보를 분석하여 행동 패턴과 네트워크 최적화 포인트를 추론 [Google/Gemini]
지리공간 데이터의 공간적 추론 (Geospatial Analytics reasoning): Google Earth Engine 등의 위성 영상이나 지도 데이터로부터 지형 변화와 공간적 인사이트를 추론·추출 [Google/Gemini]
"생성"에 관한 기능
검색·추론한 결과를 바탕으로 최종적으로 인간에게 가치 있는 텍스트, 이미지, 코드 등을 출력하는 기능입니다.
텍스트·문서·콘텐츠 생성
자연언어 텍스트 생성 (Text Generation): 프롬프트에 기반하여 에세이, 기사, 보고서 등의 텍스트를 생성 [OpenAI, Google/Gemini, Anthropic/Claude, Meta/Llama, xAI/Grok, Mistral, DeepSeek, Kimi, Perplexity]
인용이 포함된 리서치 레포트 생성 (Citation-backed Generation): 최신의 웹 검색 결과를 근거로 하여, 사실에 기반한 정확한 인용(Citations)을 포함한 레포트를 생성 [Perplexity, OpenAI, Google/Gemini]
복수 파일로부터의 요약 생성 (Summary Generation): 대량의 문서나 업로드된 파일을 횡단적으로 읽어서 요점을 추출한 요약 텍스트를 생성 [OpenAI, Anthropic/Claude, Google/Gemini, Mistral, Kimi]
복수 턴 대화의 생성 (Multi-round Conversation): 과거의 이력을 기억하고, 문맥을 유지한 일관성 있는 자연스러운 대화를 생성 [OpenAI, Anthropic/Claude, Google/Gemini, xAI/Grok, DeepSeek, Kimi]
퀴즈·학습 교재 생성 (Quiz/Flashcards Generation): 문서나 노트북의 내용으로부터 학습용 퀴즈나 암기용 플래시카드를 자동 생성 [Google/Gemini]
삽화가 포함된 그림책 생성 (Illustrated Storybook): 이야기의 텍스트와 함께, 내용에 맞는 삽화(이미지)를 조합하여 그림책 콘텐츠를 생성 [Google/Gemini]
마케팅 카피 생성 (Campaign generation): 캠페인 데이터나 상품 정보를 바탕으로 매력적이고 효과적인 광고문이나 카피를 생성 [Google/Gemini, Microsoft Copilot]
인사이트와 권고사항 생성 (Actionable Recommendations): 크래시 로그나 캠페인 성과를 분석하여 구체적인 개선 전략이나 트러블슈팅 절차를 생성 [Google/Gemini]
코드의 설명 문 생성 (Code Explanation): 복잡하고 난해한 프로그램 코드의 로직과 의도를 읽어내어, 자연언어로 이해하기 쉬운 설명 문을 생성 [Google/Gemini, Anthropic/Claude, OpenAI, Microsoft Copilot]
다언어 번역 텍스트 생성 (Translation Generation): 입력된 텍스트를 이해하고, 지정된 다양한 언어로 정확하게 번역하여 생성 [OpenAI, Google/Gemini, Anthropic/Claude, Meta/Llama, DeepSeek]
페르소나·톤에 맞춘 텍스트 생성 (Persona generation): 지정된 특정한 톤이나 인격(해적, 전문가 등)을 모방하여 문장을 생성 [OpenAI, Anthropic/Claude, OpenClaw]
회의 의사록과 액션 아이템 생성 (Meeting summaries): 음성이나 트랜스크립트로부터 결정사항과 할일 목록을 정리하여 생성 [Microsoft Copilot, OpenAI, Anthropic/Claude]
고객 지원 회신 문 생성 (Customer support reply): 문의 내용과 나레지베이스를 바탕으로 최적의 지원 대응 회신 이메일을 생성 [Microsoft Copilot, Anthropic/Claude]
사고 프로세스(추론 트레이스)의 명시적 생성 (Reasoning Trace generation): 최종 답변을 내놓기 전에 "머릿속에서 어떻게 논리 전개했는가"라는 사고 프로세스 자체를 텍스트로 생성 [OpenAI, DeepSeek]
이력서와 자기소개서 생성 (Resume/Cover letter generation): 사용자의 경력 데이터나 지원 기업 정보를 바탕으로 맞춤형 이력서나 자기소개서를 생성 [OpenAI, Anthropic/Claude]
아이디어와 브레인스토밍 생성 (Ideation): 사용자의 추상적 요청으로부터 프로젝트 기획이나 문제 해결을 위한 다양한 아이디어 목록을 생성 [OpenAI, Google/Gemini, Anthropic/Claude, Meta/Llama]
도메인 특화 전문적 답변 생성 (Domain-controlled Generation): 의료, 금융 등 특정 도메인에 한정된 검색 결과만을 바탕으로 전문성 높은 답변을 생성 [Perplexity]
이미지 생성·디자인·편집
텍스트로부터의 신규 이미지 생성 (Text-to-Image): 자연언어 프롬프트로부터 고품질의 이미지를 처음부터 생성 [OpenAI, Google/Gemini, xAI/Grok, Stability AI, Midjourney]
이미지에서 이미지로의 생성 (Image-to-Image): 원본 이미지와 텍스트 지시를 조합하여, 화풍을 변환하거나 내용을 개변한 새로운 이미지를 생성 [Stability AI/Diffusers, OpenAI]
이미지의 부분 편집·인페인팅 (Inpainting / Masking): 마스크 이미지를 지정하여 이미지의 특정 부분만 새로운 프롬프트에 따라 재생성·편집 [OpenAI, Stability AI/Diffusers]
이미지의 바리에이션 생성 (Create Variation): 원본 이미지의 구도나 스타일을 유지하면서 다른 패턴의 이미지를 여러 개 생성 [OpenAI, Stability AI]
이미지의 아웃페인팅 (Outpainting / Extend): 기존 이미지의 프레임 외 배경이나 풍경을 추측하여 자연스럽게 확장 생성 [OpenAI, Stability AI]
초해상화·업스케일링 (Super Resolution): 거친 이미지나 생성된 이미지의 디테일을 추측하여 고해상도로 확대 생성 [Stability AI/Diffusers]
잠재공간 업스케일링 (Latent Upscale): 잠재공간 상에서 이미지의 해상도를 향상시키는 생성 처리 [Stability AI/Diffusers]
조명의 재계산과 생성 (ReLi3D): 3D 모델이나 이미지의 조명(라이팅)을 재계산하여 다른 광선의 당김으로 이미지를 재생성 [Stability AI]
색감 보정 및 색상 가이드 생성 (ReSWD): 분포 매칭 기술을 사용하여 이미지의 색감 보정 및 색조를 재생성 [Stability AI]
윤곽선·골격 제어를 통한 이미지 생성 (ControlNet): 윤곽선이나 인물의 포즈 등의 제어 이미지를 사용하여 구도가 고정된 이미지를 생성 [Stability AI/Diffusers]
무조건부 이미지 생성 (Unconditional Image Generation): 텍스트 프롬프트 등의 조건 없이 랜덤하게 이미지를 생성 [Stability AI/Diffusers]
캐릭터 일관성 유지 생성 (Character Reference): 특정 캐릭터의 참조 이미지를 사용하여 동일한 특징을 유지하면서 서로 다른 장면의 이미지를 생성 [Midjourney, OpenAI]
스타일 참조 생성 (Style Reference): 참조 이미지의 비주얼 스타일을 모방하여 새로운 이미지를 생성 [Midjourney]
옴니 참조 생성 (Omni Reference): 동일한 캐릭터나 오브젝트를 여러 이미지에서 일관되게 생성 [Midjourney]
이미지 멀티턴 대화 생성 (Multi-turn image generation): 과거의 이미지 생성 이력(Previous response ID)의 맥락을 이어받아 대화형으로 이미지를 수정·생성 [OpenAI]
이미지 포맷 및 압축률 적용 생성 (Image formatting): PNG, JPEG, WebP 등의 포맷 지정이나 압축률을 적용한 이미지 파일을 생성 [OpenAI]
동영상·3D·멀티모달 생성
텍스트에서의 동영상 생성 (Text-to-Video): 텍스트 프롬프트에서 고품질의 동작이 있는 영상을 생성 [OpenAI, Google/Gemini, xAI/Grok]
이미지에서의 동영상 생성 (Image-to-Video): 1장의 정지 이미지를 입력하여 자연스러운 동작을 담은 동영상을 생성 [Stability AI, OpenAI]
오디오 동기화 동영상 생성 (Video with Synced Audio): 텍스트에서 동작뿐만 아니라 영상에 동기화된 오디오가 포함된 동영상을 생성 [OpenAI]
동영상 리믹스 및 편집 (Remix / Edit Video): 기존 동영상 콘텐츠의 스타일이나 요소를 변경하여 새로운 동영상으로 리믹스 생성 [OpenAI]
3D 영상 생성 (Stable Virtual Camera): 단일 입력 이미지에서 카메라 워크의 움직임을 가진 3D 영상 표현을 생성 [Stability AI]
3D 마테리얼 생성 (SViM3D): 단일 이미지에서 3D 오브젝트용 마테리얼과 자연스러운 동작을 확산 모델로 생성 [Stability AI]
동영상으로의 캐릭터 삽입 생성 (Create Character / Video): 지정된 캐릭터 정보를 바탕으로 동영상 내에 캐릭터를 생성 [OpenAI]
멀티모달 혼합 출력 생성 (Mixture of Modalities / Janus): 단일 모델 내에서 이미지와 텍스트가 원활하게 혼재하는 출력을 생성 [DeepSeek]
음성·오디오 생성
텍스트 음성 변환·음성 합성 (Text-to-Speech / TTS): 텍스트를 자연스럽고 표현력 있는 인간의 음성으로 변환하여 생성 [OpenAI, Google/Gemini, xAI/Grok]
실시간 음성 대화 생성 (Realtime Audio Generation): 극저지연으로 텍스트와 음성 입력을 받아 자연스러운 음성 응답을 실시간으로 생성 [OpenAI, xAI/Grok, Microsoft Copilot]
팟캐스트 스타일 음성 생성 (Audio Overviews): 문서 등의 자료에서 여러 호스트가 대화하는 팟캐스트 형식의 음성을 생성 [Google/Gemini]
동영상에 맞춘 효과음 생성 (Foley Control): 동영상 내 동작이나 장면을 분석하여 그에 맞는 자연스러운 효과음을 동기화하여 생성 [Stability AI]
음성 번역 출력 생성 (Speech Translation): 입력된 음성을 다른 언어로 번역하고 그 결과를 음성으로 합성·생성 [OpenAI]
음악·오디오 생성 (Audio generation): 텍스트에서 음악이나 멜로디, 환경음 등을 생성 [Google/Gemini, Stability AI/Diffusers]
화자 분리 타임스탬프 생성 (Diarize Output): 대화 음성 데이터에서 "누가, 언제 말했는가"라는 타임스탬프 기록을 생성 [OpenAI]
대화형 음성 에이전트 응답 생성 (IVR Generation): 전화 등의 음성 채널에서 에이전트가 고객과 대화하기 위한 발화를 생성 [Microsoft Copilot]
음성 동의 기록 생성 (Voice Consents): 특정 음성 합성 API를 사용할 때 필요한 사용자 동의 기록 데이터를 작성·생성 [OpenAI]
프로그래밍·코드 생성
자연어에서의 코드 생성 (Code Generation): 개발자의 프롬프트를 기반으로 함수나 클래스 등의 프로그램 코드를 생성 [OpenAI, Google/Gemini, Anthropic/Claude, Mistral, Microsoft Copilot]
프로젝트 横단적 파일 편집·생성 (Multi-file Code Generation): 코드베이스 전체를 읽고 여러 파일에 걸친 새로운 기능 구현 코드를 생성 [Anthropic/Claude, Google/Gemini]
실시간 코드 자동 완성 (Code Completion): 에디터에서 개발자가 코드를 작성하는 과정에서 컨텍스트를 읽어 다음 단계를 자동 완성·생성 [Microsoft Copilot, Google/Gemini]
FIM 완성 (Fill-in-the-Middle Completion): 앞뒤 코드의 맥락을 이해하여 누락된 중간 로직을 추론하여 생성 [DeepSeek, OpenAI]
채팅 프리픽스 완성 (Chat Prefix Completion): 사용자가 작성한 코드나 텍스트의 프리픽스를 이어받아 후속 코드를 생성 [DeepSeek, OpenAI]
프로젝트 스캐폴드 생성 (Project Scaffolding): 자연어로 개요를 전달하기만 하면 디렉토리 구조와 초기 파일 그룹을 한 번에 생성 [Mistral]
SQL 쿼리 생성 (SQL Generation): 자연어 지시에서 데이터베이스 스키마를 이해한 복잡한 SQL 쿼리를 생성 [Google/Gemini, Microsoft Copilot]
GraphQL 스키마 및 뮤테이션 생성 (Firebase Data Connect): 애플리케이션용 데이터 스키마나 GraphQL 쿼리를 생성 [Google/Gemini]
커밋 메시지 자동 생성 (Commit message generation): 변경된 코드의 차이를 이해하여 적절한 Git 커밋 메시지를 생성 [Anthropic/Claude, Google/Gemini]
풀 리퀘스트(PR) 설명문 생성 (PR description generation): 구현된 기능이나 수정 내용을 요약하여 PR의 제목과 설명문을 자율적으로 생성 [Anthropic/Claude, Google/Gemini]
코드 분석용 Python 스크립트 생성 (Code Interpreter generation): AI 자신이 Python 코드를 생성하여 실행하고 데이터 분석이나 계산 처리를 수행 [OpenAI, Microsoft Copilot, Mistral]
패치(차이) 생성 (Apply Patch): 에이전트가 코드베이스의 특정 부분에 대한 수정 패치를 생성하여 자율적으로 적용 [OpenAI, Google/Gemini]
셸 명령어 생성 (Shell Command Generation): 사용자의 목적에 맞춰 터미널에서 실행할 적절한 bash나 셸 명령어를 생성 [Anthropic/Claude, OpenClaw, OpenAI]
단위 테스트 생성 (Unit Test Generation): 테스트되지 않은 소스 코드에 대해 모의 객체와 어설션을 포함한 적절한 테스트 코드를 생성 [Anthropic/Claude, Google/Gemini]
API 명세서(OpenAPI/Swagger) 생성 (API specification generation): 기존 백엔드 코드에서 API 명세서를 생성 [Google/Gemini]
로컬 파일 직접 생성 (File Write / Create): 에이전트가 자율적으로 write나 edit 도구를 사용하여 사용자의 디바이스에 직접 스크립트나 문서를 생성 [OpenClaw, Anthropic/Claude]
구조화된 데이터·벡터·메타데이터 생성
JSON 구조화 출력 생성 (Structured Output): 정의된 엄격한 JSON 스키마를 따라 비구조화된 텍스트에서 정확한 데이터 포맷을 생성 [OpenAI, Anthropic/Claude, Google/Gemini, Meta/Llama, DeepSeek, xAI/Grok]
텍스트 임베딩 생성 (Embeddings Generation): 텍스트의 의미를 다차원 수치 벡터로 생성하여 RAG 및 의미 검색의 기초로 활용 [OpenAI, Anthropic/Claude, Perplexity, Google/Gemini]
문맥을 고려한 임베딩 생성 (Contextualized Embeddings): 문서 전체의 문맥을 유지하면서 청크를 벡터화하여 정확도 높은 임베딩을 생성 [Perplexity, Anthropic/Claude]
배치 처리를 통한 대량 데이터 생성 (Batch Generation): 비동기 배치 API를 활용하여 대규모 텍스트 생성 및 구조화된 데이터 추출을 일괄 생성 [OpenAI, Anthropic/Claude, xAI/Grok]
도구 호출 인수 생성 (Tool / Function Calling Generation): 사용자의 지시를 논리적으로 해석하여 외부 API나 도구 실행에 필요한 인수(JSON 데이터 등)를 생성 [OpenAI, Anthropic/Claude, Google/Gemini, Meta/Llama, xAI/Grok, DeepSeek, Mistral]
벡터 스토어·인덱스 생성 (Vector Store Indexing): 업로드된 파일 그룹에서 자동으로 청크와 벡터를 생성하여 검색용 인덱스를 구축 [OpenAI]
예측 출력을 통한 고속 생성 (Predicted Outputs): 알려진 출력 내용(소스 코드의 대부분 등)을 모델이 예측하도록 하여 레이턴시를 대폭 낮추고 빠르게 응답 생성 [OpenAI]
안전성 플래그 및 모더레이션 결과 생성 (Moderation Output): 입력 및 모델 출력 내용을 평가하여 정책 위반 또는 해로움 여부를 나타내는 스코어 및 플래그 데이터 생성 [OpenAI, Meta/Llama, Google/Gemini]
토큰 소비 및 비용 집계 데이터 생성 (Usage/Tokens Output): API 요청에서 프롬프트 및 생성에 소요된 입출력 토큰 수, 캐시 히트율 등의 사용량 데이터 생성 [OpenAI, Anthropic/Claude, DeepSeek, xAI/Grok]
바운딩 박스 좌표 생성 (Bounding box generation): 이미지 내 특정 객체나 인물의 위치를 감지하여 좌표 데이터를 텍스트 또는 JSON으로 생성 [OpenAI, Google/Gemini]
UI·디자인·워크스페이스 생성
목업 이미지로부터의 HTML 생성 (Image Mock up to HTML): 손으로 그린 스케치 또는 UI 디자인 이미지에서 대응하는 HTML/CSS 등의 코드를 생성 [Google/Gemini, OpenAI, Anthropic/Claude]
채팅 내 UI 컴포넌트 생성 (Artifacts / Claude Cowork): 채팅 화면 내에서 React 컴포넌트, SVG, HTML 등을 생성하여 동적 미리보기로 렌더링 [Anthropic/Claude, OpenAI]
동적 UI의 실시간 렌더링 (Live Canvas / A2UI): 에이전트가 사용자의 지시에 기반하여 화면상에 조작 가능한 UI를 자율적으로 생성·배치 [OpenClaw]
문서·프로토타입 생성 (Canvas): 기획서나 앱의 틀을 전용 협업 워크스페이스(Canvas) 상에 생성 [Mistral, OpenAI]
인터랙티브한 데이터 시각화·그래프 생성 (Visualizations): 분석된 데이터에서 사용자가 이해하기 쉬운 그래프나 차트를 자동 생성 [Microsoft Copilot, Mistral]
비즈니스 대시보드 생성 (Power BI dashboards): 기업 데이터 웨어하우스의 정보를 통합하여 대시보드의 디자인·구성을 생성 [Microsoft Copilot]
캐릭터 마인드맵 생성 (Character Mind Map): 긴 물이야기에서 등장인물의 사고와 관계성을 해석하여 시각적 마인드맵 구조를 생성 [Meta/Llama]
에이전트·자동화·프롬프트 생성
오픈 모델의 파인튜닝 (Fine-tuning recipes): Llama 모델 등을 특정 유스케이스에 맞게 미세 조정 [Meta/Llama]
프롬프트 캐싱 (Prompt caching): 긴 프롬프트를 캐시하여 API의 레이턴시와 비용을 감소 [OpenAI, Anthropic, grok]
최적의 프롬프트 자체 생성 (Prompt Generator): 사용자의 짧은 요구사항에서 AI 모델이 최고의 성능을 발휘하는 "구조화된 프롬프트" 자체를 생성 [OpenAI, Anthropic/Claude]
프롬프트 템플릿 생성 (Templatize a Prompt): 텍스트에서 변수를 자동으로 식별·추출하여 시스템에 통합하기 쉬운 프롬프트 템플릿으로 생성 [Anthropic/Claude]
자율형 에이전트 생성 (Create / Build an Agent): 자연언어 지시에서 봇의 동작 및 지식 설정을 처음부터 생성·구축 [Microsoft Copilot, OpenAI, Google/Gemini, Mistral]
에이전트 흐름 생성 (Build an Agent Flow): 복잡한 업무 절차 또는 조건 분기를 수반하는 에이전트의 액션 흐름을 자연언어 지시에서 자동 생성 [Microsoft Copilot]
자동화 워크플로우 생성 (Automation Flow Generation): 여러 시스템 간의 API 연동 및 자동화 처리 흐름을 AI가 시각적 에디터 상에서 생성·문서화 [Google/Gemini]
서브에이전트의 동적 생성 (Subagent Spawning): 메인 에이전트가 복잡한 작업을 분할하여 특정 작업을 처리하는 자식 에이전트를 동적으로 호출·생성 [OpenAI, Anthropic/Claude, OpenClaw]
커스텀 에이전트 지식 기반 생성 (Custom agent knowledge base): 특정 문서 그룹에서 에이전트가 사용할 전용 지식 기반이나 인덱스를 생성 [Mistral]
인프라·시스템 설정·테스트 생성
평가용 테스트 세트 생성 (Evaluation Test Sets): 모델의 성능을 객관적으로 평가하기 위한 다양한 테스트 케이스 및 정답 자동 생성 [Microsoft Copilot, OpenAI]
CI/CD 파이프라인 자동화 설정 생성 (CI/CD integration generation): 코드 리뷰 및 자동 테스트를 수행하기 위한 GitHub Actions 등의 CI/CD 설정 파일 생성 [Anthropic/Claude, GitHub]
워크스페이스 정의 파일 생성 (Workspace config generation): 에이전트의 성격 및 도구 권한을 정의하는 AGENTS.md 또는 SOUL.md 등의 설정 파일 생성 [OpenClaw]
셸 실행 로그 생성 (Shell execution logs): 샌드박스 환경 내에서 코드 또는 셸 스크립트를 실행하여 표준 출력 또는 에러 로그의 텍스트 결과를 생성 [OpenAI, OpenClaw]
Webhook 페이로드의 동적 생성 (Webhook payload generation): 외부 시스템 또는 서버 측 제어에 대해 이벤트 알림을 수행하기 위한 JSON 페이로드를 동적으로 생성 [OpenAI, OpenClaw]
스케줄·Cron 작업 생성 (Cron Configuration): 에이전트에 정기 실행시키기 위한 Cron 스케줄 설정을 생성 [Google/Gemini, Anthropic/Claude, OpenClaw]
스트리밍·기타 생성
스트리밍 이벤트 생성 (Streaming Events): 생성 중인 텍스트 토큰 또는 이미지의 부분 데이터를 SSE를 통해 실시간으로 스트리밍 생성 [OpenAI, Anthropic/Claude, Perplexity]
폴백 응답의 자동 생성 (Fallback response generation): 메인 API에 오류가 발생한 경우 대체 모델이나 로컬 기능을 호출하여 안전하게 폴백 응답을 생성 [OpenClaw]
"행동"에 관한 기능
외부 도구(API, 브라우저, 계산기, 사내 시스템 등)를 호출하여 실제로 현실 세계 또는 시스템에 개입하는 기능입니다.
에이전트 구축·오케스트레이션 기반
자율형 에이전트 구축 (Create / Build agents): 자연언어 지시에서 에이전트의 동작 및 구조를 자율적으로 구축하는 기능 [OpenAI, Google/Gemini, Microsoft Copilot, Mistral]
에이전트 SDK를 통한 코드베이스 구축 (Agents SDK / Agent API): 코드 레벨에서 에이전트의 오케스트레이션, 핸드오프, 도구 실행을 구축하는 기능 [OpenAI, Anthropic/Claude, Perplexity]
완전 관리형 에이전트 환경 (Managed Agents): 상태를 유지하는 세션 및 영구적 이벤트 기록을 갖춘 에이전트를 인프라 상에서 관리·배포하는 기능 [Anthropic/Claude, Google/Gemini]
서브에이전트·멀티에이전트 연동 (Subagents / Child agents): 메인 에이전트가 작업을 분할하여 특정 작업을 처리하는 자식 에이전트를 호출하고 병렬 작업을 수행하는 기능 [OpenAI, Anthropic/Claude, Microsoft Copilot, OpenClaw]
커스텀 워크플로우의 자율 실행 (Custom workflows / Gems): 특정 작업을 자동화하기 위해 독자적인 미니 앱이나 흐름을 에이전트화하여 실행하는 기능 [Google/Gemini, Mistral]
에이전트의 백그라운드 실행 (Background mode / Routines): 사용자가 없어도 에이전트의 작업을 클라우드나 백그라운드에서 자율적으로 계속 실행시키는 기능 [OpenAI, Anthropic/Claude]
스케줄·Cron 작업 자동 실행 (Schedule actions / Cron): 지정된 시간이나 정기적인 스케줄(아침 PR 리뷰 등)에 에이전트가 자동으로 작업을 실행하는 기능 [Google/Gemini, Anthropic/Claude, OpenClaw]
도구 호출·API 연동
함수·도구 호출 기반 (Function / Tool calling): 사용자의 지시에 따라 AI가 자율적으로 외부 도구 실행 명령(JSON 등)을 생성·실행 요청하는 공통 기반 기능 [OpenAI, Google/Gemini, Anthropic/Claude, xAI, Meta/Llama, Mistral, DeepSeek]
Model Context Protocol 연동 (MCP and Connectors): 표준화된 프로토콜(MCP)을 이용하여 로컬이나 원격의 외부 데이터 소스·도구와 연동·조작하는 기능 [OpenAI, Anthropic/Claude, Microsoft Copilot, GitHub]
커스텀 액션 실행 (Custom Actions): AI 채팅에서 외부 API(데이터베이스나 SaaS)를 직접 호출하여 시스템에 데이터를 전송하거나 업데이트하는 기능 [OpenAI, Microsoft Copilot, Google/Gemini]
훅에 의한 명령 자동 트리거 (Hooks): 파일 편집 후나 커밋 전 등에 포맷터나 린트 같은 임의의 셸 명령을 자동으로 트리거하여 실행하는 기능 [Anthropic/Claude]
플랫폼 확장 기능 (Extensions / Plugins): 기존 플랫폼 환경에 외부 도구에 대한 액션 실행 능력을 부여하는 기능 [Google/Gemini, Microsoft Copilot]
데스크톱·로컬 시스템 조작
컴퓨터 화면 시각적 자율 조작 (Computer use tool): AI가 데스크톱 화면을 시각적으로 인식하고, 마우스 이동, 클릭, 키보드 입력을 자율적으로 실행하는 실질적 액션 기능 [Anthropic/Claude, OpenAI]
로컬 셸 환경에서의 명령 실행 (Local shell / Bash tool): 에이전트가 시스템의 터미널·셸 환경에서 자율적으로 명령을 실행하는 기능 [OpenAI, Anthropic/Claude, OpenClaw]
텍스트 파일 직접 편집 도구 (Text editor / Edit tools): 에이전트가 로컬 텍스트 파일을 직접 열어 내용을 편집·덮어쓰는 기능 [Anthropic/Claude, OpenClaw]
파일 시스템의 자율적 읽기·쓰기 (read / write tools): 에이전트가 사용자 기기의 파일을 탐색하여 직접 읽고 쓰는 기능 [OpenClaw, Anthropic/Claude]
프로세스 관리의 자율 실행 (Process tool): 에이전트가 로컬 시스템에서 실행 중인 프로세스를 관리(시작, 중지 등)하는 기능 [OpenClaw]
로컬 워크트리 자율 관리 (Worktrees): 독립적인 로컬 환경을 생성하여 메인 작업 환경을 손상시키지 않으면서 에이전트가 별도 작업을 실행하는 기능 [Anthropic/Claude]
터미널에서의 자율적 문제 해결 (CLI Agents): CLI 환경에서 오류나 시스템 상태를 인식하고, 해결책을 자율적으로 추론하여 실행·복구하는 기능 [Google/Gemini, Anthropic/Claude, OpenClaw]
코딩·개발 자동화
코드 인터프리터에 의한 실행 (Code interpreter): 안전한 샌드박스 환경 내에서 에이전트가 Python 등의 코드를 작성·실행하여 데이터 처리 등의 작업을 완수하는 기능 [OpenAI, Microsoft Copilot, Mistral]
여러 파일에 걸친 코드 자율 편집 (Agent Mode): IDE나 CLI에서 여러 파일에 걸친 새로운 기능 구현이나 버그 수정을 자율적으로 수행하는 기능 [Google/Gemini, Anthropic/Claude]
패치(차이)의 자동 생성 및 적용 (Apply Patch): 에이전트가 코드베이스의 특정 부분에 대한 수정 패치를 생성하고 자율적으로 적용하는 도구 기능 [OpenAI]
프로젝트 스캐폴드 자동 생성 (Scaffolding): 자연언어 개요에서 프로젝트에 필요한 디렉토리 구조와 초기 파일들을 일괄적으로 자율 생성하는 기능 [Mistral]
Git 리포지토리 조작 자동화 (Git automation): git와 직접 연동하여 변경 사항 스테이징, 커밋 메시지 작성, 브랜치 생성부터 PR 오픈까지 자율적으로 실행하는 기능 [Anthropic/Claude]
Pull Request의 자율적 코드 리뷰 (PR Review): GitHub 등에서 제출된 PR을 AI가 자동으로 리뷰하고 코드 수정 액션을 제안·실행하는 기능 [Google/Gemini, Anthropic/Claude, Microsoft Copilot]
CI/CD 파이프라인에서의 AI 자동 실행 (CI/CD integration): GitHub Actions나 GitLab 등의 파이프라인 내에서 AI를 트리거하여 이슈 분류나 리뷰를 자동화하는 기능 [Anthropic/Claude, GitHub]
GitHub Issue 관리 워크플로우 자동화 (GitHub Actions): 리포지토리의 이슈 분류와 대응 워크플로우를 AI가 자율적으로 실행하는 기능 [Microsoft Copilot, GitHub]
데이터베이스 스키마와 쿼리의 자동 생성·업데이트 (Firebase Data Connect): 자연언어 지시에서 GraphQL 등의 스키마나 뮤테이션을 생성하고 DB 조작을 자동화하는 기능 [Google/Gemini]
API 사양 작성의 자율적 지원 (Apigee / API Management): 엔터프라이즈 컨텍스트를 활용하여 API 사양 작성이나 정책 설정 액션을 지원·생성하는 기능 [Google/Gemini]
외부 앱·서비스 연동
Google Workspace 앱 조작 (Connected Apps): AI가 사용자의 Gmail이나 Google 드라이브에 접근하여 이메일 초안 작성이나 파일 생성을 대행하는 기능 [Google/Gemini]
Google 캘린더 이벤트 자율 생성 (Calendar control): 사용자의 지시에서 일정을 해석하고 캘린더 이벤트를 직접 생성·조정하는 기능 [Google/Gemini]
스마트홈 기기 음성 제어 (Smart home control): AI 앱을 통해 연동된 스마트홈 기기의 전원이나 설정을 직접 제어하는 기능 [Google/Gemini]
CRM 시스템의 자율적 레코드 업데이트 (Dynamics 365 actions): 영업이나 지원 대화 내용에서 AI가 자율적으로 CRM 시스템(Salesforce 등)의 데이터를 업데이트하는 기능 [Microsoft Copilot]
Power Platform 연동에 의한 자동화 (Power Platform AI actions): 자동화 워크플로우(Power Automate 등)에 AI를 내장하여 시스템 간 액션을 AI 기반으로 수행하는 기능 [Microsoft Copilot]
SaaS 간 연동 워크플로우 시각적 생성 (Application Integration): 여러 써드파티 앱이나 API를 연결하는 자동화 플로우를 AI 지원으로 시각적으로 구축·생성하는 기능 [Google/Gemini]
Jira / Slack 등의 작업 연동·업데이트 (MCP SaaS tools): MCP 등을 통해 Jira 티켓 업데이트나 Slack 알림을 자율적으로 실행하는 기능 [Anthropic/Claude, OpenClaw]
WhatsApp에서의 통화·메시지 자동 전송 (WhatsApp actions): 모바일 AI 앱에서 WhatsApp 등을 통해 통화 발신이나 메시지 전송을 대행하는 액션 기능 [Google/Gemini, OpenClaw]
보안·샌드박스·거버넌스
가드레일에 의한 행동 제한 (Guardrails): 에이전트의 행동 범위와 권한을 안전하게 제한하고 정책 위반 액션을 방지하는 기능 [OpenAI, Microsoft Copilot]
샌드박스 내에서의 안전한 도구 실행 (Sandbox execution): 에이전트의 액션으로 인한 시스템 손상을 방지하기 위해 Docker 등의 격리 환경 내에서 도구를 실행하는 기능 [OpenAI, OpenClaw]
SSH/OpenShell을 통한 원격 액션 (Remote Sandbox): 원격이나 다른 환경의 시스템에 SSH 등으로 안전하게 접근하여 에이전트가 액션을 실행하는 기능 [OpenClaw]
액션의 접근 권한 제어 (Data policies / Allowlist): 관리자가 에이전트가 실행할 수 있는 액션과 접근 가능한 데이터를 제어·제한하는 기능 [Microsoft Copilot, OpenClaw]
보안 인시던트에 대한 자동 방어 액션 (Security Copilot Plugins): 사이버 위협 감지 시 AI가 방어 액션과 격리를 자동으로 실행하는 기능 [Microsoft Copilot]
클라우드 인프라의 자율 진단 및 최적화 (Cloud Assist): 클라우드 환경의 운영 상태를 분석하고 인프라 최적화 액션이나 비용 절감을 자율적으로 제안·실행하는 기능 [Google/Gemini]
MLOps 파이프라인의 자동 오케스트레이션 (MLOps automation): AI 모델 모니터링, 평가, 재학습 등의 파이프라인 처리를 자동으로 실행·관리하는 기능 [Google/Gemini]
미지의 DM으로부터의 접근 승인 제어 (DM pairing): 보안 보호를 위해 미지의 사용자로부터의 메시지에 대해 페어링 코드를 요구하고 액션을 제한하는 기능 [OpenClaw]
메시징·채팅 플랫폼 연동
멀티채널 인박스의 자율 응답 (Multi-channel gateway): WhatsApp, Slack, Discord, Telegram 등 다수의 플랫폼에 동시 접속하여 에이전트가 자율적으로 응답하는 기능 [OpenClaw]
메시지별 에이전트 동적 라우팅 (Multi-agent routing): 수신 채널이나 사용자별로 자동으로 다른 에이전트(워크스페이스)에 할당하여 대응하는 라우팅 기능 [OpenClaw]
Discord / Slack 고유 액션 실행 (Platform native actions): Discord나 Slack의 API에 특화된 채널 생성이나 권한 관리 등의 시스템 액션을 실행하는 기능 [OpenClaw]
Slack으로부터의 직접 태스크 트리거 (AI for Slack): Slack 상의 멘션으로부터 에이전트가 직접 태스크(예: 버그 수정 PR 작성)를 실행하고 결과를 반환하는 연동 기능 [Anthropic/Claude, OpenClaw]
Webhook 이벤트로부터의 자율 액션 시작 (Webhooks): 외부 시스템으로부터의 Webhook을 수신하여 이를 트리거로 에이전트의 자율적 액션을 시작하는 기능 [OpenAI, OpenClaw]
메일 수신을 트리거로 한 액션 (Gmail Pub/Sub): Gmail의 특정 메일 수신을 훅으로 삼아 에이전트가 자율적으로 액션을 실행하는 기능 [OpenClaw]
커스텀 채팅 위젯의 액션 연동 (ChatKit / UI Actions): 채팅 UI 내에 커스텀 위젯을 삽입하고 버튼 조작 등으로 시스템 액션을 실행하는 기능 [OpenAI]
새 세션의 자율적 시작 (sessions_spawn): 에이전트 자신이 필요에 따라 새로운 세션을 시작하여 서브태스크를 병렬 처리하는 기능 [OpenClaw]
다른 세션으로의 메시지 전송 (sessions_send): 에이전트가 다른 실행 중인 세션에 자율적으로 메시지를 전송하여 연동하는 기능 [OpenClaw]
오퍼레이터 커맨드를 통한 상태의 동적 제어 (Operator commands): 채팅 상에서 커맨드(/reset, /think 등)를 입력하여 에이전트의 사고 레벨이나 행동 모드를 즉시 변경하는 기능 [OpenClaw]
음성·실시간·UI·디바이스 조작
실시간 음성 에이전트의 자율 응답 (Voice agents / Realtime API): 음성 입력을 실시간으로 처리하고 자연스러운 음성으로 대화하면서 동시에 시스템 액션을 실행하는 기능 [OpenAI, xAI, Microsoft Copilot]
IVR(자동 음성 응답)의 핸드오프 제어 (Interactive voice response): 전화 등의 음성 채널에서 자율적으로 응답하고 필요 시 컨텍스트를 유지한 채로 인간 오퍼레이터에게 인계(핸드오프)하는 기능 [Microsoft Copilot]
웨이크워드에 의한 에이전트 활성화 (Voice Wake): 디바이스 상에서 웨이크워드를 대기하고 음성 명령으로부터 즉시 에이전트 액션을 트리거하는 기능 [OpenClaw]
동적 UI의 실시간 렌더링 및 조작 (Live Canvas / A2UI): 에이전트가 사용자 지시에 기반하여 모바일 앱 등 화면 상에 조작 가능한 UI 컴포넌트를 자율적으로 생성·배치하는 기능 [OpenClaw]
모바일 디바이스의 자율 원격 조작 (Mobile nodes): 모바일 앱과 페어링하여 에이전트가 스마트폰의 카메라나 화면 캡처, 디바이스 커맨드를 원격으로 실행하는 기능 [OpenClaw]
검색·정보 수집의 자율 액션
X (Twitter)의 실시간 데이터 자율 검색 (X Search tool): 지정한 키워드에 기반하여 에이전트가 자율적으로 X의 포스트를 검색하고 데이터를 수집하는 기능 [xAI]
계정 지정 검색 액션 (X Search - handles): 특정 X 핸들(최대 10개)을 허용 또는 제외하여 노이즈 없는 검색 액션을 실행하는 기능 [xAI]
멀티프로바이더 검색 워크플로우의 자동화 (Agent API): 여러 서드파티 모델과 웹 검색 도구를 결합하여 자율적인 리서치 워크플로우를 실행하는 기능 [Perplexity]
공식 웹브라우저 도구의 자율 조작 (Web Search / Browser tool): 에이전트가 자율적으로 웹브라우저를 조작하고 필요한 페이지에 접속하여 정보를 수집하는 기능 [OpenAI, Anthropic/Claude, DeepSeek, Kimi, OpenClaw]
네트워크·배포·기타 운영 관련 액션
에이전트의 원클릭 통합 배포 (Teams / M365 deployment): 구축한 에이전트를 Teams나 Microsoft 365의 업무 환경에 직접 배포하여 조직 전체에서 사용 가능하게 하는 액션 [Microsoft Copilot]
Tailscale 통합을 통한 보안 원격 액션 제어 (Tailnet integration): VPN(Tailnet)을 활용하여 안전한 원격 환경에서 에이전트 액션이나 게이트웨이를 제어하는 기능 [OpenClaw] 67. CLI 온보딩을 통한 자율적 설정 (CLI Onboarding): 터미널 상에서 에이전트의 초기 설정, 채널 연동, 데몬 설치까지 자동으로 실행·안내하는 기능 [OpenClaw]
에이전트용 클라우드 인프라의 자동 오케스트레이션 (Enterprise Agent Platform): 엔터프라이즈급으로 AI 에이전트의 배포, 스케일링, 관리를 일원적으로 자동 실행하는 기능 [Google/Gemini, Microsoft Copilot]
앱 내 브라우저의 자율 렌더링 (In-app browser): 에이전트가 CLI나 IDE 내에서 직접 웹페이지를 렌더링하고 조사 결과를 표시하는 기능 [Anthropic/Claude]
AI 모델의 자사 인프라용 셀프호스트 API 구축 (Llama Stack): Llama 모델을 활용하여 자사 인프라 상에 API나 에이전트 연동 시스템을 엔드투엔드로 자동 구축하는 기능 [Meta/Llama]
태스크 최적화 및 에러 핸들링
실시간 스트리밍을 통한 이벤트 배포 (Streaming events): 에이전트가 도구를 호출하거나 행동하는 프로세스를 실시간 이벤트로 외부에 배포하는 기능 [OpenAI]
대화 및 실행 상태의 지속성 관리 (Conversation state): 에이전트의 대화 이력과 실행 중인 상태를 저장하여 장기간에 걸친 복잡한 액션을 계속 진행하는 기능 [OpenAI]
에이전트 워크플로우의 자동 테스트·평가 (Evaluate workflows): 구축한 에이전트의 액션 플로우가 올바르게 작동하는지 자동으로 테스트·평가하는 기능 [OpenAI]
스킬 레지스트리로부터의 역량 확장 (Skills / ClawHub): 독자적인 행동 절차나 역량을 정리한 "스킬"을 워크스페이스에 동적으로 추가하여 에이전트의 액션 범위를 확장하는 기능 [Anthropic/Claude, OpenClaw]
엔드포인트 상태의 자가진단 및 복구 (Self-diagnostics / Doctor): 설정 오류나 환경 결함을 자동으로 감지하고 트러블슈팅 액션을 실행하는 기능 [OpenClaw]
서버 사이드로부터의 통화 제어 (Server-side controls): Realtime API 등의 실행 중에 서버 측에서 개입하여 에이전트의 음성 발화나 액션을 제어하는 기능 [OpenAI]
앱 크래시의 자율적 트러블슈팅 (Firebase error analysis): 앱의 크래시 로그로부터 근본 원인을 파악하고 자율적으로 코드 수정 액션(패치 등)을 제안하는 기능 [Google/Gemini]
애플리케이션 코드의 자율적 모더나이제이션 (Code modernization): 레거시 언어나 프레임워크의 코드베이스를 읽어 최신 아키텍처로 자율적으로 재작성하는 액션 [Anthropic/Claude]
CI/CD 환경에서의 자동 코드 포맷팅 (Auto-formatting in CI): 훅을 활용하여 에이전트가 코드를 수정한 직후 포매터(Prettier 등)를 자율적으로 실행하는 기능 [Anthropic/Claude]
자동 Lint 체크 실행 (Auto-linting): 커밋 전이나 PR 생성 전에 에이전트가 자율적으로 Lint 도구를 실행하여 오류를 수정하는 기능 [Anthropic/Claude]
시스템 통합 및 자동화
패키지 관리 도구를 이용한 의존성 자동 업데이트 (Dependency update): 에이전트가 npm이나 pip 등의 패키지 매니저를 자율적으로 조작하여 라이브러리를 업데이트하는 기능 [Anthropic/Claude]
컴파일·빌드 프로세스의 자동 실행 (Build automation): 에이전트가 시스템의 빌드 명령(make, build 등)을 자율적으로 실행하여 오류를 해결하는 기능 [Anthropic/Claude]
실행 중인 컨테이너로의 자율적 연결 (Container manipulation): 에이전트가 가동 중인 Docker 컨테이너에 연결하여 내부에서 명령을 실행하는 액션 [OpenClaw]
커스텀 프롬프트로부터의 자동 도구 생성 (Prompt as a tool): 사용자가 작성한 커스텀 프롬프트 자체를 도구로 래핑하여 다른 에이전트에서 호출 가능하게 하는 기능 [Microsoft Copilot]
음성 에이전트의 대화 시뮬레이션 테스트 (Test voice-enabled agents): 구축한 음성 통화 에이전트의 액션이나 응답을 시뮬레이터에서 자동으로 테스트하는 기능 [Microsoft Copilot]
싱글 사인온(SSO) 연동의 액션 자동화 (SSO Integration): Teams 등에서 에이전트를 사용할 때 Entra ID 등을 이용한 인증 액션을 자율적으로 처리하는 기능 [Microsoft Copilot]
파일 업로드를 이용한 자율적 데이터 처리 (File inputs processing): 에이전트가 사용자로부터 업로드된 파일을 받아 자율적으로 분석·변환 처리를 실행하는 기능 [OpenAI]
텍스트로부터의 음성 합성 액션 (TTS execution): 에이전트가 생성한 텍스트를 API에 전송하여 음성 데이터를 출력·재생하는 기능 [OpenAI, xAI, OpenClaw]
음성으로부터의 문자 변환 액션 (STT execution): 에이전트가 음성 데이터를 받아 외부 음성 인식 도구를 호출하여 텍스트로 변환하는 기능 [OpenAI, xAI]
RAG 파이프라인의 자율적 오케스트레이션 (RAG integrations): 에이전트가 사용자의 질문을 받아 자율적으로 벡터 DB를 검색하고 정보를 통합하여 답변을 생성하는 일련의 액션 [Anthropic/Claude, Mistral]
라이브 스트리밍 플랫폼과의 채팅 연동 (Twitch integration): Twitch 등의 라이브 스트리밍 플랫폼의 채팅에 에이전트가 접속하여 시청자와 자율적으로 대화하는 기능 [OpenClaw]
비대화형 모드에서의 자동 작업 실행 (Non-interactive Mode): CI/CD 파이프라인 등에서 인간이 개입하지 않고 CLI 에이전트를 완전 자동으로 실행하여 작업을 완료하는 모드 [Anthropic/Claude]
클라우드 인프라의 코드 자동 적용 (Terraform/IaC execution): 에이전트가 인프라 관리 도구(Terraform 등)의 코드를 생성하고 자율적으로 적용(apply)하여 환경을 구축하는 액션 [Google/Gemini]
시스템 오류 발생 시의 폴백 액션 (Fallback routing): 주 에이전트나 API가 다운되었을 때 자동으로 서브 시스템이나 경량 모델로 라우팅하여 작업을 계속하는 기능 [OpenClaw]
메인·비메인 세션의 권한 자동 전환 (Permission switching): 사용자 자신의 조작과 외부로부터의 접근에서 도구 실행의 권한이나 샌드박스 필요 여부를 자율적으로 전환하는 기능 [OpenClaw]
독자적 개발 환경 내에서의 인라인 액션 (IDE integrations): VS Code나 JetBrains 등의 에디터 내에서 에이전트가 직접 코드 삽입이나 리팩토링 액션을 실행하는 기능 [Anthropic/Claude, Google/Gemini]
브라우저 내에서의 자율적 웹 조사 및 데이터 추출 (Web fetch / scraping): URL을 지정받은 에이전트가 자율적으로 웹페이지를 가져와 DOM을 분석하여 필요한 데이터를 추출하는 액션 [Anthropic/Claude]
복수 쿼리의 병렬 자율 실행 (Multi-query support): 에이전트가 복잡한 작업을 여러 검색 쿼리로 분할하고 동시에 API를 실행하여 정보를 수집하는 기능 [Perplexity]
X 스레드의 자율적 전체 조회 (Thread fetch): 에이전트가 X 상의 특정 스레드를 거슬러 올라가며 대화의 문맥 전체를 자율적으로 취득하는 액션 [xAI]
타사 플랫폼과의 엔드투엔드 통합 (WhatsApp/Cloud Provider integration): Llama 모델 등을 활용하여 WhatsApp 등의 앱에서 클라우드 인프라로의 일련의 액션을 자율적으로 연동하는 기능 [Meta/Llama]
기타 기능
위의 이해, 검색, 추론, 생성, 행동 이외의 기능입니다. 학습·최적화, 평가·모니터링, 관리·운용, 보안·거버넌스, 인프라·배포, 개발자 도구 등과 관련된 기능입니다.
학습·커스터마이제이션·성능 최적화
파인튜닝 (Supervised fine-tuning): 독자적 데이터셋으로 모델을 미조정하여 특정 작업의 정확도를 향상 [OpenAI]
시각 기능의 파인튜닝 (Vision fine-tuning): 이미지 데이터를 포함한 멀티모달 미조정 [OpenAI]
직접 선호도 최적화 (Direct preference optimization / DPO): 인간의 선호도에 맞춰 모델의 출력을 최적화 [OpenAI]
강화학습 파인튜닝 (Reinforcement fine-tuning): 특정 보상을 기반으로 모델의 동작을 최적화 [OpenAI]
커스텀 모델의 독자적 학습 (Custom training): 오픈 모델 등을 자사 환경에서 독자적으로 훈련 [Google/Vertex AI]
오픈 모델의 파인튜닝 (Fine-tuning recipes): Llama 모델 등을 특정 사용 사례에 맞춰 미조정 [Meta/Llama]
프롬프트 캐싱 (Prompt caching): 장문의 프롬프트를 캐시하여 API의 레이턴시와 비용을 절감 [OpenAI, Anthropic, xAI]
컨텍스트 캐싱 (Context Caching): 대규모 입력 컨텍스트를 시스템 쪽에서 캐시 [DeepSeek]
배치 처리 API (Batch API): 비동기로 대량의 API 요청을 일괄 처리하여 비용을 절감 [OpenAI, Anthropic, xAI]
지연 최적화 / 예측 출력 (Predicted Outputs): 알려진 출력을 예측하도록 함으로써 생성 속도를 대폭 향상 [OpenAI]
우선순위·유연 처리 (Priority / Flex processing): API 요청의 처리 우선순위를 낮춰 비용을 최적화 [OpenAI]
프로비저닝된 스루풋 (Provisioned Throughput): 전용 컴퓨팅 리소스를 예약하여 안정적인 스루풋을 확보 [xAI]
추론의 양자화 및 메모리 오프로드 (Quantization & Offloading): 리소스가 제한된 기기에서 대규모 모델을 실행하기 위한 최적화 [Diffusers]
TensorRT 최적화 모델 (NVIDIA TensorRT optimized): NVIDIA GPU용으로 추론 속도를 극한까지 최적화 [Stability AI]
AMD GPU 최적화 모델 (AMD Optimized): AMD 환경에서의 이미지 생성에 특화된 모델 튜닝 [Stability AI]
PyTorch 컴파일 최적화 (torch.compile): 코드를 컴파일하여 추론 속도를 부스트 [Diffusers]
프롬프트의 자체 최적화 (Prompt optimizer): 모델이 자신의 프롬프트를 분석하여 가장 효과적인 구조로 자동 수정 [OpenAI]
Microsoft 365 Copilot 튜닝 (미리보기): 조직 특유의 데이터나 용어에 맞춰 Copilot을 튜닝 [Microsoft]
평가·모니터링·옵저버빌리티
모델의 자동 평가 도구 (Evals / Graders): 데이터 기반으로 모델의 성능이나 정확성을 평가·채점 [OpenAI]
평가용 테스트세트 작성 (Create test sets): 에이전트를 평가하기 위한 독자적인 테스트 데이터 작성 [Copilot Studio]
평가 도구 UI (Evaluation Tool): 콘솔 상에서 프롬프트의 출력을 나란히 시각적으로 평가 [Anthropic]
에이전트 워크플로우의 자동 평가 (Evaluate workflows): 복잡한 에이전트의 행동 흐름이 올바르게 작동하는지를 테스트 [OpenAI]
모델 플레이그라운드 (Studio playground): 파라미터를 조정하면서 모델 출력을 실시간으로 비교·테스트 [Mistral AI]
생성 AI 모델 평가 서비스 (Gen AI Evaluation): 엔터프라이즈 품질의 객관적인 모델 평가 기반 [Google/Vertex AI]
MLOps 플랫폼 (MLOps): 모델의 모니터링, 평가, 파이프라인의 오케스트레이션을 자동화 [Google Cloud]
모델의 입력 스큐와 드리프트 모니터링 (Model Monitoring): 운영 중인 데이터 추세의 변화나 모델의 성능 저하를 모니터링 [Google/Vertex AI]
에이전트 퍼포먼스 분석 (Analytics): 대화의 성공률이나 사용자 만족도 등의 지표를 분석 [Copilot Studio]
자율형 에이전트의 건전성 분석 (Agent health): 자율적으로 행동하는 에이전트의 에러율이나 가동 상태를 모니터링 [Copilot Studio]
클라우드 시스템의 오브저버빌리티 (Cloud Logging / Monitoring): 인프라나 API의 로그, 메트릭을 통합 모니터링 [Google Cloud]
애플리케이션 트레이스 (Error Reporting / Trace): API 호출의 지연이나 에러의 발생 원인을 추적·특정 [Google Cloud]
API 시스템 상태 API (System Status API): 서비스의 가동 상황을 프로그램에서 모니터링 [Perplexity]
상세한 토큰 사용량 트래킹 (Counting tokens / Usage): 프롬프트나 캐시에서 소비된 토큰 수를 정확하게 모니터링 [OpenAI, Anthropic]
관리·운영·과금
조직·워크스페이스 관리 (Manage workspaces): 팀별로 독립된 워크스페이스나 환경을 작성·관리 [Mistral AI, Anthropic]
프로젝트 관리 (Projects): 애플리케이션별로 API 키나 설정을 분할하는 프로젝트 기능 [OpenAI]
사용자 초대·관리 (User Management / Invites): 조직으로의 멤버 초대나 계정의 라이프사이클 관리 [OpenAI, Mistral AI]
역할 할당 (Roles / Permissions): 사용자별로 조회·편집·관리자 등의 권한을 부여 [OpenAI, Mistral AI]
API 키의 작성과 로테이션 (API Key Management): 워크스페이스별로 API 키를 발급·무효화 [전반]
관리자용 API (Admin API): 워크스페이스나 키의 관리를 프로그램에서 자동화 [OpenAI, Anthropic]
관리자 추적용 API 키 (Admin API Keys): 조직 전체의 이용 현황을 추적하기 위한 특별한 API 키 [OpenAI]
청구·FinOps 대시보드 (Billing Management): 팀별의 API 이용액이나 비용을 가시화·관리 [Mistral AI, xAI]
이용 한도와 레이트 제한의 관리 (Rate limits & Tiers): 현재의 API 레이트 제한(RPM/TPM)이나 티어의 확인과 상한 관리 [OpenAI, Perplexity]
클라우드 비용 관리 도구 (Cost Management): 인프라 전체의 비용을 최적화·예산 알림을 설정 [Google Cloud]
감사 로그 기능 (Audit Logs): 누가 언제 시스템에 변경을 가했는지의 이력을 기록하고, 보안 감사에 활용 [OpenAI, xAI, Microsoft]
라이선스의 할당 (Assign licenses): Copilot이나 에이전트의 이용 라이선스를 사용자에게 부여 [Copilot Studio]
모델 레지스트리 (Model Registry): 학습된 모델의 버전이나 메타데이터를 일원 관리 [Google/Vertex AI]
특성 저장소 (Feature Store): ML 모델에서 재사용하는 특성(Feature)을 공유·관리 [Google/Vertex AI]
구독 자동 갱신 관리 (Managing Subscription): 유료 플랜의 업그레이드/다운그레이드나 자동 갱신의 관리 [Midjourney]
조직의 세무 상태 설정 (Tax / VAT): 법인용의 VAT 면제나 세무 정보의 구성 [Midjourney]
크레딧 소비 관리 (Credits management): 이미지 생성 등에서의 크레딧(통화)의 소비 트래킹 [Stability AI]
보안·거버넌스·액세스 제어
싱글 사인온 통합 (SSO / SAML): 기업의 IdP(Okta 등)를 이용한 보안 로그인 통합 [Mistral AI, xAI]
Microsoft Entra ID에 의한 SSO 통합: Teams 등에서의 에이전트 이용 시의 심리스한 인증 [Microsoft]
역할 기반 액세스 제어 (RBAC): 섬세한 권한 설정에 의한 API·리소스로의 액세스 제어 [xAI]
에이전트의 데이터 정책 구성 (Data policies): 에이전트가 액세스할 수 있는 사내 데이터나 실행 가능한 액션을 제한 [Copilot Studio]
안전성 필터·모더레이션 (Moderation): 해로운 프롬프트나 출력을 블록·평가하는 API [OpenAI, Meta]
사이버 보안 검증 (Cybersecurity checks): 애플리케이션이 보안 기준을 만족하는지의 체크 [OpenAI]
연령 검증·미성년자 보호 (Under 18 API / Age Assurance): 생체 정보나 이용 신호로부터 사용자가 18세 이상인지를 판정 [OpenAI, C.AI]
컴플라이언스 관리 (Compliance): SOC 2, GDPR, CCPA 등의 엄격한 규제 기준으로의 준수 기능 [xAI]
데이터 레지던시 제어 (Data residency): 데이터를 저장·처리하는 지리적 리전(국가)을 엄밀하게 지정 [xAI]
데이터의 암호화와 분리 (Encryption / Separation): 학습에 이용하지 않는 데이터의 분리 저장과, 송수신·저장 시의 암호화 [Meta]
mTLS 인증 (mTLS Authentication): 클라이언트와 서버의 쌍방향으로 인증서를 이용한 엄격한 API 인증 [xAI]
보안 커맨드 센터 (Security Command Center): 클라우드 상의 위협이나 취약점을 통합적으로 모니터링 [Google Cloud]
기밀 데이터의 보호 (Sensitive Data Protection): PII(개인 정보) 등의 기밀 데이터를 자동으로 발견하고, 마스킹·보호 [Google Cloud]
VPC Service Controls (VPC-SC): 기업 네트워크에서 외부로의 데이터 반출(유출)을 방지 [Google Cloud]
eDiscovery와 데이터 보관 (eDiscovery / Legal hold): 소송이나 감사에 대비하여, Copilot의 대화 이력을 보관·검색 [Microsoft 365]
API의 핑거프린트 관리 (Fingerprint): 백엔드의 모델 변경을 추적하기 위한 식별자 관리 [xAI]
DM 페어링과 액세스 제어 (DM pairing / Allowlist): 미지의 사용자로부터의 DM을 블록하고, 승인제로 하는 기능 [OpenClaw]
안전한 샌드박스 환경 (Docker/SSH Sandbox): 에이전트에 시스템 조작을 하게 할 때, 격리된 컨테이너 환경에 제한 [OpenClaw]
인프라·배포·스케일링
Llama Stack (API 레이어의 셀프호스트): Llama 모델을 자사 인프라 상에서 API로써 호스트하기 위한 기반 [Meta]
Llama Everywhere (엣지 배포): 데스크톱이나 Linux 기반의 온프레미스 환경에 모델을 직접 배포 [Meta]
AI 엣지 배포먼트 (Google AI Edge): 모바일이나 임베디드 디바이스용으로 경량 AI 모델을 배포 [Google]
클라우드 모델 배포 (Prediction / Serving): 학습한 모델을 배치 추론이나 온라인 예측의 API로써 공개 [Google/Vertex AI]
서버리스 컨테이너 배포 (Cloud Run / Cloud Functions): AI 앱의 백엔드를 인프라 관리 없이 자동 스케일 배포 [Google Cloud]
Kubernetes 클러스터 통합 (Google Kubernetes Engine): 컨테이너화된 대규모 AI 워크로드를 오케스트레이션 [Google Cloud]
엔터프라이즈 에이전트 배포 (Enterprise Agent Platform): 구축한 에이전트를 프로덕션 환경에 확장 가능하게 배포 [Google Cloud]
서드파티 클라우드로의 배포: Amazon Bedrock이나 Vertex AI의 인프라 위에서 Claude 모델 운영 [Anthropic]
Microsoft Foundry에서의 배포: 엔터프라이즈용 PaaS 환경에서 AI 모델이나 에이전트를 배포 [Microsoft]
API 게이트웨이 통합 (Apigee / Application Integration): 자사 API를 안전하게 공개하고 AI와 연계시키기 위한 라우팅 기반 [Google Cloud]
Tailscale 네트워킹 통합: Tailnet을 활용하여 원격 환경에서 로컬 AI 어시스턴트에 안전하게 접근 [OpenClaw]
에어갭·온프레미스 배포 (Google Distributed Cloud): 인터넷으로부터 격리된 폐쇄 네트워크 환경에 AI 인프라 배포 [Google Cloud]
CI/CD 파이프라인 (Cloud Build / Cloud Deploy): AI 애플리케이션의 빌드와 배포를 자동화 [Google Cloud]
인프라스트럭처의 코드화 (Infrastructure Manager): Terraform 등을 사용하여 AI용 클라우드 인프라를 코드로 관리·구축 [Google Cloud]
배치·태스크 스케줄 (Cloud Scheduler / Batch): 비동기의 무거운 데이터 처리나 추론 태스크를 스케줄 실행 [Google Cloud]
전용 추론 엔드포인트 (Inference Endpoints): Hugging Face 위에서 커스텀 모델을 전용 API 인프라로 배포 [Hugging Face]
개발자 경험·인터페이스·에코시스템
Web Control UI 대시보드: 브라우저에서 로컬 에이전트의 채팅, 구성, 세션을 관리 [OpenClaw]
CLI 온보딩 (openclaw onboard): 터미널에서 대화식으로 에이전트의 설치나 설정을 자동 실행 [OpenClaw]
macOS용 시스템 관리 앱 (OpenClaw.app): 메뉴 바에서 게이트웨이의 시작이나 상태를 관리 [OpenClaw]
시스템 자가진단 기능 (openclaw doctor): 설정 오류나 환경 불일치를 자동으로 감지하여 트러블슈팅 [OpenClaw]
개발 채널 전환 (Update channels): Stable, Beta, Dev 등의 릴리스 채널을 명령어로 전환 [OpenClaw]
IDE 통합 확장 기능 (VS Code / JetBrains extension): 개발 환경의 에디터 내에 AI 어시스턴트를 직접 통합 [Anthropic, Google]
로컬 워크트리 환경 (Worktrees): 메인 작업 환경을 손상시키지 않으면서 에이전트용 독립적인 작업 브랜치 생성 [Anthropic]
프로젝트 고유 지침 파일 (CLAUDE.md / AGENTS.md): 리포지토리의 루트에 배치하여 에이전트가 프로젝트의 규칙을 자동으로 읽어 들이는 기능 [Anthropic, OpenClaw]
비대화형 자동화 모드 (Non-interactive Mode): CI/CD 등에서 인간이 개입하지 않고 CLI 에이전트를 자동 실행하는 모드 [Anthropic]
개발자 모드 / 트레이스 (/trace): 에이전트의 내부 처리나 네트워크 요청의 로그를 상세히 출력 [OpenAI, OpenClaw]
OpenAI 호환 API 엔드포인트 (OpenAI Compatibility): 기존의 OpenAI용 SDK를 그대로 사용하여 다른 회사의 모델(Llama, DeepSeek 등)을 호출할 수 있는 기능 [Meta, Perplexity, DeepSeek]
Model Context Protocol (MCP) 에코시스템: 서로 다른 AI 모델이나 도구 간에 컨텍스트를 표준화하여 연계시키는 프로토콜 기반 [Anthropic, OpenAI, Microsoft]
커스텀 위젯 임베드 (ChatKit Widgets): ChatGPT의 UI 내에 서드파티 제작 커스텀 위젯을 임베드하는 개발 기능 [OpenAI]
프롬프트 비교 및 관리 (GitHub Models): 여러 프롬프트의 출력을 나란히 비교·관리하는 개발자용 도구 [GitHub]
GitHub Actions 자동화 연계: 리포지토리의 이벤트를 트리거로 AI 모델을 CI/CD 워크플로우 내에서 실행 [GitHub]
노트북 환경 통합 (Colab Enterprise): Jupyter Notebook 같은 환경에서 AI 모델의 개발과 데이터 사이언스를 통합 [Google Cloud]
앱 내 브라우저 통합 (In-app browser): 에이전트가 CLI나 IDE 내에서 직접 웹 페이지를 렌더링하고 조사 결과를 표시 [Anthropic]
마치며
AI로 할 수 있는 것들이 증가하고 있으며, 앞으로도 지속적으로 업데이트할 예정입니다. 저로서는 부동산·건설 업계에 특화한 AI 에이전트를 개발하고 있으며, 위와 같은 범용 AI에서도 향후 대응이 어려울 것 같은 부분에 집중하여 연구 개발을 진행하고자 합니다.
읽음
다음 읽을 글 ↓