Que peut faire l'IA la plus récente ? — Environ 600 fonctionnalités compilées de manière exhaustive à partir des documents officiels de Gemini, Claude, Open AI, OpenClaw, Genspark et autres

Introduction

Les progrès de l'IA sont remarquables, et les capacités augmentent constamment. Cependant, sur les réseaux sociaux et les actualités technologiques, on trouve principalement des cas d'usage fragmentaires, et il est difficile de trouver des informations d'ensemble sur ce qui peut être réalisé globalement. Ici, nous avons sélectionné environ 15 principaux systèmes d'IA ayant un large nombre d'utilisateurs à l'échelle mondiale, et nous énumérons les fonctionnalités de manière exhaustive en nous appuyant principalement sur la documentation officielle. Les informations destinées aux utilisateurs généraux et aux développeurs sont toutes deux incluses. Nous espérons que cela vous servira de référence pour comprendre ce qui est possible avec l'IA aujourd'hui.

Les fonctionnalités de l'IA sont classées en six catégories : compréhension, recherche, raisonnement, génération, action et autres. Ceci repose sur le fait que les récents agents d'IA intègrent des concepts tels que le framework ReAct (Reason + Act), le modèle RAG (Retrieve + Generate) et les boucles Retrieve-Reason-Act. Par conséquent, nous avons sélectionné la compréhension, la recherche, le raisonnement, la génération et l'action comme composants représentatifs des agents d'IA pour ce classement.

Systèmes d'IA cibles et documents de référence

• ChatGPT : système d'IA générative emblématique jouissant d'une notoriété exceptionnelle et d'un nombre d'utilisateurs considérable.

  • All things about ChatGPT

  • ChatGPT Capabilities Overview

  • Models

  • API Platform

  • All models

• Gemini : fortement intégré à la Recherche Google, aux appareils Android et à Google Workspace, il est incorporé dans les infrastructures de vie quotidienne des utilisateurs dans le monde entier.

  • Help Center

  • AI for every developer

  • Gemini Enterprise Agent Platform

  • Gemini Code Assist

• Claude : hautement apprécié par les professionnels en raison de sa capacité de génération de texte naturel et de ses aptitudes avancées en raisonnement logique et programmation.

  • Start building with Claude

  • Claude Code overview

  • Anthropic Academy

• Microsoft Copilot : bien que reposant sur la technologie d'OpenAI, il est préinstallé sur le système d'exploitation Windows et les produits Office tels que Word et Excel, d'où sa très forte utilisation par les professionnels.

  • Microsoft Copilot learning hub for IT Pros and Developers

  • Microsoft 365 Copilot hub

  • Microsoft Copilot Studio documentation

• OpenClaw : fonctionne sur son propre PC (environnement local) et exécute automatiquement des opérations telles que la lecture/écriture de fichiers et la manipulation de navigateur en recevant des instructions simplement via des applications de chat comme WhatsApp ou Discord.

  • Overview

  • GitHub

• Perplexity AI : moteur de recherche IA spécialisé qui se concentre sur la lecture de plusieurs sites Web et la synthèse directe de réponses plutôt que sur une simple énumération de liens, gagnant rapidement des utilisateurs dans le monde entier.

  • Overview

  • Perplexity APIs

  • Quickstart

  • Perplexity SDK

• Character.ai : système d'IA permettant aux utilisateurs de discuter avec divers personnages créés par les utilisateurs (personnages d'anime, personnalités publiques, etc.). Il génère un trafic considérable, particulièrement chez les jeunes.

  • need help? we've got you.

• DeepSeek : système d'IA originaire de Chine offrant des performances comparables à celles d'OpenAI et d'Anthropic à un coût extrêmement réduit, acquérant rapidement des utilisateurs parmi les développeurs et les entreprises du monde entier.

  • Your First API Call

  • Models & Pricing

  • GitHub

  • Hugging Face

• Llama : modèle open source fourni par Meta. C'est le moteur le plus largement utilisé pour les applications d'IA développées par les startups du monde entier.

  • Overview

  • Llama API overview

  • GitHub

• Mistral : système d'IA d'origine française. Il jouit d'une grande popularité en tant que modèle open source léger et performant, particulièrement sur le marché européen.

  • Mistral AI Documentation

  • Chat Endpoints

  • Developers

• Grok : développé par xAI dirigée par Elon Musk. Son principal atout réside dans son intégration avec les informations en temps réel de X (anciennement Twitter).

  • Get started with xAI

  • The Next Frontier of Enterprise AI

  • Inference REST API Overview

  • X Search

• Kimi : d'origine chinoise, il se distingue par sa capacité à traiter des textes ultra-longs de plusieurs millions de caractères en une seule fois, gagnant rapidement des utilisateurs principalement en Asie.

  • Overview

  • Quickstart

• Midjourney : système d'IA représentatif pour la génération d'images de haute qualité à partir de texte. Fonctionnant sur Discord, il est utilisé par des créateurs et des designers du monde entier.

  • Learn about Midjourney

  • Getting Started Guide

  • Documentation

• Stable Diffusion : de facto standard open source pour la génération d'images. Il peut être installé dans l'environnement local d'un PC et personnalisé selon les préférences.

  • Diffusers

  • Stability AI

  • Getting Started

  • GitHub

• DALL·E : système d'IA de génération d'images développé par OpenAI qui crée des images de haute qualité conformément aux instructions textuelles fournies.

  • Image generation

  • Models

  • Introducing our latest image generation model in the API

• Genspark : plateforme de nouvelle génération de recherche, collecte d'informations et création de documents exploitant les agents d'IA.

  • What is Super Agent?

  • Genspark

  • Blog

Fonctionnalités de « compréhension »

Fonctionnalités permettant de saisir structurellement l'intention de l'utilisateur, le langage naturel ambigu, et les données d'entrée multimodales telles que les images et l'audio.

Compréhension, synthèse et extraction de texte

• Synthèse de texte (Text summarization) : fonctionnalité fondamentale permettant de comprendre le contexte de textes longs ou de plusieurs documents, et d'en extraire les points clés et les conclusions [OpenAI, Google/Gemini, Anthropic/Claude, Microsoft Copilot, Mistral, Meta/Llama, Kimi, DeepSeek]

• Extraction de données structurées (Structured output / JSON schema) : capacité à extraire et interpréter avec précision des entités ou des valeurs spécifiques à partir de texte non structuré conformément à un schéma JSON défini [OpenAI, Google/Gemini, Anthropic/Claude, Meta/Llama, xAI, DeepSeek]

• Extraction d'entités (Entity extraction) : capacité à identifier et extraire des noms propres et des mots-clés tels que les noms de personnes, noms d'entreprises, dates et montants à partir de textes longs [OpenAI, Google/Gemini, Anthropic/Claude, Microsoft Copilot]

• Interprétation du sujet et de l'intention de l'utilisateur (Intent recognition / Topic triggering) : capacité à interpréter l'objectif (intention) à partir des énoncés ou questions ambigües de l'utilisateur et d'activer un flux d'agent approprié [Microsoft Copilot, OpenClaw, Google/Gemini]

• Traduction multilingue et compréhension contextuelle (Multilingual support) : capacité à interpréter nativement les textes rédigés en plusieurs langues et à les traduire ou synthétiser dans la langue spécifiée [OpenAI, Google/Gemini, Anthropic/Claude, Meta/Llama, xAI, DeepSeek]

• Modération de contenu et interprétation de la sécurité (Moderation / Safety checks) : capacité à analyser et comprendre si le texte contient des violations de politiques, du contenu nuisible ou des éléments inappropriés [OpenAI, Meta/Llama, Google/Gemini, xAI]

• Gestion du contexte conversationnel (Context management / Threads) : capacité à mémoriser et comprendre l'historique des messages précédents et le flux de session, et à fournir des réponses pertinentes au contexte [OpenAI, Anthropic/Claude, Google/Gemini, xAI, OpenClaw, Perplexity]

• Analyse des sentiments et interprétation du ton (Sentiment analysis) : capacité à comprendre et extraire l'état émotionnel de l'utilisateur et le ton à partir des choix de mots et des expressions du texte [Google/Gemini, OpenAI, Microsoft Copilot]

• Vue d'ensemble de contextes volumineux (Long-context understanding) : capacité à lire d'un seul coup des textes ultra-longs, allant de 1 à 5 millions de jetons, ou des contextes de 256K et à les comprendre globalement [Google/Gemini, Anthropic/Claude, Meta/Llama, Kimi, DeepSeek]

• Extraction et interprétation automatique des variables de requête (Templatize a prompt) : capacité à identifier et extraire automatiquement les variables à partir de l'entrée utilisateur, et à les comprendre comme structure de modèle facilement intégrable au système [Anthropic/Claude]

• Inférence psychologique des personnages et extraction de relations (Character mind map) : capacité à interpréter et organiser le processus de réflexion et les relations interpersonnelles des personnages à partir de livres ou d'histoires [Meta/Llama]

• Interprétation du persona et des règles de comportement (Persona understanding) : capacité à comprendre et s'adapter de manière autonome au rôle, au ton et aux règles spécifiés dans le système prompt ou les fichiers de configuration (tels que AGENTS.md) [OpenClaw, Anthropic/Claude, Mistral, OpenAI]

• Analyse approfondie d'articles de recherche et de données universitaires (Analyze research papers) : capacité à déchiffrer des articles de recherche au format complexe et des données de recherche, et à extraire des perspectives scientifiques [Meta/Llama, Google/Gemini, Anthropic/Claude]

• Compréhension transversale de plusieurs documents (Multi-document analysis) : capacité à interpréter et comprendre de manière intégrée les relations et les incohérences entre plusieurs fichiers téléchargés [OpenAI, Anthropic/Claude, Google/Gemini, Mistral, Kimi]

• Compréhension du contexte métier des données organisationnelles (Data grounding) : capacité à déchiffrer SharePoint interne, les e-mails, les chats, etc., et à les comprendre comme contexte métier propre à l'entreprise [Microsoft Copilot, Google/Gemini]

• Réutilisation du contexte par mise en cache des requêtes (Prompt caching) : capacité à mettre en cache de longs contextes et à interpréter et extraire efficacement les informations sans recalcul [OpenAI, Anthropic/Claude, xAI, DeepSeek]

• Compréhension contextuelle continue par complément de préfixe de chat (Chat Prefix Completion) : capacité à comprendre précisément le préfixe d'un texte partiellement écrit et à prédire et extraire le contexte suivant [DeepSeek, OpenAI]

• Interprétation des termes de documents et contrats juridiques (Legal document analysis) : capacité à comprendre et extraire avec précision les termes à risque et les obligations à partir de longs documents juridiques [Anthropic/Claude, OpenAI, Google/Gemini, Kimi]

• Extraction des antécédents professionnels et compétences du CV (Resume/Profile extraction) : capacité à extraire et comprendre structurément les compétences et les antécédents professionnels à partir de données RH ou de CV [OpenAI, Google/Gemini, Anthropic/Claude]

• Extraction de contexte à partir de données médicales et de dossiers de santé (Healthcare data extraction) : capacité à interpréter et extraire les perspectives médicales importantes et les symptômes à partir de dossiers médicaux ou de données de patients [Google/Gemini]

• Extraction d'éléments d'action à partir de minutes de réunion (Action item extraction) : capacité à interpréter et extraire les décisions et les tâches à partir d'historiques de réunions ou de chats de support [OpenAI, Microsoft Copilot, Anthropic/Claude]

• Identification et extraction d'informations personnelles et sensibles (Sensitive Data Protection / PII extraction) : capacité à comprendre et extraire les informations personnelles à partir des données d'entrée pour protéger et masquer [Google/Gemini, OpenAI, Microsoft Copilot]

Compréhension multimodale et visuelle (images, vidéos, interface utilisateur)

• Compréhension des objets et scènes dans les images (Image understanding / Vision) : Capacité à comprendre les objets, les situations et les relations spatiales dans une image comme contexte visuel [OpenAI, Google/Gemini, Anthropic/Claude, xAI, Meta/Llama, DeepSeek, Kimi]

• Reconnaissance optique de caractères et extraction de texte (OCR / DeepSeek-OCR-2) : Capacité à extraire les informations de texte dans les documents ou photos numérisés et les interpréter comme données structurées [OpenAI, Google/Gemini, DeepSeek, Anthropic/Claude]

• Interprétation de code des maquettes UI (Image mock up to HTML) : Capacité à comprendre l'intention des notes manuscrites ou des conceptions UI dessinées dans une image et à les interpréter comme structure de code [Google/Gemini, OpenAI, Anthropic/Claude]

• Analyse visuelle de graphiques et diagrammes complexes (Chart & Graph analysis) : Capacité à déchiffrer les informations numériques et les tendances logiques à partir de graphiques de données numérisés [Anthropic/Claude, Meta/Llama, OpenAI, Google/Gemini]

• Compréhension des relations causales visuelles et des structures logiques (Visual Causal Flow) : Capacité à interpréter et extraire le flux d'information et les relations causales logiques à partir de schémas et organigrammes complexes [DeepSeek]

• Compréhension des images et du contexte vidéo (Video understanding) : Capacité à prendre les fichiers vidéo comme entrée, à analyser les transitions de scènes, le contenu et le contexte du mouvement pour extraire les informations [Google/Gemini, xAI, Kimi]

• Analyse intégrée du texte PDF et des contenus visuels (PDF support / Document AI) : Capacité à interpréter et extraire simultanément non seulement le texte dans un PDF, mais aussi les schémas, graphiques et structures de mise en page [Anthropic/Claude, Google/Gemini, OpenAI, Kimi, Mistral]

• Interprétation multimodale dans les publications de réseaux sociaux (Enable Image/Video Understanding) : Capacité à extraire et comprendre spécifiquement le contexte des images et vidéos incluses dans les publications de médias sociaux [xAI]

• Interprétation de la structure UI de l'écran informatique (Computer use vision) : Capacité à comprendre visuellement la disposition de l'interface utilisateur et les éléments pouvant être manipulés à partir d'une capture d'écran du bureau [Anthropic/Claude, OpenAI]

• Interprétation des régions transparentes de masques pour l'édition d'images (Masking understanding) : Capacité à comprendre le canal alpha d'une image de masque spécifiée et à interpréter les régions à éditer ou régénérer [OpenAI]

• Interprétation visuelle du monde physique par caméra (Device Camera Vision) : Capacité à interpréter les images du monde réel entrées directement depuis la caméra d'une application mobile, etc., et à comprendre la situation [OpenClaw, Google/Gemini]

• Compréhension du contexte dans la génération d'images multi-tours (Multi-turn image context) : Capacité à interpréter en héritant du contexte d'une image précédemment générée (Previous response ID) au cours d'une conversation [OpenAI]

• Inférence visuelle d'informations d'âge et biométriques à partir de photos de visage (Age Assurance / Persona Verification) : Capacité à analyser et interpréter les données biométriques à partir d'une image de selfie et à estimer la tranche d'âge de l'utilisateur [C.AI, OpenAI]

• Compréhension des experts mixtes multimodaux (Mixture-of-Experts Vision-Language) : Capacité à interpréter les entrées avancées mélangeant images et texte en attribuant les meilleurs modèles d'experts [DeepSeek]

• Interprétation visuelle de l'éclairage spatial et de la structure 3D (ReLi3D / SViM3D) : Capacité à interpréter physiquement la forme 3D d'objets et les conditions d'éclairage (lighting) de l'environnement à partir d'une seule image 2D [Stability AI]

• Analyse synchronisée de l'audio et de la vidéo dans les vidéos (Video audio analysis) : Capacité à comprendre et extraire intégralement la piste audio et les mouvements vidéo dans le contenu vidéo [Google/Gemini]

• Interprétation des données géospatiales (Geospatial Analytics / Earth Engine) : Capacité à extraire et comprendre les changements topographiques et les informations spatiales à partir d'images satellites ou de données cartographiques [Google/Gemini]

Compréhension du code, des systèmes et des journaux

• Compréhension de la structure du code et des dépendances du projet global (Codebase understanding) : Capacité à comprendre la logique et les dépendances entre plusieurs fichiers du projet entier, et non pas un seul fichier [Google/Gemini, Anthropic/Claude, OpenAI, Kimi]

• Interprétation des journaux d'erreurs et traces de pile (Error trace analysis) : Capacité à extraire et comprendre la cause première des erreurs système à partir des sorties terminal ou des journaux de plantage [Anthropic/Claude, Google/Gemini, OpenAI]

• Interprétation de l'intention des commits Git et différences de PR (Diff understanding) : Capacité à analyser les différences (Diff) du code modifié et à interpréter l'intention de la correction ou les points clés de révision [Anthropic/Claude, Google/Gemini, Microsoft Copilot]

• Interprétation du schéma de base de données et de l'intention SQL (Database Assistance) : Capacité à comprendre la logique des requêtes SQL complexes existantes et les métadonnées de table, et à les expliquer en langage naturel [Google/Gemini, Microsoft Copilot]

• Extraction d'insights à partir des données de feuille de calcul (Code Interpreter data analysis) : Capacité à charger des données CSV ou Excel, à interpréter leur sens numérique et à extraire des graphiques ou tendances [Mistral, OpenAI, Microsoft Copilot]

• Compréhension autonome de l'environnement terminal et de la structure de répertoires (CLI Workspace understanding) : Capacité pour les outils CLI à saisir et interpréter autonomement l'environnement du projet actuel et la composition des répertoires [Anthropic/Claude, Mistral, Google/Gemini]

• Interprétation des spécifications API et du code de politique (Apigee / API policy understanding) : Capacité à décoder les manuels de spécifications API d'entreprise et le code de politique de sécurité, et à comprendre l'intention de la configuration [Google/Gemini]

• Interprétation du biais des données et de la dérive en MLOps (Model Monitoring) : Capacité à analyser et comprendre le biais (skew) des données d'entrée vers les modèles d'apprentissage automatique et les tendances de dégradation [Google/Gemini]

• Interprétation des journaux de sécurité et du renseignement sur les menaces (Security Copilot / Threat Analysis) : Capacité à extraire les indicateurs d'attaque informatique et le contexte des menaces à partir de volumes importants de journaux système ou de données de communication [Microsoft Copilot, Google/Gemini]

• Interprétation de la configuration de l'infrastructure cloud et des ressources (Cloud Assist / Infrastructure understanding) : Capacité à interpréter la configuration optimale des ressources cloud et le déploiement à partir du contexte du code source ou de l'éditeur [Google/Gemini]

• Compréhension du contexte de l'historique de session et de l'état de l'agent (Session history retrieval) : Capacité pour l'agent à lire les informations de session passée et à comprendre rétrospectivement l'avancement des tâches et le contexte [OpenClaw, OpenAI]

• Compréhension de la structure des sources de données externes (Jira/Google Drive, etc.) (MCP server resources) : Capacité à comprendre et extraire la structure des informations de ticket ou de documents d'un SaaS externe connecté via MCP [Anthropic/Claude, OpenAI, Microsoft Copilot]

• Interprétation du contexte avant et après dans la complétude FIM (Fill-in-the-Middle Completion) : Capacité à interpréter la logique manquante qui doit être insérée au milieu à partir de la description avant et après le code [DeepSeek, OpenAI]

• Compréhension des exigences de modernisation du code (Code modernization analysis) : Capacité à interpréter la logique métier originale lors de la migration du code hérité vers un framework moderne [Google/Gemini, Anthropic/Claude]

• Extraction de procédures de dépannage (Troubleshooting extraction) : Capacité à extraire et comprendre les étapes de résolution nécessaires à partir de la description de la situation d'erreur de l'utilisateur et des manuels [Google/Gemini, Anthropic/Claude]

• Interprétation de la structure de la charge utile Webhook (Webhook event parsing) : Capacité à comprendre les données JSON du Webhook envoyées par un système externe et à extraire les informations d'événement nécessaires [OpenAI, OpenClaw]

• Interprétation de l'état du dispositif mobile et des informations de capteur (Mobile node context) : Capacité pour l'agent à comprendre comme contexte des informations envoyées par un nœud mobile, telles que l'autonomie de la batterie ou l'état du système [OpenClaw]

• Compréhension du contexte indépendant des worktrees Git (Worktrees context) : Capacité à comprendre le contexte spécifique au répertoire actuel lorsque plusieurs environnements de travail exécutent séparément des tâches différentes [Anthropic/Claude]

• Extraction de sens des journaux de trace pour développeurs (Trace / Debug log understanding) : Capacité à interpréter les goulots d'étranglement ou les zones d'erreur à partir des journaux du traitement interne du modèle ou des requêtes réseau [OpenAI, OpenClaw]

• Interprétation des tendances des données de coût cloud et FinOps (Cost Management / Billing analysis) : Capacité à décoder les données de frais d'API et de coûts d'infrastructure, et à extraire les anomalies de consommation et les points d'optimisation. [Google/Gemini, OpenAI]

• Interprétation autonome des fichiers de directives de projet (CLAUDE.md, etc.) : Capacité de l'agent à lire automatiquement les fichiers de directives placés dans un répertoire et à comprendre les exigences du projet. [Anthropic/Claude, OpenClaw]

• Interprétation de la compatibilité des invites de modèles tiers (OpenAI Compatibility) : Capacité à interpréter et convertir les requêtes envoyées au format API d'OpenAI dans un format compréhensible par d'autres modèles. [Meta/Llama, Perplexity, DeepSeek]

Compréhension de la voix et de l'audio

• Reconnaissance vocale et transcription (Speech-to-text / Whisper) : Capacité à recevoir des données audio en entrée et à interpréter et extraire avec précision le contenu du discours sous forme de texte. [OpenAI, Google/Gemini, xAI]

• Interprétation en temps réel des émotions et du ton de la voix (Realtime API / Voice API) : Capacité à comprendre en temps réel, à partir d'une entrée vocale à très faible latence, non seulement le sens des mots, mais aussi les émotions et le ton du locuteur. [OpenAI, xAI, Microsoft Copilot]

• Séparation des locuteurs et compréhension de la structure conversationnelle (Diarization) : Capacité à identifier « qui a parlé et quand » à partir de données audio, et à comprendre le flux et la structure de conversations entre plusieurs personnes. [OpenAI]

• Interprétation vocale de l'intention utilisateur dans les systèmes IVR (Interactive voice response) : Capacité à interpréter les demandes des clients lors d'interactions vocales de support client et à décider d'un transfert vers un opérateur. [Microsoft Copilot]

• Compréhension contextuelle des enregistrements de consentement vocal (Voice Consents interpretation) : Capacité à extraire et comprendre les informations de consentement utilisateur à partir de texte ou audio, nécessaires lors de l'utilisation des APIs de synthèse vocale. [OpenAI]

Compréhension des résultats de recherche, des connaissances externes et des outils

• Synthèse intégrée des résultats de recherche Web (Web-grounded summarization) : Capacité à intégrer les informations provenant de plusieurs pages Web, à comprendre les liens de pertinence et les contradictions, et à synthétiser. [Perplexity, OpenAI, Google/Gemini, Anthropic/Claude, Mistral, Kimi]

• Compréhension approfondie de sujets complexes (Deep research / Sonar) : Capacité à comprendre en profondeur un thème complexe en lisant les informations sur le Web par étapes multiples, et à les synthétiser. [OpenAI, Google/Gemini, Perplexity]

• Interprétation de la fiabilité et de la pertinence des sources d'information (Search API filters) : Capacité à extraire la pertinence sémantique des résultats de recherche à partir des titres et snippets, sans génération par LLM. [Perplexity]

• Interprétation du contexte spécifique au domaine des résultats de recherche (Domain controls) : Capacité à comprendre le contexte spécialisé à partir des résultats de recherche limités à un domaine particulier (médical, financier, etc.). [Perplexity]

• Extraction d'informations en préservant le contexte dans la RAG (Contextual retrieval) : Capacité à interpréter et extraire les informations de manière à ce que le contexte du document entier ne soit pas perdu lors de la fragmentation des données. [Anthropic/Claude, Perplexity]

• Vectorisation sémantique et interprétation du texte (Embeddings) : Capacité à interpréter numériquement le sens et les nuances du texte sous forme de vecteurs multidimensionnels, et à en trouver les similitudes. [OpenAI, Anthropic/Claude, Perplexity, Google/Gemini]

• Compréhension des tendances en temps réel de X et du flux de fils de discussion (Thread fetch & Trend analysis) : Capacité à interpréter le flux conversationnel du fil complet et les sujets actuels des réseaux sociaux comme contexte. [xAI]

• Interprétation du fondement dans la vérification des faits (Grounding verification) : Capacité à comprendre en comparant les réponses du modèle avec les résultats de recherche Web si les faits concordent. [Google/Gemini, Microsoft Copilot]

• Extraction précise du contexte de la source (Citation extraction) : Capacité à extraire avec précision la phrase servant de base à la réponse à partir des résultats de recherche, et à l'associer en tant que citation. [Perplexity, OpenAI, Google/Gemini]

• Compréhension sémantique des collections uniques utilisateur (Collections / Knowledge base) : Capacité à extraire les métadonnées d'un groupe de documents personnalisés téléchargés par l'utilisateur et à comprendre le contexte global. [xAI, Mistral]

• Interprétation de l'intention de sélection d'outil et des arguments (Tool choice / Function calling interpretation) : Capacité à interpréter automatiquement à partir de la demande de l'utilisateur « quel outil devrait être utilisé et avec quels paramètres ». [OpenAI, Anthropic/Claude, Google/Gemini, Meta/Llama, xAI, DeepSeek, Mistral]

• Extraction de preuves juridiques pour eDiscovery (Legal hold retrieval) : Capacité à rechercher, extraire et comprendre sémantiquement les historiques de conversations et fichiers liés à des litiges ou audits à partir des données organisationnelles. [Microsoft Copilot]

• Apprentissage et interprétation des tendances de prompts passés utilisateur (Personalization / Memory) : Capacité à mémoriser les instructions et préférences antérieures de l'utilisateur, et à interpréter avec plus de précision l'intention des invites actuelles. [Google/Gemini, OpenAI, OpenClaw]

• Interprétation du trafic des données de réseau de communication (Telecom Data Fabric / Subscriber Insights) : Capacité à analyser les données de trafic des opérateurs de télécommunication et les informations d'abonnés, et à comprendre et extraire les modèles de comportement. [Google/Gemini]

• Interprétation de l'intention de recherche de produits pour le commerce (Vertex AI Search for commerce) : Capacité à comprendre, à partir de requêtes de recherche vagues des utilisateurs sur les sites de commerce électronique, les caractéristiques des produits recherchés. [Google/Gemini]

• Extraction de données en temps réel sur les actualités et cours boursiers (Real-time data extraction) : Capacité à extraire et comprendre de manière structurée les titres d'actualité les plus récents et les chiffres des marchés financiers à partir des résultats de recherche. [Perplexity]

• Compréhension structurelle des formats de documents variés (Markup interpretation) : Capacité à interpréter le sens tout en préservant la structure du balisage comme les en-têtes et tableaux dans Markdown, HTML, DOCX, etc. [OpenAI, Anthropic/Claude, Google/Gemini, Mistral, Kimi]

Compréhension approfondie par les modèles de raisonnement et les approches analytiques

• Interprétation approfondie de problèmes complexes par les modèles de raisonnement (Reasoning models) : Capacité à comprendre le vrai sens d'un problème en utilisant un processus de réflexion logique étape par étape, plutôt que par simple reconnaissance de motifs. [OpenAI, DeepSeek, xAI, Google/Gemini, Kimi]

• Interprétation du contexte multi-étapes par la réflexion étendue (Extended thinking) : Capacité à lire en profondeur les antécédents et contraintes d'un problème en prenant du temps, et à interpréter le contexte logique. [Anthropic/Claude]

• Interprétation de la difficulté de tâche par la réflexion adaptative (Adaptive thinking) : Capacité à comprendre automatiquement la complexité de la tâche saisie, et à ajuster le niveau de raisonnement à assigner. [Anthropic/Claude]

• Interprétation de la demande d'effort de raisonnement (niveau de réflexion) (Reasoning effort) : Capacité à comprendre la profondeur de réflexion spécifiée par l'utilisateur, et à extraire les informations avec une granularité correspondante. [OpenAI, OpenClaw]

• Interprétation logique de problèmes mathématiques et scientifiques difficiles (Deep thought / Math reasoning) : Capacité à interpréter le développement logique rigoureux et le contexte des théorèmes à partir de texte contenant des formules mathématiques et des lois physiques. [DeepSeek, xAI, Google/Gemini]

• Extraction automatique de perspectives de données (Data Insights) : Capacité à comprendre et extraire automatiquement les corrélations et significations commerciales à partir de tableaux de bases de données et données de journaux. [Google/Gemini, Microsoft Copilot]

• Extraction contextuelle des résultats marketing (Campaign summarization) : Capacité à comprendre les causes de succès et d'échec à partir des données de résultats de campagne, et à les résumer. [Google/Gemini]

• Interprétation de la santé des agents et des indicateurs de performance (Agent analytics) : Capacité à comprendre la frustration des utilisateurs et le taux de résolution à partir des journaux de conversation des bots, et à extraire les points d'amélioration. [Microsoft Copilot]

• Auto-évaluation des invites et compréhension de l'intention d'optimisation (Prompt optimizer analysis) : Capacité du modèle à analyser ses propres résultats de réponse et à réinterpréter l'invite pour satisfaire l'intention originelle de l'utilisateur. [OpenAI]

• Interprétation de la bonne réponse dans les ensembles de tests automatisés (Evals) (Evaluations grading) : Capacité du LLM lui-même à lire les réponses du test et à interpréter le contexte de bonne ou mauvaise réponse selon les critères. [OpenAI, Anthropic/Claude, Google/Gemini]

• Interprétation des chats en direct de diffusion en temps réel (Twitch chat analysis) : Capacité à extraire et comprendre en temps réel le consensus des spectateurs et les questions à partir des commentaires du chat de diffusion. [OpenClaw]

• Compréhension des mentions et de la destination dans les applications de chat (Mention / Routing interpretation) : Capacité pour le bot à interpréter à qui est destiné le message dans Slack, Discord, etc., et s'il devrait répondre. [OpenClaw, Anthropic/Claude, Microsoft Copilot]

• Interprétation des objectifs de tâches automatiques en mode non-interactif (Non-interactive mode analysis) : Capacité à comprendre complètement l'objectif final à partir du prompt initial et à exécuter les tâches sans rétroaction humaine [Anthropic/Claude]

• Interprétation des limites de débit et des métadonnées de requête API (Rate limit / Meta info extraction) : Capacité à interpréter systématiquement les en-têtes de réponse API, tels que les jetons restants et les ID de requête [OpenAI, Perplexity]

• Partage et compréhension du contexte de transfert entre agents (Handoff context understanding) : Capacité à interpréter le contexte de conversation précédent lors du transfert d'une tâche d'un bot à un opérateur ou à un autre agent [OpenAI, Microsoft Copilot]

• Interprétation contextuelle des points d'insertion de publicités dans les vidéos (Video Stitcher API) : Capacité à comprendre le contexte du contenu vidéo et à extraire le moment opportun pour insérer dynamiquement des publicités côté serveur [Google/Gemini]

• Inférence et compréhension de l'âge à partir des signaux d'activité utilisateur (Age assurance signals) : Capacité à analyser et comprendre de manière intégrée les signaux tels que les informations de connexion et l'historique d'activité sur la plateforme pour estimer la tranche d'âge [C.AI]

Fonctionnalités liées à la « recherche »

Capacité à récupérer les dernières informations non apprises par l'IA ainsi que les données confidentielles internes à partir de bases de données externes ou du Web.

Recherche Web et recherche approfondie

• Recherche Web autonome (Web search tool) : Le modèle recherche de manière autonome les dernières informations et les données factuelles sur Internet et les intègre dans ses réponses [OpenAI, Anthropic/Claude, xAI/Grok, Kimi].

• Recherche approfondie (Deep research) : Pour les sujets complexes, le modèle explore de manière autonome et multi-étapes plusieurs sources d'information sur le Web pour mener une investigation approfondie [OpenAI, Google/Gemini].

• Ancrage Web (Web Grounding) : Utilise les résultats en temps réel des moteurs de recherche pour fonder les réponses et obtenir les dernières informations [Google/Gemini, Microsoft Copilot, Perplexity].

• Récupération des résultats bruts de recherche Web (Search API) : Récupère les résultats bruts de recherche Web (titre, URL, extrait) avec classement, sans passer par le raisonnement du LLM [Perplexity].

• Outil de récupération Web (Web fetch tool) : Accède directement à une URL spécifiée, charge le contenu et récupère les informations [Anthropic/Claude].

• Recherche Web Le Chat (Le Chat Web search) : Exécute une recherche Web dans l'écran de chat, récupère les dernières informations et les utilise pour la recherche sur Canvas [Mistral].

• Ancrage Web Microsoft 365 (Microsoft 365 Copilot Chat) : Utilise les résultats de recherche sur le Web pour mener des recherches à jour et effectuer des vérifications de faits sécurisées [Microsoft Copilot].

• Réponse IA avec citations (Sonar API) : Recherche en temps réel les connaissances sur le Web et génère/récupère des « réponses IA avec citations » [Perplexity].

• Vérification des faits et double vérification (Double-check) : Effectue une vérification factuelle des réponses générées en recherchant les sources d'information sur le Web [Google/Gemini].

• Affichage des sources connexes (View related sources) : Recherche et affiche les sources Web qui sous-tendent la réponse, permettant aux utilisateurs de vérifier directement [Google/Gemini].

• Contrôle de domaine et recherche filtrée (Search Filters / Domain Controls) : Récupère les résultats de recherche Web en se limitant à des domaines ou sites spécifiques [Perplexity].

• Recherche multi-requêtes parallèles (Multi-query support) : Exécute plusieurs requêtes de recherche en parallèle dans une seule demande pour obtenir des résultats de recherche Web composites [Perplexity].

• Extraction de données en temps réel (Real-time data extraction) : Extrait et récupère des données en temps réel à partir des résultats de recherche (actualités, cours boursiers, etc.) [Perplexity].

• Recherche via API Agent (Agent API) : Mène des recherches en utilisant plusieurs modèles tiers et des outils de recherche Web intégrés avec des présets [Perplexity].

• Récupération de l'index du crawler de recherche (Perplexity Crawlers) : Récupère les informations basées sur les données d'index Web collectées par les crawlers officiels [Perplexity].

RAG, recherche vectorielle et embedding

• Recherche de fichiers (File search) : Recherche et extrait les passages pertinents aux questions de l'utilisateur à partir de groupes de fichiers téléchargés tels que des PDF [OpenAI, Anthropic/Claude].

• Génération augmentée par récupération (Retrieval / RAG) : Récupère de manière sémantique les informations à partir d'un corpus de documents propriétaires et les utilise comme fondement des réponses [OpenAI, Mistral, Meta/Llama, Anthropic/Claude].

• Gestion de magasins de vecteurs (Vector Stores) : Stocke, gère et recherche des données vectorielles de documents pour permettre une recherche rapide et précise [OpenAI].

• API d'embedding de texte (Embeddings API) : Vectorise numériquement le sens du texte pour améliorer la précision de la recherche sémantique et du RAG personnalisé [OpenAI, Perplexity, Anthropic/Claude].

• Recherche avec préservation du contexte (Contextual retrieval) : Préserve le contexte global lors de la division des documents, améliorant considérablement la précision de recherche du RAG [Anthropic/Claude].

• Embedding contextualisé (Contextualized Embeddings) : Génère et récupère des données vectorielles tenant compte du contexte pour améliorer la précision de recherche du système RAG [Perplexity].

• Recherche dans les collections (Collections Search) : Effectue une recherche sémantique parmi les collections personnalisées créées par l'utilisateur (groupes de documents) [xAI/Grok].

• Récupération des métadonnées de collection (Collection Metadata) : Récupère les informations de métadonnées et de propriétés des collections RAG créées [xAI/Grok].

• Recherche avec intégration API Fichiers (Files API Retrieval) : Charge et recherche des fichiers texte et des documents téléchargés via API [OpenAI, Anthropic/Claude, xAI/Grok].

• Recherche intégrée depuis PDF (PDF support) : Recherche et récupère de manière intégrée non seulement le texte dans les PDF, mais aussi les informations visuelles telles que les graphiques et tableaux [Anthropic/Claude].

• Recherche directe en contexte ultra-long (Ultra-long Context Retrieval) : Utilise un contexte très long tel que 256K pour trouver directement les informations dans l'ensemble du document sans utiliser le RAG [Kimi].

• Recherche de base de connaissances d'agent personnalisé (Custom agent knowledge base) : Recherche et récupère les informations spécifiques aux opérations à partir de la base de connaissances propriétaire liée à l'agent personnalisé [Mistral].

• Recherche de documents d'entreprise (Vertex AI Search) : Recherche instantanément les informations en comprenant la signification à partir de grandes quantités de données non structurées dans l'entreprise [Google/Gemini].

• Fondation de recherche vectorielle (Vector Search) : Fournit une recherche sémantique évolutive selon la taille des données et les exigences [Google/Gemini].

• Intégration RAG Llama (Llama RAG Integration) : Via des Cookbooks, connecte le modèle à une base de données vectorielle pour rechercher les connaissances externes [Meta/Llama].

Recherche de données internes et intégration SaaS

• Ancrage de données professionnelles M365 (Microsoft 365 Data Grounding) : Recherche transversalement les données professionnelles (documents, e-mails, chats Teams) au sein de l'organisation et les utilise comme fondement des réponses [Microsoft Copilot].

• Recherche de données Google Workspace (Connected Apps) : Recherche et récupère les données professionnelles et fichiers personnels à partir de Gmail, Google Drive, Documents, etc. [Google/Gemini].

• Recherche de ressources serveur MCP (MCP and Connectors) : Utilise le Model Context Protocol pour récupérer les données des bases de données externes et des SaaS sur les serveurs distants via un protocole standard [OpenAI, Anthropic/Claude, Microsoft Copilot].

• Récupération de données Jira/Slack (MCP SaaS Retrieval) : Recherche et extrait directement les informations de tickets Jira ou l'historique des messages Slack via MCP [Anthropic/Claude, OpenClaw].

• Récupération de documents Google Drive (Google Drive Retrieval) : Recherche et charge les spécifications ou documents de conception stockés sur Google Drive via MCP [Anthropic/Claude].

• Récupération directe de données via API externe (Data retrieval) : En conjonction avec ChatGPT Actions, récupère et recherche directement les données nécessaires à partir de points de terminaison spécifiques (bases de données internes, etc.) [OpenAI].

• Recherche étendue des connecteurs (Connectors) : Connecter des systèmes SaaS externes ou des bases de données propriétaires pour étendre la portée de recherche et les capacités d'extraction de données de l'agent [Microsoft Copilot].

• Utilisation de sites publics comme source de connaissance (Knowledge sources - Public website) : Spécifier à l'agent des sites Web publics particuliers et lui faire effectuer des recherches à partir de ceux-ci [Microsoft Copilot].

• Recherche dans les connaissances SharePoint (Knowledge sources - SharePoint) : Connecter SharePoint de l'organisation comme source de connaissance et rechercher les documents internes dans un environnement sécurisé [Microsoft Copilot].

• Extraction de données non structurées (Document AI) : Rechercher et traiter des documents non structurés tels que des formulaires, et extraire et récupérer automatiquement les données nécessaires [Google/Gemini].

• Recherche intégrée du catalogue de données (Dataplex Universal Catalog) : Rechercher, gérer et récupérer toutes les données du cloud de manière transversale [Google/Gemini].

• Recherche eDiscovery et conservation légale (eDiscovery / Legal hold) : En préparation de litiges ou d'audits, rechercher et récupérer l'historique des conversations Copilot conservées et les journaux système [Microsoft Copilot].

• Récupération des connecteurs Power Platform (Power Platform Connector Retrieval) : Dans les flux Power Automate et autres, rechercher les données provenant des connecteurs associés et les transmettre à Copilot [Microsoft Copilot].

Recherche de code, de base de données et de développement

• Recherche de dépôts GitHub (GitHub Repository Search) : Importer et connecter des dépôts GitHub pour effectuer une recherche directe sur la base de code et l'historique [Google/Gemini, Microsoft Copilot].

• Recherche transversale de base de code privée (Custom Codebase Search) : Connecter GitHub/GitLab de l'entreprise et rechercher du code à partir d'énormes bases de code privées [Google/Gemini].

• Récupération du contexte d'examen de code (Code Review Context Retrieval) : Lors d'un examen de code sur GitHub, rechercher et récupérer le contexte des demandes de fusion (PR) et du code connexe [Google/Gemini, Anthropic/Claude].

• Recherche dans la base de code locale (Claude Code File Search) : Dans un environnement CLI, lire de manière autonome l'intégralité de la base de code locale et rechercher les fichiers et dépendances nécessaires [Anthropic/Claude].

• Récupération des traces d'erreur (Error Trace Retrieval) : À partir des journaux d'erreurs ou des symptômes dans le terminal, retrouver et rechercher la cause profonde des bugs dans la base de code [Anthropic/Claude].

• Récupération des métadonnées BigQuery (BigQuery Data Insights) : Rechercher les métadonnées des tables dans la base de données et récupérer des requêtes utiles et des informations pertinentes [Google/Gemini].

• Recherche dans les requêtes de base de données (Database Search) : Rechercher et récupérer les informations d'une base de données SQL en utilisant des instructions en langage naturel [Google/Gemini, Microsoft Copilot].

• Récupération de données de l'interpréteur de code (Code Interpreter Data Retrieval) : Charger des données de feuilles de calcul, exécuter du code et en rechercher les informations et perspectives nécessaires [Mistral, OpenAI, Microsoft Copilot].

• Recherche intelligente dans les spécifications API (Smart Search in API hub) : Capacité alimentée par Vertex AI permettant aux développeurs de rechercher et récupérer efficacement les spécifications API internes [Google/Gemini].

• Récupération des journaux et traces du cloud (Cloud Logging / Trace Retrieval) : Rechercher et récupérer les journaux et traces d'erreur du système pour visualiser les performances [Google/Gemini].

• Recherche autonome d'outils (Tool search) : Rechercher et identifier l'outil optimal parmi les nombreux outils disponibles pour exécuter la tâche souhaitée [OpenAI].

• Récupération de fichiers dans un bac à sable (Docker Sandbox File Retrieval) : Rechercher et récupérer en toute sécurité les résultats d'exécution et les fichiers stockés dans un environnement de conteneur sécurisé (bac à sable) [OpenClaw].

• Récupération Llama Stack (Llama Stack Retrieval) : Rechercher et récupérer les données propriétaires des modèles auto-hébergés via la couche API Llama Stack [Meta/Llama].

Recherche de plateforme, de réseau social et de type spécialisé

• Recherche de publications X (X Search) : Rechercher les publications X (anciennement Twitter) en temps réel en spécifiant les mots-clés ou les utilisateurs, et récupérer les tendances et les faits [xAI/Grok].

• Recherche de comptes X spécifiques (allowed_x_handles) : Restreindre la recherche à des comptes X particuliers (10 au maximum) et récupérer les publications [xAI/Grok].

• Recherche avec exclusion de comptes X (excluded_x_handles) : Exclure des comptes X spécifiques des résultats de recherche et récupérer les informations [xAI/Grok].

• Recherche X par plage de dates (Date Range) : Spécifier une plage de dates (ISO8601) et rechercher les publications X d'une période particulière [xAI/Grok].

• Récupération de fils de discussion X (Thread fetch) : Récupérer le flux complet de la conversation d'un fil ou d'une publication spécifique sur X et l'utiliser comme contexte [xAI/Grok].

• Recherche de contenu image/vidéo X (Media Understanding) : Dans les recherches X, rechercher et interpréter non seulement le texte, mais aussi le contenu des images et vidéos [xAI/Grok].

• Recherche d'intelligence sur les menaces de sécurité (Security Copilot Threat Retrieval) : Rechercher et récupérer des indicateurs d'attaques informatiques et des informations sur les menaces parmi les données de sécurité et les journaux massifs [Microsoft Copilot, Google/Gemini].

• Recherche de données financières (Copilot for Finance) : Rechercher et récupérer les informations financières et les données connexes nécessaires à l'entreprise à partir des systèmes ERP et des données financières [Microsoft Copilot].

• Recherche de données commerciales CRM (Copilot for Sales) : Rechercher et récupérer les informations client et l'historique des transactions à partir des systèmes CRM tels que Dynamics 365 [Microsoft Copilot].

• Recherche de base de connaissances de support (Copilot for Service) : Lors du support client, rechercher et récupérer les bases de connaissances pertinentes et l'historique des cas passés [Microsoft Copilot].

• Recherche intégrée de la plateforme d'analyse de données (Copilot in Microsoft Fabric) : Rechercher et récupérer les données nécessaires à partir de plusieurs sources de données sans rapport, et les intégrer dans la plateforme d'analyse [Microsoft Copilot].

• Recherche de ressources cloud Azure (Copilot in Azure) : Rechercher et récupérer l'état des ressources cloud sur Azure, l'historique des opérations et les guides de dépannage [Microsoft Copilot].

• Recherche de produits pour le commerce électronique (Vertex AI Search for commerce) : Pour le secteur du commerce de détail, récupérer des recherches de produits avancées et des informations de recommandation à partir des données de l'entreprise [Google/Gemini].

• Récupération de données d'abonnés de télécommunications (Telecom Subscriber Insights) : Pour le secteur des télécommunications, rechercher et ingérer les données d'abonnés pour les récupérer [Google/Gemini].

• Récupération de données géospatiales (Geospatial Data Retrieval) : Rechercher et récupérer les données d'observation terrestre et les images satellites à partir de Google Earth Engine et autres sources [Google/Gemini].

Recherche d'historique de conversation, de contexte et de mémoire

• Recherche avec mise en cache des invites (Prompt caching) : Récupérer rapidement les fichiers d'entrée passés et le contexte à partir du contexte long mis en cache sans retraitement [OpenAI, Anthropic/Claude, xAI/Grok].

• Récupération de l'historique des fils de discussion (Conversation History / Threads) : Fonctionnalité API permettant de rechercher et récupérer le contexte et les informations des messages passés à partir de l'historique des fils de discussion antérieurs [OpenAI].

• Recherche d'historique de session locale (sessions_history) : L'agent recherche et récupère de manière autonome les interactions passées ou l'historique d'autres sessions pour obtenir le contexte nécessaire [OpenClaw].

• Récupération de la liste des sessions locales (sessions_list) : L'agent recherche et récupère une liste de toutes les sessions actives qui existent dans son propre espace de travail [OpenClaw].

• Recherche d'instructions personnalisées et de mémorisation (Personalization retrieval) : Rechercher et extraire les préférences et le contexte de l'utilisateur à partir de l'historique des chats et des instructions personnalisées, et les refléter dans la réponse [Google/Gemini].

• Récupération visuelle des informations de l'écran de bureau (Computer Use Desktop Retrieval) : Observer visuellement l'environnement de bureau et rechercher et récupérer de manière autonome les informations des applications et navigateurs sur l'écran [Anthropic/Claude].

• Récupération de données de modération (Moderation Retrieval) : Utiliser un modèle de sécurité pour récupérer les résultats de jugement et les données de signalisation indiquant si le texte viole les politiques [OpenAI, Meta/Llama].

Recherche de fichiers et de systèmes locaux

• Lecture directe de fichiers locaux (read tool) : L'agent lit directement les fichiers et documents stockés sur l'appareil local pour obtenir des informations [OpenClaw, Anthropic/Claude].

• Récupération de l'état des processus et systèmes (Process / Bash Retrieval) : Exécute des commandes shell pour rechercher et obtenir l'état du système local et les informations de processus [OpenClaw, Anthropic/Claude].

• Récupération de l'état des nœuds mobiles (Mobile Node Retrieval) : Recherche et récupère les informations de capteurs d'appareils et l'état du système à partir de nœuds iOS/Android appairés [OpenClaw].

• Récupération de liste de fichiers (List files) : Recherche et récupère la liste de tous les fichiers téléchargés sur l'API ou l'espace de travail [OpenAI, xAI/Grok, Anthropic/Claude].

• Récupération du contenu de fichiers (Retrieve file content) : Télécharge et récupère le contenu exact d'un fichier spécifique stocké [OpenAI, xAI/Grok].

• Récupération du statut de téléchargement (Files Upload Status) : Recherche et récupère les informations de statut des fichiers en cours de téléchargement volumineux [OpenAI, xAI/Grok].

• Récupération de fichier de magasin vectoriel (Retrieve vector store file) : Recherche et récupère les fichiers spécifiques ou le statut stockés dans le magasin vectoriel [OpenAI].

• Récupération de lot de fichiers (Retrieve a file batch) : Recherche et récupère le statut du traitement par lot des groupes de fichiers ajoutés au magasin vectoriel [OpenAI].

Récupération de métadonnées, journaux de gestion et données d'évaluation

• Recherche de journal d'exécution (Retrieve runs) : Recherche et récupère le journal d'exécution (Runs) des fils exécutés via l'API Assistant, etc. [OpenAI].

• Récupération des résultats de traitement par lot (Retrieve a batch) : Recherche et récupère les résultats et informations de statut du traitement par lot asynchrone [OpenAI, xAI/Grok].

• Récupération des résultats de traitement par lot de messages (Message Batches Retrieval) : Recherche et récupère le statut et les résultats des messages traités par lot [Anthropic/Claude].

• Récupération du journal d'audit de l'espace de travail (Audit Logs Retrieval) : L'administrateur recherche et récupère le journal d'audit incluant l'historique d'utilisation des clés API et les actions des utilisateurs [OpenAI, xAI/Grok].

• Récupération de données pour administrateurs (Admin API Data Retrieval) : L'administrateur recherche et récupère les paramètres de permissions de l'espace de travail et les données d'utilisation des clés API [Anthropic/Claude, OpenAI].

• Récupération de données d'analyse de performance d'agent (Agent Analytics Retrieval) : Recherche et récupère les informations pour analyser la santé de l'agent, les journaux de conversation et les données de performance [Microsoft Copilot].

• Récupération des informations de facturation et d'utilisation (Billing & Usage Retrieval) : Recherche et récupère le volume d'utilisation de l'API, les coûts et les informations de facturation par espace de travail [Mistral, xAI/Grok, OpenAI].

• Récupération de quota d'utilisation API et limite de débit (Rate Limits Retrieval) : Récupère le statut du quota d'utilisation API actuel de l'utilisateur et les limitations de débit [Perplexity, OpenAI].

• Récupération du statut système (System Status Retrieval) : Récupère l'état opérationnel général de l'API via l'API [Perplexity, Anthropic/Claude].

• Récupération d'événements Webhook (Webhook event retrieval) : Récupère et analyse les informations d'événements ou les charges utiles envoyées via Webhook depuis des systèmes externes [OpenAI, OpenClaw].

• Récupération de métadonnées de sources de citations d'images générées (Citations Retrieval) : Récupère les métadonnées des sources de citations (Citations) des images servant de fondement à la réponse en tant que résultat de recherche Web [Perplexity, xAI/Grok].

• Récupération de rapport d'évaluation de modèle (Vertex AI Model Evaluation Retrieval) : Recherche et récupère les résultats d'analyse des mesures d'évaluation objectives du modèle d'IA générative (BLEU, ROUGE, etc.) [Google/Gemini].

• Recherche de données d'évaluation (Retrieve an eval) : Recherche et récupère les ensembles de tests antérieurs ou les données d'évaluation (Evals) d'une évaluation objective du modèle [OpenAI].

• Récupération de quotas cloud (Cloud Quotas Retrieval) : Recherche et récupère les informations de quota (allocation) de tous les services sur le cloud [Google/Gemini].

• Récupération de liste de modèles (List models) : Recherche et récupère la liste des modèles d'IA disponibles et leurs informations détaillées via l'API [OpenAI, xAI/Grok, DeepSeek].

Fonctionnalités liées au « raisonnement »

Fonctionnalités qui décomposent les tâches complexes en petites étapes et effectuent une réflexion logique et une planification, par exemple « puisque A, alors B ».

Modèles de raisonnement et processus de réflexion

• Modèles spécialisés en raisonnement (Reasoning models) : Résout les tâches complexes en utilisant un processus de réflexion logique étape par étape (Chain of Thought) plutôt qu'une réponse intuitive [OpenAI, DeepSeek, xAI/Grok, Kimi]

• Contrôle de l'effort de raisonnement (Reasoning effort) : Spécifie la profondeur de la réflexion (« low », « medium », « high », etc.) lors d'une requête API et contrôle les ressources informatiques allouées au raisonnement [OpenAI, OpenClaw]

• Réflexion et raisonnement étendus (Extended thinking) : Exécute un raisonnement logique profond sur des problèmes complexes en suivant un processus de réflexion étape par étape sur une longue durée [Anthropic/Claude]

• Réflexion adaptative (Adaptive thinking) : Le modèle interprète de manière autonome la complexité et la difficulté de la tâche, puis ajuste dynamiquement le niveau de raisonnement (réflexion) [Anthropic/Claude]

• Gestion de l'effort de raisonnement et du budget de tâche (Task budgets / Effort) : Définit l'effort et le budget informatique alloués au raisonnement, et contrôle la profondeur et le coût du processus d'analyse [Anthropic/Claude]

• Mode de réflexion (Thinking Mode / deepseek-reasoner) : Déploie un processus de réflexion explicite face à des invites complexes et exécute une analyse logique plus profonde [DeepSeek]

• Modèles de raisonnement rapide (Fast-reasoning models) : Optimise l'équilibre entre la précision des appels d'outils et la vitesse de raisonnement, et exécute l'analyse et le développement logique à faible latence [xAI/Grok]

• Génération explicite de trace de raisonnement (Reasoning Trace generation) : Génère et affiche sous forme de texte la trace de la réflexion « comment le modèle a développé logiquement sa réflexion » avant de donner la réponse finale [OpenAI, DeepSeek]

• Modèles de raisonnement multi-étapes (Thinking Models) : Raisonne en plusieurs étapes logiques pour résoudre les défis commerciaux complexes ou les tâches d'analyse de données [Kimi]

• Contrôle de commande dynamique du niveau de réflexion (/think command) : Utilise des commandes de chat, etc. pour ajuster dynamiquement la profondeur du raisonnement de l'agent à partir de l'environnement local [OpenClaw]

Raisonnement d'analyse de données et de calcul

• Interpréteur de code (Code interpreter) : L'IA génère et exécute de manière autonome du code Python, etc., et effectue logiquement des calculs mathématiques, des analyses d'ensemble de données et la création de graphiques [OpenAI, Microsoft Copilot, Mistral]

• Raisonnement d'exécution de code local (Code execution tool) : L'IA exécute du code dans un environnement local ou bac à sable et raisonne sur les agrégations numériques et l'analyse statistique [Anthropic/Claude, xAI/Grok]

• Raisonnement d'insight automatique de base de données (BigQuery Data Insights) : Interprète les métadonnées de la base de données et raisonne et génère automatiquement des insights utiles pour l'analyse de données ou des requêtes SQL [Google/Gemini]

• Analyse d'intention et de performance de requête SQL (Database Development Assistance) : Raisonne sur la logique SQL complexe pour la verbaliser et analyse les propositions d'optimisation pour améliorer les performances [Google/Gemini]

• Analyse et raisonnement de données de feuille de calcul (Le Chat Code Interpreter) : Charge les données de tableau, exécute du code et effectue l'analyse des tendances de données, la génération de graphiques et le raisonnement d'insights [Mistral]

• Raisonnement d'insights intégrés de sources de données multiples (Copilot in Microsoft Fabric) : Trouve les connexions entre plusieurs sources de données non liées et génère automatiquement du raisonnement et des insights commerciaux bénéfiques [Microsoft Copilot]

• Raisonnement de visualisation de données optimale (Power BI Copilot) : Raisonne sur la composition optimale du tableau de bord et l'expression graphique que les utilisateurs peuvent mieux comprendre en fonction des résultats d'analyse de données [Microsoft Copilot]

• Raisonnement d'insights à partir de données clients (Dynamics 365 Copilot) : Analyse les données clients et l'historique des transactions sur la plateforme CRM, et raisonne sur les actions de vente optimales et les besoins potentiels des clients [Microsoft Copilot]

• Raisonnement dans un carnet de notes pour la science des données (Colab Enterprise) : Soutient le raisonnement et l'exécution du code Python de manière transparente dans les charges de travail d'analyse de données ou d'apprentissage de modèles ML [Google/Gemini]

• Inférence par lots sur de grands ensembles de données (Batch processing reasoning): Traiter par lots de manière asynchrone de grandes quantités de tâches d'analyse et d'inférence, réduire les coûts et extraire des insights [OpenAI, Anthropic/Claude, xAI/Grok]

Inférence en codage, développement et débogage

• Inférence des bogues potentiels dans l'ensemble de la base de code (Codebase understanding): Inférer les bogues potentiels et les vulnérabilités non pas à partir d'un seul fichier, mais à partir du contexte du projet entier [Google/Gemini, Anthropic/Claude]

• Inférence de la logique manquante (FIM Completion): Comprendre le contexte du code avant et après (Fill-in-the-Middle) et inférer et générer les blocs de code logiques manquants au milieu [DeepSeek, OpenAI]

• Inférence de la logique suivante à partir du préfixe (Chat Prefix Completion): Sur la base du préfixe du code fourni, interpréter le contexte jusqu'à présent et inférer le développement logique qui suit [DeepSeek]

• Inférence des dépendances entre projets (Cross-file reasoning): Lire la base de code dans un environnement CLI et inférer les dépendances logiques entre plusieurs fichiers et la structure du système [Anthropic/Claude, Kimi]

• Inférence et conception d'architecture (Architecture reasoning): Inférer l'architecture système optimale à partir de la définition des exigences de l'utilisateur et concevoir la base des codes programmatiques complexes [OpenAI, Google/Gemini]

• Inférence de la cause racine à partir des traces d'erreur (Error trace reasoning): À partir des journaux d'erreur du terminal ou des traces de pile, suivre logiquement et inférer la cause racine du bogue dans le code [Anthropic/Claude, Google/Gemini, OpenAI]

• Inférence de l'intention de la différence de commit et de PR (PR diff reasoning): Analyser la différence du code modifié et inférer l'intention logique de la raison pour laquelle la correction a été effectuée, puis la formuler en message [Anthropic/Claude, Google/Gemini]

• Analyse des facteurs d'arrêt d'application (App crash analysis): Résumer et analyser les journaux d'arrêt de Firebase et autres services, puis inférer logiquement la cause racine du bogue et les étapes de dépannage [Google/Gemini]

• Inférence de structure à partir de la vue d'ensemble du projet (Scaffolding reasoning): Simplement communiquer un aperçu en langage naturel depuis le terminal, puis inférer logiquement la structure de répertoire et les fichiers initiaux nécessaires pour le projet [Mistral]

• Inférence du prochain mouvement de programmation (Code completion reasoning): Lorsque le développeur écrit du code, lire le contexte du projet et inférer automatiquement la logique de code suivante nécessaire [Microsoft Copilot, Google/Gemini]

Inférence en recherche et résolution de problèmes complexes

• Inférence intégrative d'information en recherche profonde (Deep research reasoning): Répéter plusieurs fois la recherche Web et inférer et analyser logiquement des insights et conclusions profonds en intégrant plusieurs informations [OpenAI, Google/Gemini]

• Inférence factuelle basée sur l'intégration des résultats de recherche (Web-grounded reasoning): Collecter les connaissances les plus récentes sur le Web, inférer la pertinence et les contradictions entre plusieurs sources d'information et en déduire une réponse précise [Perplexity, OpenAI]

• Inférence analytique de la fiabilité et de la pertinence des sources d'information (Search API filtering): Sans générer de texte par LLM, noter et inférer la pertinence sémantique et le degré de fiabilité des résultats bruts de la recherche [Perplexity]

• Inférence logique profonde de problèmes difficiles scientifiques et mathématiques (Scientific/Math reasoning): À partir de calculs mathématiques avancés (comme DeepSeek-Math) ou de texte contenant des lois physiques, inférer le déroulement logique rigoureux ou le processus de preuve de théorèmes [DeepSeek, xAI/Grok, Google/Gemini]

• Inférence analytique profonde de documents de recherche et de données académiques (Analyze research papers): Lire et interpréter des documents de recherche et des données académiques aux formats complexes, puis extraire et analyser logiquement des insights scientifiques [Meta/Llama, Anthropic/Claude]

• Inférence analytique de synthèse sur très long contexte (Long-context analysis): Analyser l'ensemble du contexte de millions de tokens et effectuer une inférence du point de vue macroscopique et un résumé synthétique [Meta/Llama, Google/Gemini, Kimi]

• Inférence de planification de flux de travail d'agent (Agent API workflow planning): Inférer et planifier les étapes optimales d'exécution d'un flux de travail de recherche complexe combinant des modèles externes et des outils de recherche Web [Perplexity, OpenAI, Anthropic/Claude]

• Inférence d'analyse synthétique de plusieurs documents et de construction de rapport (Canvas analysis): Analyser transversalement les résultats de recherche et les documents multiples téléchargés, puis inférer la structure logique de rapports ou de propositions [Mistral, OpenAI]

• Inférence de psychologie des personnages et analyse des relations (Character mind map reasoning): À partir du contexte de romans ou de textes longs, inférer le processus de pensée et les relations humaines des personnages, puis les organiser en carte mentale [Meta/Llama]

• Inférence fusionnant l'analyse prédictive et l'IA générative (Predictive AI integration): Combiner les résultats de prédiction numériques de l'apprentissage automatique traditionnel et la capacité d'inférence logique de l'IA générative pour exécuter une inférence commerciale avancée [Google/Gemini]

Inférence visuelle et multimodale

• Inférence logique de la relation entre objets dans une image (Visual reasoning): Inférer et interpréter visuellement la relation entre les objets photographiés dans une image et le contexte de la situation [OpenAI, Anthropic/Claude, Google/Gemini, xAI/Grok, Kimi]

• Inférence d'insights à partir de graphiques et de diagrammes (Chart/Graph analysis): À partir de données graphiques imagées, inférer visuellement les insights numériques, les tendances logiques et les relations de corrélation [Anthropic/Claude, Meta/Llama, OpenAI]

• Inférence d'expert mixte multimodale (Mixture-of-Experts Vision-Language): Pour des entrées mélangées d'images et de texte, inférer et sélectionner l'expert optimal au sein du modèle pour exécuter une compréhension avancée [DeepSeek]

• Inférence de causalité visuelle et de structure logique (Visual Causal Flow): À partir de diagrammes complexes, d'organigrammes ou de résultats de reconnaissance optique de caractères (OCR), inférer le flux d'information et la relation logique de causalité [DeepSeek]

• Inférence physique de structure d'espace 3D et d'éclairage (ReLi3D / 3D reasoning): À partir d'une seule image 2D, inférer et reconstruire physiquement la forme 3D de l'objet, les conditions d'éclairage de l'environnement et les caractéristiques de réflexion des matériaux [Stability AI]

• Inférence visuelle du mouvement et de l'espace à partir d'image (SViM3D / Video generation reasoning): Prendre une image fixe comme entrée et inférer visuellement le mouvement naturel qui devrait exister et la structure 3D des matériaux, puis générer une vidéo [Stability AI]

• Inférence multimodale dans les publications sociales (Social media multimodal reasoning): Dans la recherche sur X, inférer logiquement non seulement le texte de la publication mais aussi le contexte visuel des images et vidéos incluses [xAI/Grok]

• Inférence visuelle de la structure UI de l'écran de bureau (Computer use vision): Comprendre visuellement l'écran d'un PC et inférer les étapes pour identifier et manipuler les éléments UI nécessaires pour atteindre un objectif [Anthropic/Claude, OpenAI]

• Inférence de structure de code à partir de maquette UI (UI to HTML reasoning): Interpréter visuellement les images de maquettes dessinées à la main ou d'UI et inférer la structure logique du code frontend correspondant [Google/Gemini, OpenAI]

• Inférence de contexte vidéo et de causalité temporelle (Video analysis reasoning): Analyser les transitions de cadre et l'audio de vidéo téléchargées et inférer les relations causales temporelles et l'intention des actions [Google/Gemini, xAI/Grok]

• Inférence logique de région de masque pour édition d'image (Masking understanding): Dans l'édition d'image, confronter la région de l'image de masque spécifiée à l'intention du prompt de l'utilisateur et inférer le contenu d'édition optimal [OpenAI]

• Inférence biométrique et d'âge à partir d'image de selfie (Age assurance vision): Analyser les informations biométriques du visage à partir d'une image selfie et inférer visuellement l'âge de l'utilisateur (par exemple, 18 ans ou plus) [C.AI, OpenAI]

• Inférence synthétique d'information multimodale (Integrated multimodal reasoning): Combiner de manière fluide et effectuer une inférence logique synthétique des entrées multimodales d'un texte, d'images, de vidéos, de sons et d'autres modalités différentes [Google/Gemini, Kimi, OpenAI]

Inférence système, sécurité et exploitation

• Inférence de menace de sécurité à vitesse machine (Security threat reasoning): Analyser rapidement d'énormes quantités de journaux de sécurité et inférer logiquement les signes de menace tels que les cyberattaques et les modèles d'attaque [Microsoft Copilot]

• Inférence diagnostique de l'état d'exploitation du cloud (Cloud infrastructure diagnostics): Analyser les journaux et les métriques de l'infrastructure cloud et inférer le diagnostic de l'état d'exploitation du système et les étapes pour résoudre les goulots d'étranglement [Microsoft Copilot, Google/Gemini]

• Inférence de nocivité en modération de contenu (Content moderation reasoning): Analyser le contenu du texte et de l'image et inférer logiquement et noter la présence ou l'absence de violation de politique ou de nocivité potentielle [OpenAI, Meta/Llama]

• Surveillance de la dérive des données et de la dégradation du modèle (MLOps monitoring) : Analyser les biais (skew) ou la dérive des données d'entrée vers les modèles d'apprentissage automatique, et évaluer objectivement l'état de dégradation du modèle [Google/Gemini]

• Raisonnement contextuel métier cross-organisationnel (Enterprise context reasoning) : Parcourir les données transversales comme SharePoint, e-mails et chats, organiser logiquement les informations et déduire la situation métier actuelle ou les réponses [Microsoft Copilot]

• Raisonnement d'interprétation de code de politiques API (API policy reasoning) : Interpréter les spécifications d'API et les codes de politiques de sécurité dans l'environnement d'entreprise, et déduire l'intention de la configuration [Google/Gemini]

• Raisonnement d'architecture basé sur le contexte de l'éditeur de source (Editor context reasoning) : À partir du code écrit dans l'éditeur de source pour l'infrastructure cloud, déduire les configurations de déploiement et les ressources optimales [Google/Gemini]

• Raisonnement d'âge global à partir des signaux d'activité utilisateur (Age assurance signals) : Analyser de manière globale les signaux tels que les informations de connexion et l'historique d'activité sur la plateforme, et déduire la tranche d'âge de l'utilisateur [C.AI]

• Raisonnement de comportement sécurisé conforme aux garde-fous (Guardrails reasoning) : Lors de l'appel d'outils par un agent, confronter autonomiquement les politiques de sécurité et d'éthique prédéfinies pour déduire un comportement sûr [OpenAI, Microsoft Copilot, Anthropic/Claude]

• Visualisation du raisonnement de débogage (Developer mode trace / Trace logs) : Afficher les demandes de réseau internes de l'agent et les journaux de pensée pour permettre aux développeurs de déduire et analyser les goulots d'étranglement du système [OpenAI, OpenClaw]

Raisonnement de sélection d'outils et de comportement d'agent

• Raisonnement autonome du choix d'outils et des paramètres (Tool choice reasoning) : Analyser les instructions de l'utilisateur et déduire autonomiquement « quel outil parmi les outils externes fournis utiliser et avec quels arguments (JSON) l'appeler » [OpenAI, Anthropic/Claude, Google/Gemini, xAI/Grok, Meta/Llama, Mistral, DeepSeek]

• Raisonnement de conception logique du flux d'agent (Agent flow reasoning) : À partir d'instructions en langage naturel, concevoir et déduire logiquement les procédures de traitement complexes et les workflows de conditions que l'agent doit exécuter [Microsoft Copilot]

• Raisonnement de délégation de tâches aux sous-agents (Orchestration reasoning) : L'agent principal divise une tâche complexe en étapes réduites et planifie/déduit vers quel sous-agent spécialisé la déléguer [OpenAI, Anthropic/Claude]

• Raisonnement d'acheminement dynamique d'agent (Multi-agent routing) : Déduire quel contexte d'espace de travail ou d'agent appliquer selon le canal de réception ou l'utilisateur, et répartir le trafic [OpenClaw]

• Raisonnement autonome de persona et de plan d'action (Persona/Workspace reasoning) : Charger les fichiers de configuration dans l'espace de travail (ex. AGENTS.md), analyser les exigences du projet et les préférences de l'utilisateur pour déduire un plan d'action [OpenClaw, Anthropic/Claude]

• Raisonnement de schéma pour la sortie de données structurées (Structured output reasoning) : Mapper les résultats déduits à partir de données non structurées dans la structure d'un schéma JSON rigoureux pour assurer la sortie et la transmission à la base analytique [OpenAI, Anthropic/Claude, Google/Gemini, Meta/Llama, DeepSeek]

• Raisonnement d'intention à partir du contexte et de l'historique de conversation (Context management reasoning) : Considérer logiquement les échanges passés et le contexte du contenu généré précédemment pour déduire les réponses ou actions ultérieures [OpenAI, Anthropic/Claude, Google/Gemini]

• Raisonnement d'interprétation et de réponse finale concernant les résultats de récupération de données (Action retrieval reasoning) : Interpréter les informations brutes de base de données obtenues à partir d'API externes et déduire la réponse finale à la question de l'utilisateur [OpenAI, Microsoft Copilot]

• Raisonnement de déclencheur de sujet à partir de l'énoncé de l'utilisateur (Topic trigger reasoning) : Déduire la véritable intention (sujet) à partir d'une énonciation floue de l'utilisateur et activer le workflow de l'agent approprié [Microsoft Copilot, Google/Gemini]

• Raisonnement rétrospectif de l'historique de session (Session history reasoning) : L'agent déduit autonomiquement en remontant l'historique des échanges passés ou d'autres historiques de session pour extraire les informations nécessaires à la tâche actuelle [OpenClaw]

• Raisonnement d'apprentissage des instructions et préférences spécifiques à l'utilisateur (Personalization reasoning) : À partir de l'historique des chats ou des instructions personnalisées, déduire le contexte des préférences de l'utilisateur et du métier pour générer une réponse personnalisée [Google/Gemini, OpenClaw]

• Raisonnement d'émotion et de contexte à partir de la parole en temps réel (Voice/Emotion reasoning) : À partir de l'entrée vocale à ultra-faible latence, déduire en temps réel non seulement le sens des paroles, mais aussi l'émotion, le ton de l'utilisateur et le contexte de la conversation pour adapter la réponse [OpenAI, xAI/Grok, Microsoft Copilot]

Optimisation, évaluation et auto-amélioration du raisonnement

• Affinage des modèles ouverts (Fine-tuning recipes) : Affiner les modèles Llama pour des cas d'usage particuliers [Meta/Llama]

• Mise en cache du prompt (Prompt caching) : Mettre en cache les longs prompts pour réduire la latence d'API et les coûts [OpenAI, Anthropic, grok]

• Raisonnement d'auto-optimisation du prompt (Prompt optimizer reasoning) : Le modèle analyse objectivement son propre processus de raisonnement et déduit autonomiquement la structure de prompt qui offre les meilleures performances pour la résolution de la tâche, puis la reconstruit [OpenAI, Anthropic/Claude]

• Raisonnement automatique des variables de prompt (Prompt templating) : Identifier et extraire automatiquement les variables à partir du texte saisi par l'utilisateur, puis déduire et convertir vers une structure de modèle de prompt facile à intégrer au système [Anthropic/Claude]

• Évaluation objective du raisonnement du modèle (Model evaluation / Evals) : Utiliser un ensemble de tests défini pour analyser et noter de manière axée sur les données la précision et la logique du raisonnement du modèle d'IA lui-même [OpenAI, Google/Gemini, Anthropic/Claude]

• Raisonnement analytique des performances d'agent (Agent analytics reasoning) : Analyser les journaux de conversation et l'intégrité des agents autonomes, et déduire des suggestions d'amélioration pour réduire le taux d'erreur et augmenter la satisfaction utilisateur [Microsoft Copilot]

• Analyse comparative du changement de raisonnement par ajustement de paramètres (Playground analysis) : Sur le terrain de jeu, ajuster les prompts ou les paramètres de raisonnement et comparer/analyser les changements logiques de la sortie du modèle [Mistral, OpenAI]

• Apprentissage et adaptation des motifs de raisonnement (Reasoning fine-tuning / SFT) : À travers l'apprentissage supervisé (fine-tuning), faire apprendre au modèle des motifs de raisonnement propres spécialisés dans des données métier particulières [OpenAI, Google/Gemini]

• Raisonnement de distance sémantique du texte (Embeddings reasoning) : Vectoriser le sens du texte en plusieurs dimensions, déduire et analyser mathématiquement la similarité sémantique et la distance entre les informations, et les appliquer à la RAG [OpenAI, Anthropic/Claude, Perplexity, Google/Gemini]

• Raisonnement de continuité sémantique lors de la recherche en long contexte (Contextual retrieval reasoning) : Lors de la division et recherche de documents en chunks, conserver la globalité du contexte du document et les connexions d'information pour déduire et extraire [Anthropic/Claude, Perplexity]

• Omission du re-raisonnement par mise en cache du contexte (Context Caching) : Mettre en cache le grand contexte d'entrée côté système et éviter les calculs logiques inutiles pour déployer efficacement le raisonnement ultérieur [DeepSeek]

• Raisonnement de raisonnement rapide par sortie prédite (Predicted Outputs reasoning) : Utiliser les contenus de cache ou de sortie connus pour faire prédire au modèle et optimiser la latence de raisonnement pour aboutir au résultat [OpenAI]

• Raisonnement de critères de bonne réponse pour les résultats de test (Evaluations grading) : Le LLM lui-même lit les réponses des tests automatiques et déduit logiquement le contexte de bonnes/mauvaises réponses selon le critère défini par l'homme [OpenAI, Anthropic/Claude]

Optimisation du raisonnement d'infrastructure et de matériel

• Raisonnement de quantification et d'optimisation mémoire du raisonnement (Quantization reasoning) : Exécuter et décharger un raisonnement sophistiqué en utilisant des modèles optimisés par quantification, même sur des appareils avec contraintes de mémoire [Stability AI/Diffusers]

• Accélération de la vitesse de raisonnement par compilation PyTorch (torch.compile reasoning) : Compiler et optimiser le graphe de raisonnement du modèle pour améliorer dramatiquement la vitesse d'exécution au niveau logiciel [Stability AI/Diffusers]

• Raisonnement optimisé NVIDIA TensorRT (TensorRT optimized reasoning) : Optimiser à l'extrême la vitesse de raisonnement de la génération d'images et des modèles de langage pour l'architecture GPU NVIDIA et exécuter le calcul [Stability AI/Diffusers]

• Optimisation GPU AMD (AMD Optimized reasoning) : Optimisation des modèles appliquée au traitement d'inférence dans les environnements AMD pour maximiser la performance du matériel [Stability AI/Diffusers]

• Résolution du goulot d'étranglement de la bande passante de stockage pour l'inférence d'agent (DualPath inference) : Technique d'inférence avancée qui résout le goulot d'étranglement de la bande passante de stockage lors de l'inférence dans les LLM agentiques [DeepSeek]

• Optimisation des noyaux FP8 et d'attention latente (DeepGEMM / FlashMLA) : Accélération du traitement d'inférence des modèles en utilisant des noyaux GEMM de précision FP8 et une attention multi-têtes latente efficace [DeepSeek]

Inférence de domaine spécialisé, de recherche et d'information

• Inférence de tendances de données sociales en temps réel (Social trend reasoning) : Extraction en temps réel des tendances actuelles et des perspectives sociales à partir des derniers messages sur les réseaux sociaux tels que X (Twitter) [xAI/Grok]

• Inférence des facteurs de performance marketing (Campaign summarization reasoning) : Analyse des données de performance des campagnes de messages pour déduire les facteurs de succès et d'échec, ainsi que les actions concrètes d'amélioration [Google/Gemini]

• Inférence sémantique à partir de collections personnalisées (RAG data reasoning) : Extraction de métadonnées et déduction d'insights sémantiques à partir de corpus de documents personnalisés téléchargés par l'utilisateur (collections) [xAI/Grok, Mistral]

• Inférence spécialisée de données spécifiques à un domaine (Domain controls reasoning) : Déduction d'informations dans des contextes hautement spécialisés en utilisant les résultats de recherche limités à des domaines spécifiques tels que la santé ou la finance [Perplexity]

• Inférence de fiabilité des sources (Citation reliability reasoning) : Lors de la génération de réponses avec des résultats de recherche, déduction de la source d'information la plus fiable et appropriée pour l'associer comme citation [Perplexity, xAI/Grok, OpenAI]

• Inférence du flux de conversation sur l'ensemble du fil (Thread fetch reasoning) : Retour sur un fil ou un message spécifique sur les réseaux sociaux pour déduire de manière globale le contexte du flux conversationnel [xAI/Grok]

• Inférence sémantique de documents d'entreprise (Enterprise Search reasoning) : Déduction rapide et résumé d'une vaste quantité de données non structurées internes en déduisant le contexte et la pertinence sémantique [Google/Gemini, Microsoft Copilot]

• Inférence du trafic réseau de communication (Telecom Data Fabric reasoning) : Analyse des données de trafic des opérateurs de télécommunications et des informations d'abonnés pour déduire les modèles de comportement et les points d'optimisation du réseau [Google/Gemini]

• Inférence spatiale de données géospatiales (Geospatial Analytics reasoning) : Déduction et extraction d'insights spatiaux à partir d'images satellites comme Google Earth Engine et de données cartographiques [Google/Gemini]

Fonctionnalités relatives à la « génération »

Capacité à produire du texte, des images, du code et autres contenus de valeur pour l'utilisateur final, basée sur les résultats de la recherche et de l'inférence.

Génération de texte, de documents et de contenus

• Génération de texte en langage naturel (Text Generation) : Génération d'essais, d'articles, de rapports et autres textes basés sur un prompt [OpenAI, Google/Gemini, Anthropic/Claude, Meta/Llama, xAI/Grok, Mistral, DeepSeek, Kimi, Perplexity]

• Génération de rapports de recherche avec citations (Citation-backed Generation) : Génération de rapports factuels et précis incluant des citations (Citations) basées sur les derniers résultats de recherche Web [Perplexity, OpenAI, Google/Gemini]

• Génération de résumés à partir de plusieurs fichiers (Summary Generation) : Lecture transversale d'une grande quantité de documents ou de fichiers téléchargés, extraction des points clés et génération de textes résumés [OpenAI, Anthropic/Claude, Google/Gemini, Mistral, Kimi]

• Génération de conversation multi-tour (Multi-round Conversation) : Mémorisation de l'historique passé et génération de dialogues naturels cohérents maintenant le contexte [OpenAI, Anthropic/Claude, Google/Gemini, xAI/Grok, DeepSeek, Kimi]

• Génération de quiz et matériels pédagogiques (Quiz/Flashcards Generation) : Génération automatique de quiz d'apprentissage ou de cartes mémoire à partir du contenu de documents ou de carnets [Google/Gemini]

• Génération de contes illustrés (Illustrated Storybook) : Génération de contenu de livre illustré combinant le texte narratif avec des illustrations (images) appropriées au contenu [Google/Gemini]

• Génération de textes marketing (Campaign generation) : Génération de copies publicitaires attrayantes et efficaces basées sur les données de campagne ou les informations produit [Google/Gemini, Microsoft Copilot]

• Génération d'insights et de recommandations (Actionable Recommendations) : Analyse des journaux de plantage ou des performances de campagne pour générer des stratégies d'amélioration concrètes et des procédures de dépannage [Google/Gemini]

• Génération d'explications de code (Code Explanation) : Déchiffrage de la logique et de l'intention de codes de programme complexes et difficiles, génération d'explications claires en langage naturel [Google/Gemini, Anthropic/Claude, OpenAI, Microsoft Copilot]

• Génération de textes traduits multilingues (Translation Generation) : Compréhension du texte saisi et traduction précise dans diverses langues spécifiées [OpenAI, Google/Gemini, Anthropic/Claude, Meta/Llama, DeepSeek]

• Génération de texte adapté à une persona ou un ton spécifique (Persona generation) : Imitation et génération de textes dans le ton et la personnalité spécifiés (pirate, expert, etc.) [OpenAI, Anthropic/Claude, OpenClaw]

• Génération de procès-verbaux de réunion et points d'action (Meeting summaries) : Extraction à partir de l'audio ou d'une transcription, organisation des décisions et de la liste des tâches à faire et génération [Microsoft Copilot, OpenAI, Anthropic/Claude]

• Génération de réponses au support client (Customer support reply) : Génération de réponses optimales de support basées sur le contenu des demandes et la base de connaissances [Microsoft Copilot, Anthropic/Claude]

• Génération explicite du processus de pensée (trace d'inférence) (Reasoning Trace generation) : Génération du processus de pensée lui-même « comment la logique s'est déroulée dans mon esprit » en tant que texte avant de fournir la réponse finale [OpenAI, DeepSeek]

• Génération de CV et lettres de motivation (Resume/Cover letter generation) : Génération de CV et de lettres de motivation personnalisés basés sur les antécédents professionnels de l'utilisateur et les informations de l'entreprise cible [OpenAI, Anthropic/Claude]

• Génération d'idées et brainstorming (Ideation) : Génération d'une liste diverse d'idées pour la planification de projets ou la résolution de problèmes à partir des demandes abstraites de l'utilisateur [OpenAI, Google/Gemini, Anthropic/Claude, Meta/Llama]

• Génération de réponses spécialisées spécifiques à un domaine (Domain-controlled Generation) : Génération de réponses hautement spécialisées basées uniquement sur les résultats de recherche limités à des domaines spécifiques tels que la santé ou la finance [Perplexity]

Génération d'images, conception et édition

• Génération d'image à partir de texte (Text-to-Image) : Génération d'images de haute qualité à partir de zéro basée sur des prompts en langage naturel [OpenAI, Google/Gemini, xAI/Grok, Stability AI, Midjourney]

• Génération image à partir d'image (Image-to-Image) : Combinaison d'une image source et d'instructions en texte pour transformer le style ou modifier le contenu et générer une nouvelle image [Stability AI/Diffusers, OpenAI]

• Édition partielle d'image, inpainting (Inpainting / Masking) : Spécification d'une image masquée pour régénérer ou éditer uniquement les parties spécifiques de l'image selon les nouveaux prompts [OpenAI, Stability AI/Diffusers]

• Génération de variantes d'image (Create Variation) : Génération de plusieurs images de motifs différents tout en conservant la composition et le style de l'image source [OpenAI, Stability AI]

• Outpainting d'image (Outpainting / Extend) : Déduction de l'arrière-plan et du paysage en dehors du cadre de l'image existante, génération naturelle d'une extension [OpenAI, Stability AI]

• Super résolution, upscaling (Super Resolution) : Déduction des détails d'une image rugueuse ou générée, agrandissement en haute résolution [Stability AI/Diffusers]

• Upscaling en espace latent (Latent Upscale) : Traitement de génération qui améliore la résolution d'une image dans l'espace latent [Stability AI/Diffusers]

• Recalcul et génération d'éclairage (ReLi3D) : Recalcul de l'éclairage (lighting) des modèles 3D ou des images, régénération de l'image avec un éclairage différent [Stability AI]

• Correction des couleurs et génération de guide de couleurs (ReSWD) : Régénération de la correction des couleurs et de la tonalité d'une image à l'aide de techniques d'appariement de distribution [Stability AI]

• Génération d'images avec contrôle des contours et du squelette (ControlNet) : Génération d'images avec composition fixe en utilisant des images de contrôle telles que les contours ou la pose des personnages [Stability AI/Diffusers]

• Génération d'images inconditionnelle (Unconditional Image Generation) : Génération d'images aléatoires sans conditions telles que des invites textuelles [Stability AI/Diffusers]

• Génération avec maintien de la cohérence des personnages (Character Reference) : Génération d'images de scènes différentes en utilisant une image de référence d'un personnage spécifique, tout en conservant les mêmes caractéristiques [Midjourney, OpenAI]

• Génération avec référence de style (Style Reference) : Génération de nouvelles images en imitant le style visuel d'une image de référence [Midjourney]

• Génération Omni Reference (Omni Reference) : Génération cohérente du même personnage ou objet dans plusieurs images [Midjourney]

• Génération d'images multi-tours dialogué (Multi-turn image generation) : Héritage du contexte de l'historique de génération d'images antérieures (Previous response ID) pour modifier et générer interactivement des images [OpenAI]

• Génération avec format d'image et taux de compression appliqués (Image formatting) : Génération de fichiers image avec spécification de formats tels que PNG, JPEG, WebP et taux de compression appliqués [OpenAI]

Génération de vidéos, 3D et multimodale

• Génération de vidéo à partir de texte (Text-to-Video) : Génération de vidéos de haute qualité avec mouvement à partir d'invites textuelles [OpenAI, Google/Gemini, xAI/Grok]

• Génération de vidéo à partir d'image (Image-to-Video) : Génération de vidéo en entrant une image fixe unique et en y ajoutant un mouvement naturel [Stability AI, OpenAI]

• Génération de vidéo avec audio synchronisé (Video with Synced Audio) : Génération de vidéo avec audio synchronisé avec la vidéo, non seulement le mouvement [OpenAI]

• Remixage et édition de vidéo (Remix / Edit Video) : Remixage en tant que nouvelle vidéo en modifiant le style et les éléments du contenu vidéo existant [OpenAI]

• Génération d'images 3D (Stable Virtual Camera) : Génération d'une représentation vidéo 3D avec mouvement de caméra à partir d'une image d'entrée unique [Stability AI]

• Génération de matériaux 3D (SViM3D) : Génération de matériaux pour objets 3D et mouvement naturel à partir d'une seule image à l'aide d'un modèle de diffusion [Stability AI]

• Génération d'insertion de personnage dans la vidéo (Create Character / Video) : Génération d'un personnage dans la vidéo sur la base des informations de personnage spécifiées [OpenAI]

• Génération de sortie multimodale mixte (Mixture of Modalities / Janus) : Génération de sorties où les images et le texte se mélangent de manière transparente au sein d'un seul modèle [DeepSeek]

Génération vocale et audio

• Synthèse vocale et lecture de texte (Text-to-Speech / TTS) : Conversion du texte en voix humaine naturelle et expressive [OpenAI, Google/Gemini, xAI/Grok]

• Génération de conversation vocale en temps réel (Realtime Audio Generation) : Réception d'entrées texte et voix à ultra-faible latence et génération de réponses vocales naturelles en temps réel [OpenAI, xAI/Grok, Microsoft Copilot]

• Génération de voix de style podcast (Audio Overviews) : Génération de contenu audio au format podcast avec conversation entre plusieurs hôtes à partir de documents et de matériel [Google/Gemini]

• Génération d'effets sonores synchronisés avec la vidéo (Foley Control) : Analyse du mouvement et de la scène dans la vidéo et génération synchrone d'effets sonores naturels parfaitement adaptés [Stability AI]

• Génération de sortie de traduction vocale (Speech Translation) : Traduction de la voix d'entrée dans une autre langue et synthèse et génération du résultat sous forme de voix [OpenAI]

• Génération de musique et d'audio (Audio generation) : Génération de musique, de mélodies et de sons d'ambiance à partir du texte [Google/Gemini, Stability AI/Diffusers]

• Génération d'horodatage de séparation des locuteurs (Diarize Output) : Génération d'enregistrement d'horodatage « qui a parlé, quand » à partir de données audio de conversation [OpenAI]

• Génération de réponse d'agent vocal interactif (IVR Generation) : Génération d'énoncés pour que l'agent dialogue avec les clients sur des canaux vocaux tels que le téléphone [Microsoft Copilot]

• Génération d'enregistrement de consentement vocal (Voice Consents) : Création et génération de données d'enregistrement de consentement utilisateur requises lors de l'utilisation d'API de synthèse vocale spécifiques [OpenAI]

Programmation et génération de code

• Génération de code à partir du langage naturel (Code Generation) : Génération de code de programme tel que des fonctions et des classes sur la base des invites des développeurs [OpenAI, Google/Gemini, Anthropic/Claude, Mistral, Microsoft Copilot]

• Édition et génération de fichiers transversaux au projet (Multi-file Code Generation) : Génération de code d'implémentation de nouvelles fonctionnalités s'étendant sur plusieurs fichiers en lisant l'ensemble du codebase [Anthropic/Claude, Google/Gemini]

• Complément de code en temps réel (Code Completion) : Auto-complément contextuel et génération de l'étape suivante au fur et à mesure qu'un développeur écrit du code dans l'éditeur [Microsoft Copilot, Google/Gemini]

• Complément FIM (Fill-in-the-Middle Completion) : Compréhension du contexte du code avant et après et génération de la logique intermédiaire manquante [DeepSeek, OpenAI]

• Complément de préfixe de chat (Chat Prefix Completion) : Héritage du préfixe du code ou du texte écrit partiellement par l'utilisateur et génération du code suivant [DeepSeek, OpenAI]

• Génération d'échafaudage de projet (Project Scaffolding) : Génération en masse de la structure de répertoire et du groupe de fichiers initiaux en communiquant simplement l'aperçu en langage naturel [Mistral]

• Génération de requête SQL (SQL Generation) : Génération de requêtes SQL complexes avec compréhension du schéma de base de données à partir d'instructions en langage naturel [Google/Gemini, Microsoft Copilot]

• Génération de schéma GraphQL et mutation (Firebase Data Connect) : Génération de schéma de données et de requêtes GraphQL pour l'application [Google/Gemini]

• Génération automatique de message de validation (Commit message generation) : Génération d'un message de validation Git approprié en comprenant la différence du code modifié [Anthropic/Claude, Google/Gemini]

• Génération de texte de description de demande de fusion (PR description generation) : Génération autonome du titre et du texte de description PR en résumant les fonctionnalités implémentées et le contenu corrigé [Anthropic/Claude, Google/Gemini]

• Génération de script Python pour l'analyse de code (Code Interpreter generation) : L'IA génère et exécute elle-même du code Python pour effectuer l'analyse de données et le traitement des calculs [OpenAI, Microsoft Copilot, Mistral]

• Génération de correctif (Apply Patch) : Génération autonome et application d'un correctif de correction pour des emplacements spécifiques dans le codebase [OpenAI, Google/Gemini]

• Génération de commande shell (Shell Command Generation) : Génération de commandes bash ou shell appropriées à exécuter dans le terminal en fonction de l'objectif de l'utilisateur [Anthropic/Claude, OpenClaw, OpenAI]

• Génération de test unitaire (Unit Test Generation) : Génération de code de test approprié comprenant les mocks et les assertions pour le code source non testé [Anthropic/Claude, Google/Gemini]

• Génération de spécification API (OpenAPI/Swagger) (API specification generation) : Génération de la spécification API à partir du code backend existant [Google/Gemini]

• Génération directe de fichiers locaux (File Write / Create) : Génération autonome de scripts et de documents directement sur l'appareil de l'utilisateur à l'aide des outils write ou edit [OpenClaw, Anthropic/Claude]

Génération de données structurées, vecteurs et métadonnées

• Génération de sortie structurée JSON (Structured Output) : Génération d'un format de données précis conforme à un schéma JSON strictement défini à partir d'un texte non structuré [OpenAI, Anthropic/Claude, Google/Gemini, Meta/Llama, DeepSeek, xAI/Grok]

• Génération d'incorporation de texte (Embeddings Generation) : Génération du sens du texte en tant que vecteur numérique multidimensionnel, servant de base à la RAG et à la recherche sémantique [OpenAI, Anthropic/Claude, Perplexity, Google/Gemini]

• Génération d'embeddings contextualisés (Contextualized Embeddings) : Vectoriser les fragments tout en conservant le contexte du document entier pour générer des embeddings haute précision [Perplexity, Anthropic/Claude]

• Génération de données massives par traitement par lots (Batch Generation) : Utiliser les API batch asynchrones pour générer en masse des contenus textuels ou extraire des données structurées en une seule opération [OpenAI, Anthropic/Claude, xAI/Grok]

• Génération d'arguments d'appel d'outils (Tool / Function Calling Generation) : Interpréter logiquement les instructions de l'utilisateur et générer les arguments nécessaires (données JSON, etc.) pour exécuter des API externes ou des outils [OpenAI, Anthropic/Claude, Google/Gemini, Meta/Llama, xAI/Grok, DeepSeek, Mistral]

• Génération d'index pour magasins vectoriels (Vector Store Indexing) : Générer automatiquement des fragments et des vecteurs à partir de fichiers téléchargés, puis construire un index pour la recherche [OpenAI]

• Génération rapide par prédiction de sorties (Predicted Outputs) : Faire prédire au modèle des contenus de sortie connus (comme la majorité du code source) pour réduire considérablement la latence et générer des réponses rapidement [OpenAI]

• Génération de signalements de sécurité et résultats de modération (Moderation Output) : Évaluer le contenu des entrées et sorties de modèles, puis générer des scores ou des données signalant les violations de politique ou les contenus nuisibles [OpenAI, Meta/Llama, Google/Gemini]

• Génération de données d'agrégation des tokens et des coûts (Usage/Tokens Output) : Pour les requêtes API, générer les données d'utilisation incluant le nombre de tokens d'entrée/sortie consommés, le taux de succès du cache, etc. [OpenAI, Anthropic/Claude, DeepSeek, xAI/Grok]

• Génération de coordonnées de boîtes englobantes (Bounding box generation) : Détecter la position d'objets ou de personnes spécifiques dans une image et générer les données de coordonnées sous forme de texte ou JSON [OpenAI, Google/Gemini]

Génération d'interface utilisateur, de design et d'espace de travail

• Génération HTML à partir d'images de maquettes (Image Mock up to HTML) : Générer du code HTML/CSS correspondant à partir de croquis manuscrits ou d'images de design d'interface utilisateur [Google/Gemini, OpenAI, Anthropic/Claude]

• Génération de composants UI dans le chat (Artifacts / Claude Cowork) : Générer des composants React, SVG, HTML, etc. dans l'écran de chat et les afficher en tant qu'aperçu dynamique [Anthropic/Claude, OpenAI]

• Rendu en temps réel d'interface dynamique (Live Canvas / A2UI) : L'agent génère et positionne de façon autonome une interface utilisateur opérable à l'écran en fonction des instructions de l'utilisateur [OpenClaw]

• Génération de documents et prototypes (Canvas) : Générer des documents de présentation ou des gabarits d'application dans un espace de collaboration dédié (Canvas) [Mistral, OpenAI]

• Génération de visualisations interactives et de graphiques (Visualizations) : Générer automatiquement des graphiques et diagrammes faciles à comprendre pour l'utilisateur à partir des données analysées [Microsoft Copilot, Mistral]

• Génération de tableaux de bord métier (Power BI dashboards) : Intégrer les informations provenant de l'entrepôt de données de l'entreprise et générer la conception et la structure d'un tableau de bord [Microsoft Copilot]

• Génération de cartes mentales de personnages (Character Mind Map) : Interpréter la pensée et les relations des personnages à partir de longs récits et générer une structure visuelle de carte mentale [Meta/Llama]

Agent, automatisation et génération de prompts

• Ajustement fin de modèles ouverts (Fine-tuning recipes) : Adapter les modèles Llama à des cas d'usage spécifiques [Meta/Llama]

• Mise en cache des prompts (Prompt caching) : Mettre en cache les longs prompts pour réduire la latence et les coûts des API [OpenAI, Anthropic, grok]

• Auto-génération du prompt optimal (Prompt Generator) : Générer automatiquement un « prompt structuré » qui offre les meilleures performances du modèle à partir des brefs besoins de l'utilisateur [OpenAI, Anthropic/Claude]

• Génération de modèles de prompt (Templatize a Prompt) : Identifier et extraire automatiquement les variables du texte et générer un modèle de prompt facile à intégrer dans le système [Anthropic/Claude]

• Génération d'agents autonomes (Create / Build an Agent) : Construire de zéro le comportement du bot et la configuration des connaissances à partir d'instructions en langage naturel [Microsoft Copilot, OpenAI, Google/Gemini, Mistral]

• Génération de flux d'agent (Build an Agent Flow) : Générer automatiquement le flux d'actions d'un agent complexe avec des procédures métier complexes et des ramifications conditionnelles à partir d'instructions en langage naturel [Microsoft Copilot]

• Génération de flux de travail automatisé (Automation Flow Generation) : Générer et documenter les flux d'intégration API et de traitement automatisé entre plusieurs systèmes dans un éditeur visuel par l'IA [Google/Gemini]

• Génération dynamique de sous-agents (Subagent Spawning) : L'agent principal divise les tâches complexes et appelle/génère dynamiquement des agents enfants pour traiter des travaux spécifiques [OpenAI, Anthropic/Claude, OpenClaw]

• Génération de connaissances d'agent personnalisé (Custom agent knowledge base) : Générer une base de connaissances ou un index dédié pour l'agent à utiliser à partir d'un ensemble spécifique de documents [Mistral]

Génération d'infrastructure, de configuration système et de tests

• Génération d'ensembles de tests d'évaluation (Evaluation Test Sets) : Générer automatiquement des cas de test diversifiés et des données de vérité de référence pour évaluer objectivement la performance du modèle [Microsoft Copilot, OpenAI]

• Génération de configuration d'automatisation des pipelines CI/CD (CI/CD integration generation) : Générer des fichiers de configuration CI/CD comme GitHub Actions pour les révisions de code et les tests automatisés [Anthropic/Claude, GitHub]

• Génération de fichiers de définition d'espace de travail (Workspace config generation) : Générer des fichiers de configuration comme AGENTS.md ou SOUL.md qui définissent la personnalité de l'agent et les permissions des outils [OpenClaw]

• Génération de journaux d'exécution shell (Shell execution logs) : Exécuter du code ou des scripts shell dans un environnement sandbox et générer les résultats textuels de la sortie standard ou des journaux d'erreurs [OpenAI, OpenClaw]

• Génération dynamique de charge utile webhook (Webhook payload generation) : Générer dynamiquement des charges utiles JSON pour envoyer des notifications d'événements à des systèmes externes ou des contrôles côté serveur [OpenAI, OpenClaw]

• Génération de tâches de calendrier et Cron (Cron Configuration) : Générer les paramètres de programme Cron pour exécuter l'agent selon un calendrier régulier [Google/Gemini, Anthropic/Claude, OpenClaw]

Streaming et autres générations

• Génération d'événements en flux continu (Streaming Events) : Diffuser en temps réel via SSE les tokens de texte générés ou les données partielles d'images [OpenAI, Anthropic/Claude, Perplexity]

• Génération de réponses de secours automatique (Fallback response generation) : Lorsque l'API principale échoue, appeler un modèle alternatif ou des fonctionnalités locales pour générer en toute sécurité une réponse de secours [OpenClaw]

Fonctionnalités liées aux « actions »

Capacités d'appel d'outils externes (API, navigateur, calculatrice, systèmes internes, etc.) et d'intervention effective dans le monde réel ou les systèmes.

Infrastructure de construction et d'orchestration d'agents

• Construction d'agents autonomes (Create / Build agents) : Fonctionnalité de construction autonome du comportement et de la structure d'un agent à partir d'instructions en langage naturel [OpenAI, Google/Gemini, Microsoft Copilot, Mistral]

• Construction de base de code via SDK d'agent (Agents SDK / Agent API) : Fonctionnalité de construction de l'orchestration d'agent, du transfert de tâche et de l'exécution d'outils au niveau du code [OpenAI, Anthropic/Claude, Perplexity]

• Environnement d'agent entièrement géré (Managed Agents) : Fonctionnalité de gestion et de déploiement d'agents sur une infrastructure dotée de sessions avec état et d'un historique d'événements persistant [Anthropic/Claude, Google/Gemini]

• Coordination de sous-agents et multi-agents (Subagents / Child agents) : Fonctionnalité où l'agent principal divise les tâches et appelle des agents enfants traitant des travaux spécifiques pour exécuter des tâches en parallèle [OpenAI, Anthropic/Claude, Microsoft Copilot, OpenClaw]

• Exécution autonome de flux de travail personnalisé (Custom workflows / Gems) : Fonctionnalité d'exécution en tant qu'agent de mini-applications ou de flux propres pour automatiser des tâches spécifiques [Google/Gemini, Mistral]

• Exécution en arrière-plan de l'agent (Background mode / Routines) : Fonctionnalité permettant à l'agent de poursuivre autonomiquement ses tâches dans le cloud ou en arrière-plan, même lorsque l'utilisateur est absent [OpenAI, Anthropic/Claude]

• Exécution automatique des planifications et tâches Cron (Schedule actions / Cron) : Fonctionnalité permettant à l'agent d'exécuter automatiquement des actions selon un horaire spécifié ou un calendrier régulier (par exemple, révision du PR le matin) [Google/Gemini, Anthropic/Claude, OpenClaw]

Appels d'outils et intégration API 

• Base d'appels de fonctions et d'outils (Function / Tool calling) : Fonctionnalité de base commune permettant à l'IA de générer et demander autonomiquement l'exécution de commandes externes (JSON, etc.) basées sur les instructions de l'utilisateur [OpenAI, Google/Gemini, Anthropic/Claude, xAI, Meta/Llama, Mistral, DeepSeek] 

• Intégration Model Context Protocol (MCP and Connectors) : Fonctionnalité permettant de se connecter et d'opérer les sources de données et outils externes locaux ou distants via un protocole standardisé (MCP) [OpenAI, Anthropic/Claude, Microsoft Copilot, GitHub] 

• Exécution d'actions personnalisées (Custom Actions) : Fonctionnalité permettant à l'IA de convoquer directement des API externes (bases de données, SaaS) depuis la conversation, et d'exécuter autonomiquement l'envoi de données ou les mises à jour du système [OpenAI, Microsoft Copilot, Google/Gemini] 

• Déclenchement automatique de commandes via crochets (Hooks) : Fonctionnalité déclenchant automatiquement l'exécution de commandes shell arbitraires, telles que des formateurs ou des linters, après une modification de fichier ou avant un commit [Anthropic/Claude] 

• Fonctionnalités d'extension de plateforme (Extensions / Plugins) : Fonctionnalité dotant l'environnement de plateforme existant de capacités d'exécution d'actions vers les outils externes [Google/Gemini, Microsoft Copilot]

Manipulation du système local et de l'écran de bureau 

• Manipulation autonome visuelle de l'écran de l'ordinateur (Computer use tool) : Fonctionnalité pratique permettant à l'IA de comprendre visuellement l'écran du bureau et d'exécuter autonomiquement les mouvements de souris, clics et saisies au clavier [Anthropic/Claude, OpenAI] 

• Exécution de commandes dans l'environnement shell local (Local shell / Bash tool) : Fonctionnalité permettant à l'agent d'exécuter autonomiquement des commandes dans l'environnement terminal ou shell du système [OpenAI, Anthropic/Claude, OpenClaw] 

• Outil d'édition directe de fichiers texte (Text editor / Edit tools) : Fonctionnalité permettant à l'agent d'ouvrir directement et d'éditer le contenu des fichiers texte locaux [Anthropic/Claude, OpenClaw] 

• Lecture et écriture autonome du système de fichiers (read / write tools) : Fonctionnalité permettant à l'agent d'explorer les fichiers situés sur l'appareil de l'utilisateur et d'en effectuer la lecture et l'écriture directement [OpenClaw, Anthropic/Claude] 

• Exécution autonome de la gestion des processus (Process tool) : Fonctionnalité permettant à l'agent de gérer les processus s'exécutant sur le système local (démarrage, arrêt, etc.) [OpenClaw] 

• Gestion autonome de l'arborescence de travail local (Worktrees) : Fonctionnalité permettant de créer un environnement local indépendant et de faire exécuter à l'agent des tâches distinctes sans altérer l'environnement de travail principal [Anthropic/Claude] 

• Dépannage autonome en terminal (CLI Agents) : Fonctionnalité permettant à l'agent de lire les erreurs et états du système dans l'environnement CLI, de déduire autonomiquement les solutions et d'exécuter les corrections [Google/Gemini, Anthropic/Claude, OpenClaw]

Codage et automatisation du développement

• Exécution par interpréteur de code (Code interpreter) : Fonctionnalité permettant à l'agent de rédiger et exécuter autonomiquement du code tel que Python dans un environnement sandbox sécurisé, pour accomplir des tâches de traitement de données [OpenAI, Microsoft Copilot, Mistral] 

• Édition de code autonome entre plusieurs fichiers (Agent Mode) : Fonctionnalité permettant à l'agent d'effectuer autonomiquement l'implémentation de nouvelles fonctionnalités ou la correction de bugs sur plusieurs fichiers dans l'IDE ou la CLI [Google/Gemini, Anthropic/Claude] 

• Génération et application automatique de correctifs (Apply Patch) : Fonctionnalité d'outil permettant à l'agent de générer un correctif pour des emplacements spécifiques du code et de l'appliquer autonomiquement [OpenAI] 

• Génération automatique du modèle de projet (Scaffolding) : Fonctionnalité permettant de générer autonomiquement en une seule opération la structure de répertoires et les fichiers initiaux nécessaires au projet à partir d'une description en langage naturel [Mistral] 

• Automatisation des opérations de dépôt Git (Git automation) : Fonctionnalité permettant d'effectuer autonomiquement toutes les opérations en se connectant directement à git : mise en scène des modifications, création de messages de commit, création de branches et ouverture de PR [Anthropic/Claude] 

• Révision de code autonome des demandes de tirage (PR Review) : Fonctionnalité permettant à l'IA de réviser automatiquement les PR soumises sur GitHub, etc., et de proposer et exécuter des actions de correction du code [Google/Gemini, Anthropic/Claude, Microsoft Copilot] 

• Exécution automatique de l'IA dans les pipelines CI/CD (CI/CD integration) : Fonctionnalité permettant de déclencher l'IA dans les pipelines tels que GitHub Actions ou GitLab et d'automatiser le triage des problèmes et la révision [Anthropic/Claude, GitHub] 

• Automatisation du workflow de gestion des problèmes GitHub (GitHub Actions) : Fonctionnalité permettant à l'IA d'exécuter autonomiquement le workflow de classification et de traitement des problèmes du dépôt [Microsoft Copilot, GitHub] 

• Génération et mise à jour automatique du schéma de base de données et des requêtes (Firebase Data Connect) : Fonctionnalité permettant de générer des schémas et mutations GraphQL à partir d'instructions en langage naturel et d'automatiser les opérations DB [Google/Gemini] 

• Support autonome de la création de spécifications API (Apigee / API Management) : Fonctionnalité soutenant et générant autonomiquement les actions de création de spécifications API et de configuration de politiques à l'aide du contexte d'entreprise [Google/Gemini]

Intégration des applications et services externes

• Manipulation des applications Google Workspace (Connected Apps) : Fonctionnalité permettant à l'IA d'accéder au Gmail et à Google Drive de l'utilisateur et de suppléer à la rédaction de brouillons d'e-mail et à la création de fichiers [Google/Gemini] 

• Création autonome d'événements Google Agenda (Calendar control) : Fonctionnalité permettant à l'IA d'interpréter le calendrier à partir des instructions de l'utilisateur et de créer ou d'ajuster directement les événements de l'agenda [Google/Gemini] 

• Contrôle vocal des appareils domotiques (Smart home control) : Fonctionnalité permettant de contrôler directement l'alimentation et les paramètres des appareils domotiques connectés via l'application IA [Google/Gemini] 

• Mise à jour autonome des enregistrements du système CRM (Dynamics 365 actions) : Fonctionnalité permettant à l'IA de mettre à jour autonomiquement les données du système CRM (Salesforce, etc.) à partir de contenus de conversations commerciales ou d'assistance [Microsoft Copilot] 

• Automatisation via intégration Power Platform (Power Platform AI actions) : Fonctionnalité intégrant l'IA aux workflows d'automatisation (Power Automate, etc.) et les rendant pilotés par l'IA pour les actions entre systèmes [Microsoft Copilot] 

• Génération visuelle du workflow de liaison SaaS (Application Integration) : Fonctionnalité permettant de construire et générer visuellement des flux d'automatisation reliant plusieurs applications ou API tierces avec le soutien de l'IA [Google/Gemini] 

• Liaison et mise à jour des tâches Jira / Slack (MCP SaaS tools) : Fonctionnalité permettant d'exécuter autonomiquement la mise à jour des tickets Jira et l'envoi de notifications à Slack via MCP, etc. [Anthropic/Claude, OpenClaw] 

• Envoi automatique d'appels et de messages depuis WhatsApp (WhatsApp actions) : Fonctionnalité d'action permettant de suppléer à l'envoi d'appels et de messages via WhatsApp, etc., depuis l'application IA sur mobile [Google/Gemini, OpenClaw]

Sécurité, sandbox et gouvernance

• Restriction des comportements par garde-fous (Guardrails) : Fonctionnalité permettant de limiter en toute sécurité la portée et les autorisations du comportement de l'agent et de prévenir les actions violant les politiques [OpenAI, Microsoft Copilot] 

• Exécution sécurisée des outils dans un sandbox (Sandbox execution) : Fonctionnalité permettant d'exécuter les outils de l'agent dans un environnement isolé tel que Docker pour éviter les dégâts au système [OpenAI, OpenClaw] 

• Actions distantes via SSH/OpenShell (Remote Sandbox) : Fonctionnalité permettant à l'agent d'accéder en toute sécurité aux systèmes distants ou à d'autres environnements via SSH, etc., et d'exécuter les actions [OpenClaw] 

• Contrôle d'accès aux actions (Data policies / Allowlist) : Fonctionnalité permettant aux administrateurs de contrôler et de limiter les actions que les agents peuvent exécuter et les données auxquelles ils peuvent accéder [Microsoft Copilot, OpenClaw] 

• Actions de défense automatique contre les incidents de sécurité (Security Copilot Plugins) : Fonctionnalité permettant à l'IA d'exécuter automatiquement des actions de défense et de confinement lors de la détection de menaces cybernétiques [Microsoft Copilot] 

• Diagnostic autonome et optimisation de l'infrastructure cloud (Cloud Assist) : Fonctionnalité analysant l'état opérationnel de l'environnement cloud et proposant/exécutant autonomement des actions d'optimisation de l'infrastructure et de réduction des coûts [Google/Gemini] 

• Orchestration automatique des pipelines MLOps (MLOps automation) : Fonctionnalité exécutant et gérant automatiquement le traitement des pipelines, y compris la surveillance, l'évaluation et le réentraînement des modèles IA [Google/Gemini] 

• Contrôle d'autorisation d'accès depuis des messages directs inconnus (DM pairing) : Fonctionnalité exigeant un code d'appairage pour les messages en provenance d'utilisateurs inconnus afin de protéger la sécurité et de limiter les actions [OpenClaw]

Intégration de plateformes de messagerie et de chat

• Réponse autonome par boîte de réception multi-canal (Multi-channel gateway) : Fonctionnalité permettant une connexion simultanée à de nombreuses plateformes telles que WhatsApp, Slack, Discord et Telegram, avec réponse autonome de l'agent [OpenClaw] 

• Routage dynamique d'agents par message (Multi-agent routing) : Fonctionnalité de routage qui oriente automatiquement les messages reçus vers différents agents (espaces de travail) en fonction du canal ou de l'utilisateur [OpenClaw] 

• Exécution d'actions spécifiques à Discord / Slack (Platform native actions) : Fonctionnalité exécutant des actions système spécialisées dans les API de Discord et Slack, telles que la création de canaux ou la gestion des permissions [OpenClaw] 

• Déclenchement direct de tâches depuis Slack (AI for Slack) : Fonctionnalité de connecteur permettant à l'agent d'exécuter directement des tâches (par exemple, créer une demande de fusion pour corriger un bug) à partir d'une mention sur Slack et de renvoyer les résultats [Anthropic/Claude, OpenClaw] 

• Lancement d'actions autonomes à partir d'événements Webhook (Webhooks) : Fonctionnalité recevant des webhooks de systèmes externes et utilisant ces événements comme déclencheurs pour lancer des actions autonomes de l'agent [OpenAI, OpenClaw] 

• Déclenchement d'actions par réception de courrier électronique (Gmail Pub/Sub) : Fonctionnalité permettant à l'agent d'exécuter automatiquement des actions en se basant sur la réception d'un e-mail spécifique dans Gmail [OpenClaw] 

• Intégration d'actions avec widget de chat personnalisé (ChatKit / UI Actions) : Fonctionnalité intégrant des widgets personnalisés dans l'interface de chat et exécutant des actions système via des opérations de bouton [OpenAI] 

• Lancement autonome de nouvelles sessions (sessions_spawn) : Fonctionnalité permettant à l'agent de créer de nouvelles sessions selon les besoins et de traiter les sous-tâches en parallèle [OpenClaw] 

• Envoi de messages vers d'autres sessions (sessions_send) : Fonctionnalité permettant à l'agent d'envoyer autonomement des messages vers d'autres sessions en exécution et de collaborer avec elles [OpenClaw] 

• Contrôle dynamique d'état par commandes d'opérateur (Operator commands) : Fonctionnalité permettant de modifier immédiatement le niveau de réflexion ou le mode de comportement de l'agent en saisissant des commandes (comme /reset, /think) dans le chat [OpenClaw]

Voix, temps réel, interface utilisateur et contrôle des appareils

• Réponse autonome d'agents vocaux en temps réel (Voice agents / Realtime API) : Fonctionnalité traitant en temps réel les entrées vocales et dialoguant en voix naturelle tout en exécutant simultanément des actions système [OpenAI, xAI, Microsoft Copilot] 

• Contrôle de transfert d'appels pour les systèmes de réponse vocale interactive (Interactive voice response) : Fonctionnalité répondant autonomement sur les canaux vocaux tels que le téléphone et transférant le contexte à un opérateur humain si nécessaire [Microsoft Copilot] 

• Activation d'agent par mot d'activation vocale (Voice Wake) : Fonctionnalité écoutant un mot-clé sur l'appareil et déclenchant immédiatement les actions de l'agent à partir d'une instruction vocale [OpenClaw] 

• Rendu en temps réel et manipulation d'interface utilisateur dynamique (Live Canvas / A2UI) : Fonctionnalité permettant à l'agent de générer et de placer autonomement des composants d'interface utilisateur interactifs sur l'écran d'applications mobiles en fonction des instructions de l'utilisateur [OpenClaw] 

• Télécommande autonome d'appareils mobiles (Mobile nodes) : Fonctionnalité s'appairant avec une application mobile pour permettre à l'agent d'exécuter à distance l'appareil photo du smartphone, les captures d'écran et les commandes d'appareil [OpenClaw]

Actions autonomes de recherche et de collecte d'informations

• Recherche autonome de données en temps réel sur X (Twitter) (X Search tool) : Fonctionnalité permettant à l'agent de rechercher autonomement des messages sur X en fonction de mots-clés spécifiés et de collecter les données [xAI] 

• Action de recherche avec spécification de compte (X Search - handles) : Fonctionnalité permettant des actions de recherche sans bruit en autorisant ou en excluant des poignées X spécifiques (jusqu'à 10) [xAI] 

• Automatisation de flux de travail de recherche multi-fournisseurs (Agent API) : Fonctionnalité exécutant autonomement des flux de travail de recherche en combinant plusieurs modèles de tiers et des outils de recherche Web [Perplexity] 

• Manipulation autonome d'outils de navigateur Web officiel (Web Search / Browser tool) : Fonctionnalité permettant à l'agent de naviguer autonomement sur le Web, d'accéder aux pages requises et de collecter des informations [OpenAI, Anthropic/Claude, DeepSeek, Kimi, OpenClaw]

Actions de réseau, déploiement et autres opérations 

• Déploiement intégré en un clic de l'agent (Teams / M365 deployment) : Action permettant de déployer directement l'agent construit dans l'environnement professionnel Teams ou Microsoft 365 et de le rendre disponible pour toute l'organisation [Microsoft Copilot] 

• Contrôle d'actions à distance sécurisé par intégration Tailscale (Tailnet integration) : Fonctionnalité utilisant un VPN (Tailnet) pour contrôler de manière sécurisée les actions et les passerelles de l'agent dans un environnement de contrôle d'accès à distance [OpenClaw] 67. Configuration autonome par accueil CLI (CLI Onboarding) : Fonctionnalité exécutant et guidant automatiquement la configuration initiale de l'agent, l'intégration des canaux et l'installation du démon sur le terminal [OpenClaw] 

• Orchestration automatique de l'infrastructure cloud pour agent (Enterprise Agent Platform) : Fonctionnalité exécutant automatiquement le déploiement, la mise à l'échelle et la gestion centralisée des agents IA pour les environnements d'entreprise [Google/Gemini, Microsoft Copilot] 

• Rendu autonome de navigateur intégré à l'application (In-app browser) : Fonctionnalité permettant à l'agent de rendre directement des pages Web dans la CLI ou l'IDE et d'afficher les résultats de recherche [Anthropic/Claude] 

• Construction automatique d'API auto-hébergée pour modèles IA sur infrastructure propriétaire (Llama Stack) : Fonctionnalité utilisant le modèle Llama pour construire automatiquement les API et les systèmes d'intégration d'agents de bout en bout sur l'infrastructure propriétaire [Meta/Llama]

Optimisation des tâches et gestion des erreurs

• Distribution d'événements par flux continu en temps réel (Streaming events) : Fonctionnalité permettant à l'agent de distribuer en tant qu'événements en temps réel les processus lors de l'appel d'outils ou de l'exécution d'actions vers l'extérieur [OpenAI] 

• Gestion de la persistance de la conversation et de l'état d'exécution (Conversation state) : Fonctionnalité enregistrant l'historique des conversations et l'état d'exécution en cours de l'agent pour permettre la continuation d'actions complexes sur longue durée [OpenAI] 

• Test et évaluation automatiques du flux de travail d'agent (Evaluate workflows) : Fonctionnalité testant et évaluant automatiquement si les flux d'actions de l'agent construit fonctionnent correctement [OpenAI] 

• Expansion de capacités à partir du registre de compétences (Skills / ClawHub) : Fonctionnalité ajoutant dynamiquement au workspace des « compétences » regroupant des procédures et capacités actions personnalisées, élargissant la gamme d'actions de l'agent [Anthropic/Claude, OpenClaw] 

• Auto-diagnostic et réparation d'état de point de terminaison (Self-diagnostics / Doctor) : Fonctionnalité détectant automatiquement les erreurs de configuration et les défaillances environnementales et exécutant des actions de dépannage [OpenClaw] 

• Contrôle d'appels côté serveur (Server-side controls) : Fonctionnalité permettant de prendre le contrôle depuis le serveur pendant l'exécution d'API en temps réel et de contrôler l'énonciation ou les actions de l'agent [OpenAI] 

• Dépannage autonome des plantages d'application (Firebase error analysis) : Fonctionnalité identifiant la cause première des plantages d'application à partir des journaux et proposant autonomement des actions de correction de code (patchs, etc.) [Google/Gemini] 

• Modernisation autonome du code applicatif (Code modernization) : Lit les bases de code dans d'anciens langages ou frameworks et les réécrit de manière autonome vers une architecture moderne [Anthropic/Claude] 

• Formatage automatique du code en environnement CI/CD (Auto-formatting in CI) : Utilise des hooks pour exécuter de manière autonome un formateur (Prettier, etc.) immédiatement après qu'un agent ait modifié le code [Anthropic/Claude] 

• Exécution automatique des vérifications Lint (Auto-linting) : Avant la validation ou la création d'une demande de fusion, l'agent exécute de manière autonome des outils Lint et corrige les erreurs [Anthropic/Claude]

Intégration système et automatisation

• Mise à jour automatique des dépendances via des outils de gestion de paquets (Dependency update) : L'agent manipule de manière autonome les gestionnaires de paquets comme npm ou pip pour mettre à jour les bibliothèques [Anthropic/Claude] 

• Exécution automatique des processus de compilation et de construction (Build automation) : L'agent exécute de manière autonome les commandes de construction du système (make, build, etc.) et résout les erreurs [Anthropic/Claude] 

• Attachement autonome à des conteneurs en cours d'exécution (Container manipulation) : L'agent s'attache à un conteneur Docker en cours d'exécution et exécute des commandes en son sein [OpenClaw] 

• Génération automatique d'outils à partir de prompts personnalisés (Prompt as a tool) : Encapsule un prompt personnalisé rédigé par l'utilisateur en tant qu'outil, le rendant appelable par d'autres agents [Microsoft Copilot] 

• Test de simulation de dialogue d'agents vocaux (Test voice-enabled agents) : Teste automatiquement les actions et réponses des agents d'appels vocaux construits sur un simulateur [Microsoft Copilot] 

• Automatisation autonome de l'intégration Single Sign-On (SSO) (SSO Integration) : Traite de manière autonome les actions d'authentification via Entra ID, etc., lors de l'utilisation d'agents dans Teams [Microsoft Copilot] 

• Traitement autonome des données via téléchargement de fichiers (File inputs processing) : L'agent reçoit les fichiers téléchargés par l'utilisateur et exécute de manière autonome l'analyse et la conversion [OpenAI] 

• Action de synthèse vocale à partir du texte (TTS execution) : L'agent envoie le texte généré à une API pour produire et lire des données audio [OpenAI, xAI, OpenClaw] 

• Action de transcription à partir de la parole (STT execution) : L'agent reçoit des données audio et appelle un outil de transcription externe pour les convertir en texte [OpenAI, xAI] 

• Orchestration autonome du pipeline RAG (RAG integrations) : L'agent reçoit une question de l'utilisateur, interroge de manière autonome une base de vecteurs, intègre les informations et génère une réponse [Anthropic/Claude, Mistral] 

• Intégration de chat avec les plateformes de diffusion en direct (Twitch integration) : L'agent se connecte au chat d'une plateforme de diffusion en direct comme Twitch et dialogue de manière autonome avec les spectateurs [OpenClaw] 

• Exécution automatique des tâches en mode non interactif (Non-interactive Mode) : Mode dans les pipelines CI/CD où l'agent CLI s'exécute entièrement de manière automatique sans intervention humaine pour accomplir les tâches [Anthropic/Claude] 

• Application automatique de l'infrastructure en tant que code cloud (Terraform/IaC execution) : L'agent génère du code pour les outils de gestion d'infrastructure (Terraform, etc.) et l'applique de manière autonome pour construire l'environnement [Google/Gemini] 

• Action de secours en cas d'erreur système (Fallback routing) : Lorsqu'un agent principal ou une API est indisponible, bascule automatiquement vers des sous-systèmes ou des modèles légers pour continuer la tâche [OpenClaw] 

• Commutation autonome des permissions entre sessions principales et secondaires (Permission switching) : Bascule de manière autonome les permissions d'exécution d'outils et le besoin de sandbox entre les opérations de l'utilisateur et l'accès externe [OpenClaw] 

• Actions inline dans un environnement de développement personnalisé (IDE integrations) : Dans les éditeurs comme VS Code ou JetBrains, l'agent exécute directement des actions d'insertion de code ou de refactorisation [Anthropic/Claude, Google/Gemini] 

• Recherche Web autonome et extraction de données dans le navigateur (Web fetch / scraping) : Récupère de manière autonome la page Web spécifiée par l'URL, analyse le DOM et extrait les données nécessaires [Anthropic/Claude] 

• Exécution autonome parallèle de requêtes multiples (Multi-query support) : L'agent divise une tâche complexe en plusieurs requêtes de recherche et exécute simultanément les API pour collecter les informations [Perplexity] 

• Récupération autonome complète des fils de discussion X (Thread fetch) : L'agent remonte un fil de discussion spécifique sur X et récupère de manière autonome le contexte complet de la conversation [xAI] 

• Intégration de bout en bout avec les plateformes tierces (WhatsApp/Cloud Provider integration) : Utilise des modèles comme Llama pour coordonner de manière autonome une série d'actions de applications comme WhatsApp vers l'infrastructure cloud [Meta/Llama]

Autres fonctionnalités

Fonctionnalités autres que la compréhension, la recherche, le raisonnement, la génération et l'action ci-dessus. Concerne les fonctionnalités liées à l'apprentissage et l'optimisation, l'évaluation et la surveillance, la gestion et l'exploitation, la sécurité et la gouvernance, l'infrastructure et le déploiement, les outils pour développeurs, etc.

Apprentissage, personnalisation et optimisation des performances

• Ajustement fin (Supervised fine-tuning) : Affine le modèle sur un ensemble de données propriétaire pour améliorer la précision sur une tâche spécifique [OpenAI]

• Ajustement fin de la vision (Vision fine-tuning) : Ajustement multimodal incluant les données d'image [OpenAI]

• Optimisation directe des préférences (Direct preference optimization / DPO) : Optimise la sortie du modèle selon les préférences humaines [OpenAI]

• Ajustement fin par apprentissage par renforcement (Reinforcement fine-tuning) : Optimise le comportement du modèle en fonction de récompenses spécifiques [OpenAI]

• Apprentissage personnalisé de modèles personnalisés (Custom training) : Entraîne indépendamment des modèles ouverts dans votre propre environnement [Google/Vertex AI]

• Ajustement fin de modèles ouverts (Fine-tuning recipes) : Affine les modèles comme Llama pour des cas d'usage spécifiques [Meta/Llama]

• Mise en cache du prompt (Prompt caching) : Améliore la latence et réduit les coûts en mettant en cache les prompts longs [OpenAI, Anthropic, xAI]

• Mise en cache du contexte (Context Caching) : Système de mise en cache des grands contextes d'entrée [DeepSeek]

• API de traitement par lots (Batch API) : Traite un grand nombre de requêtes API de manière asynchrone et réduit les coûts de moitié [OpenAI, Anthropic, xAI]

• Optimisation de la latence / Sortie prédite (Predicted Outputs) : Augmente considérablement la vitesse de génération en prédisant les sorties connues [OpenAI]

• Traitement flexible / Priorité (Priority / Flex processing) : Réduit les coûts en diminuant la priorité de traitement des requêtes API [OpenAI]

• Débit provisionné (Provisioned Throughput) : Réserve des ressources de calcul dédiées pour assurer un débit stable [xAI]

• Quantification de l'inférence et déchargement mémoire (Quantization & Offloading) : Optimisation pour exécuter des modèles volumineux sur des appareils aux ressources limitées [Diffusers]

• Modèle optimisé TensorRT (NVIDIA TensorRT optimized) : Optimise extrêmement la vitesse d'inférence pour les GPU NVIDIA [Stability AI]

• Modèle optimisé AMD (AMD Optimized) : Mise au point spécialisée pour la génération d'images en environnement AMD [Stability AI]

• Optimisation de compilation PyTorch (torch.compile) : Accélère la vitesse d'inférence en compilant le code [Diffusers]

• Auto-optimisation du prompt (Prompt optimizer) : Le modèle analyse son propre prompt et le corrige automatiquement vers la structure la plus efficace [OpenAI]

• Tuning de Microsoft 365 Copilot (aperçu) : Affine Copilot pour les données et la terminologie spécifiques de votre organisation [Microsoft]

Évaluation, surveillance et observabilité

• Outil d'évaluation automatique du modèle (Evals / Graders) : Évalue et note les performances et la précision du modèle de manière basée sur les données [OpenAI]

• Création d'ensembles de tests d'évaluation (Create test sets): Créer des données de test personnalisées pour évaluer les agents [Copilot Studio]

• Interface d'outil d'évaluation (Evaluation Tool): Évaluer visuellement les résultats des prompts côte à côte dans la console [Anthropic]

• Évaluation automatique des flux de travail d'agents (Evaluate workflows): Tester que les flux comportementaux des agents complexes fonctionnent correctement [OpenAI]

• Terrain de jeu du modèle (Studio playground): Comparer et tester les résultats du modèle en temps réel tout en ajustant les paramètres [Mistral AI]

• Service d'évaluation des modèles d'IA générative (Gen AI Evaluation): Infrastructure d'évaluation objective des modèles de qualité entreprise [Google/Vertex AI]

• Plateforme MLOps (MLOps): Automatiser la surveillance, l'évaluation et l'orchestration des pipelines de modèles [Google Cloud]

• Surveillance de la dérive et du biais des entrées de modèles (Model Monitoring): Surveiller les changements de tendances des données en exploitation et la dégradation du modèle [Google/Vertex AI]

• Analyse des performances des agents (Analytics): Analyser les indicateurs tels que le taux de succès des conversations et la satisfaction des utilisateurs [Copilot Studio]

• Analyse de l'intégrité des agents autonomes (Agent health): Surveiller le taux d'erreur et l'état opérationnel des agents agissant de manière autonome [Copilot Studio]

• Observabilité des systèmes cloud (Cloud Logging / Monitoring): Surveiller intégralement les journaux et les métriques d'infrastructure et d'API [Google Cloud]

• Traçage d'application (Error Reporting / Trace): Suivre et identifier la source des latences d'appels API et des erreurs [Google Cloud]

• API d'état de système API (System Status API): Surveiller le statut opérationnel du service par programmation [Perplexity]

• Suivi détaillé de la consommation de jetons (Counting tokens / Usage): Surveiller précisément le nombre de jetons consommés par les prompts et le cache [OpenAI, Anthropic]

Gestion, exploitation et facturation

• Gestion des organisations et espaces de travail (Manage workspaces): Créer et gérer des espaces de travail et des environnements indépendants par équipe [Mistral AI, Anthropic]

• Gestion des projets (Projects): Fonctionnalité de projets pour diviser les clés API et les configurations par application [OpenAI]

• Invitation et gestion des utilisateurs (User Management / Invites): Inviter des membres à l'organisation et gérer le cycle de vie des comptes [OpenAI, Mistral AI]

• Attribution de rôles (Roles / Permissions): Attribuer des permissions par utilisateur : consultation, modification, administrateur, etc. [OpenAI, Mistral AI]

• Création et rotation de clés API (API Key Management): Émettre et invalider les clés API par espace de travail [Généralités]

• API pour administrateurs (Admin API): Automatiser la gestion des espaces de travail et des clés par programmation [OpenAI, Anthropic]

• Clés API de suivi pour administrateurs (Admin API Keys): Clés API spéciales pour suivre l'utilisation globale de l'organisation [OpenAI]

• Tableau de bord de facturation et FinOps (Billing Management): Visualiser et gérer les frais d'utilisation d'API par équipe [Mistral AI, xAI]

• Gestion des limites d'utilisation et des restrictions de débit (Rate limits & Tiers): Vérifier et gérer les limites actuelles de débit API (RPM/TPM) et le tier [OpenAI, Perplexity]

• Outil de gestion des coûts cloud (Cost Management): Optimiser les coûts d'infrastructure globale et définir des alertes budgétaires [Google Cloud]

• Fonction de journaux d'audit (Audit Logs): Enregistrer l'historique de qui a apporté des modifications au système et quand, pour les audits de sécurité [OpenAI, xAI, Microsoft]

• Attribution de licences (Assign licenses): Attribuer les licences d'utilisation de Copilot et d'agents aux utilisateurs [Copilot Studio]

• Registre de modèles (Model Registry): Gérer de manière centralisée les versions et les métadonnées des modèles entraînés [Google/Vertex AI]

• Magasin de caractéristiques (Feature Store): Partager et gérer les caractéristiques (Features) réutilisables pour les modèles ML [Google/Vertex AI]

• Gestion automatique du renouvellement d'abonnement (Managing Subscription): Gérer les mises à niveau/dégradations de plans payants et le renouvellement automatique [Midjourney]

• Configuration du statut fiscal de l'organisation (Tax / VAT): Configurer l'exonération de TVA et les informations fiscales pour les entreprises [Midjourney]

• Gestion de la consommation de crédits (Credits management): Suivre la consommation de crédits (devises) pour la génération d'images, etc. [Stability AI]

Sécurité, gouvernance et contrôle d'accès

• Intégration d'authentification unique (SSO / SAML): Intégration de connexion sécurisée utilisant le fournisseur d'identité de l'entreprise (Okta, etc.) [Mistral AI, xAI]

• Intégration SSO via Microsoft Entra ID: Authentification transparente lors de l'utilisation d'agents dans Teams et autres [Microsoft]

• Contrôle d'accès basé sur les rôles (RBAC): Contrôle d'accès granulaire aux API et ressources par paramétrage des permissions [xAI]

• Configuration des politiques de données d'agents (Data policies): Restreindre les données internes auxquelles les agents peuvent accéder et les actions qu'ils peuvent exécuter [Copilot Studio]

• Filtres de sécurité et modération (Moderation): API pour bloquer et évaluer les prompts nuisibles et les résultats [OpenAI, Meta]

• Vérifications de cybersécurité (Cybersecurity checks): Vérifier que les applications respectent les normes de sécurité [OpenAI]

• Vérification d'âge et protection des mineurs (Under 18 API / Age Assurance): Déterminer si les utilisateurs ont 18 ans ou plus à partir de données biométriques et de signaux d'utilisation [OpenAI, C.AI]

• Gestion de la conformité (Compliance): Fonctionnalités de conformité aux normes strictes telles que SOC 2, GDPR, CCPA [xAI]

• Contrôle de la résidence des données (Data residency): Spécifier précisément les régions géographiques (pays) où les données sont stockées et traitées [xAI]

• Chiffrement et séparation des données (Encryption / Separation): Stockage séparé des données non utilisées pour l'apprentissage et chiffrement en transit et au repos [Meta]

• Authentification mTLS (mTLS Authentication): Authentification API stricte bidirectionnelle utilisant des certificats côté client et serveur [xAI]

• Centre de commande de sécurité (Security Command Center): Surveillance intégrée des menaces et des vulnérabilités dans le cloud [Google Cloud]

• Protection des données sensibles (Sensitive Data Protection): Découvrir automatiquement les données sensibles telles que les PII (données personnelles), les masquer et les protéger [Google Cloud]

• VPC Service Controls (VPC-SC): Prévenir l'exfiltration de données du réseau d'entreprise vers l'extérieur [Google Cloud]

• eDiscovery et conservation des données (eDiscovery / Legal hold): Conserver et rechercher l'historique des conversations Copilot en cas de litige ou audit [Microsoft 365]

• Gestion des empreintes digitales d'API (Fingerprint): Gestion des identifiants pour suivre les modifications des modèles backend [xAI]

• Appairage DM et contrôle d'accès (DM pairing / Allowlist): Bloquer les DM d'utilisateurs inconnus et les mettre en liste blanche [OpenClaw]

• Environnement sandbox sécurisé (Docker/SSH Sandbox): Limiter à un environnement conteneur isolé lorsque les agents effectuent des opérations système [OpenClaw]

Infrastructure, déploiement et mise à l'échelle

• Llama Stack (Auto-hébergement de la couche API): Infrastructure pour héberger les modèles Llama en tant qu'API sur votre propre infrastructure [Meta]

• Llama Everywhere (Déploiement edge): Déployer les modèles directement dans des environnements de bureau ou Linux sur site [Meta]

• Déploiement d'IA à la périphérie (Google AI Edge): Déployer des modèles d'IA légers pour les appareils mobiles et embarqués [Google]

• Déploiement de modèles cloud (Prediction / Serving): Publier les modèles entraînés en tant qu'API pour l'inférence par lots ou les prédictions en ligne [Google/Vertex AI]

• Déploiement de conteneurs sans serveur (Cloud Run / Cloud Functions): Déployer automatiquement et à l'échelle les backends d'applications d'IA sans gestion d'infrastructure [Google Cloud]

• Intégration de cluster Kubernetes (Google Kubernetes Engine): Orchestrer les charges de travail d'IA à grande échelle conteneurisées [Google Cloud]

• Déploiement d'agents d'entreprise (Enterprise Agent Platform) : Déployez les agents construits dans un environnement de production de manière scalable [Google Cloud]

• Déploiement sur des nuages tiers : Exploitez les modèles Claude sur l'infrastructure d'Amazon Bedrock ou Vertex AI [Anthropic]

• Déploiement avec Microsoft Foundry : Déployez des modèles d'IA et des agents dans un environnement PaaS destiné aux entreprises [Microsoft]

• Intégration avec passerelle API (Apigee / Application Integration) : Base de routage pour exposer en toute sécurité vos propres API et les connecter à l'IA [Google Cloud]

• Intégration réseau Tailscale : Utilisez Tailnet pour accéder en toute sécurité à l'assistant IA local depuis un environnement distant [OpenClaw]

• Déploiement air-gap et on-premises (Google Distributed Cloud) : Déployez l'infrastructure IA dans un environnement réseau fermé isolé d'Internet [Google Cloud]

• Pipeline CI/CD (Cloud Build / Cloud Deploy) : Automatisez la compilation et le déploiement des applications d'IA [Google Cloud]

• Infrastructure en tant que code (Infrastructure Manager) : Gérez et construisez l'infrastructure cloud pour l'IA avec du code (Terraform, etc.) [Google Cloud]

• Traitement par lot et planification de tâches (Cloud Scheduler / Batch) : Exécutez selon le calendrier des traitements de données lourds asynchrones et des tâches d'inférence [Google Cloud]

• Points de terminaison d'inférence dédiés (Inference Endpoints) : Déployez des modèles personnalisés sur Hugging Face en tant qu'infrastructure d'API dédiée [Hugging Face]

Expérience développeur, interface et écosystème

• Tableau de bord Web Control UI : Gérez le chat, la configuration et les sessions de l'agent local depuis le navigateur [OpenClaw]

• Intégration CLI (openclaw onboard) : Exécutez de manière interactive l'installation et la configuration de l'agent via le terminal [OpenClaw]

• Application de gestion système pour macOS (OpenClaw.app) : Gérez le démarrage de la passerelle et le statut depuis la barre de menu [OpenClaw]

• Fonction d'autodiagnostic du système (openclaw doctor) : Détectez automatiquement les erreurs de configuration et les défauts d'environnement pour le dépannage [OpenClaw]

• Changement de canal de développement (Update channels) : Basculez entre les canaux de publication (Stable, Beta, Dev, etc.) via une commande [OpenClaw]

• Intégration IDE (extension VS Code / JetBrains) : Intégrez l'assistant IA directement dans l'éditeur de votre environnement de développement [Anthropic, Google]

• Environnement de branche de travail local (Worktrees) : Créez une branche de travail indépendante dédiée à l'agent sans modifier l'environnement principal [Anthropic]

• Fichiers d'instructions spécifiques au projet (CLAUDE.md / AGENTS.md) : Placez-les à la racine du référentiel pour charger automatiquement les règles du projet dans l'agent [Anthropic, OpenClaw]

• Mode d'automatisation non-interactif (Non-interactive Mode) : Mode d'exécution automatique de l'agent CLI sans intervention humaine dans les CI/CD [Anthropic]

• Mode développeur / Traçage (/trace) : Générez des journaux détaillés du traitement interne de l'agent et des requêtes réseau [OpenAI, OpenClaw]

• Point de terminaison API compatible OpenAI (OpenAI Compatibility) : Utilisez les SDK OpenAI existants pour appeler d'autres modèles (Llama, DeepSeek, etc.) [Meta, Perplexity, DeepSeek]

• Écosystème Model Context Protocol (MCP) : Base de protocole pour normaliser et connecter le contexte entre différents modèles d'IA et outils [Anthropic, OpenAI, Microsoft]

• Intégration de widgets personnalisés (ChatKit Widgets) : Fonction de développement pour intégrer des widgets tiers dans l'interface ChatGPT [OpenAI]

• Comparaison et gestion de prompts (GitHub Models) : Outil pour développeurs permettant de comparer et gérer les résultats de plusieurs prompts côte à côte [GitHub]

• Intégration d'automatisation GitHub Actions : Déclenchez l'exécution de modèles d'IA dans les workflows CI/CD en fonction des événements du référentiel [GitHub]

• Intégration d'environnement de bloc-notes (Colab Enterprise) : Développez et intégrez les modèles d'IA et la science des données dans un environnement de type Jupyter Notebook [Google Cloud]

• Intégration de navigateur dans l'application (In-app browser) : L'agent affiche directement les pages Web et présente les résultats de la recherche dans le CLI ou l'IDE [Anthropic]

Conclusion

Les possibilités offertes par l'IA continuent de s'élargir et seront mises à jour régulièrement. De mon côté, je développe un agent d'IA spécialisé dans l'immobilier et la construction, et je souhaite poursuivre ma recherche et développement en me concentrant sur les domaines qui resteront difficiles à traiter à l'avenir avec l'IA générique décrite ci-dessus.