L’interaction que nous entretenons avec nos ordinateurs est sur le point de connaître une transformation fondamentale. Depuis des décennies, le clavier et la souris ont été nos principaux outils de communication, mais Microsoft s’apprête à introduire une nouvelle ère où l’intelligence artificielle devient un partenaire actif plutôt qu’un simple outil passif. Cette vision audacieuse est de faire de chaque machine sous Windows 11 un véritable « AI PC », avec Copilot Actions, capable de comprendre, de voir et, surtout, d’agir en notre nom.

Ainsi, la promesse est immense : celle de nous libérer des tâches numériques répétitives et chronophages. En développant des capacités agentiques puissantes, Microsoft rend Copilot apte à organiser des fichiers, à gérer des réservations ou à fournir une assistance contextuelle guidée. Les utilisateurs sont invités à aborder cette évolution avec enthousiasme, car cette montée en puissance de l’IA est déployée sous le signe du contrôle total et d’une sécurité rigoureuse, garantissant que l’humain reste toujours aux commandes.

La voix et la vision : une interaction naturelle avec votre PC

L’idée derrière le nouvel assistant Copilot est de rendre l’IA accessible et intuitive pour tous. Finies les interactions limitées au texte; place à la parole. La nouveauté la plus emblématique est l’activation de Copilot par la voix, à l’instar des assistants sur smartphone. Désormais, il suffit de prononcer « Hey Copilot » pour interpeller l’IA et démarrer une conversation naturelle. Cette fonctionnalité a déjà prouvé son efficacité. En effet, Microsoft a observé que les utilisateurs interagissant par la voix utilisent l’assistant deux fois plus souvent que ceux qui se limitent à la saisie textuelle.

En complément de l’écoute, Copilot est désormais doté de la capacité de « voir » l’écran de l’utilisateur, grâce à la fonctionnalité Copilot Vision. Avec l’autorisation de l’utilisateur, l’assistant peut analyser le contenu affiché. Cela peut être soit un bureau entier ou une simple fenêtre d’application, afin d’offrir une aide contextuelle et guidée. Ainsi, cette aide s’avère précieuse dans une multitude de scénarios quotidiens. Elle facilite ainsi le travail et rend l’utilisation de logiciels complexes beaucoup moins intimidante.

Copilot Actions : quand l’IA travaille à votre place

Le potentiel de Copilot Vision est vaste et varie selon le contexte d’utilisation :

• Guidance logicielle : Il peut indiquer à l’utilisateur où cliquer ou comment procéder pour réaliser une tâche spécifique dans une application.
• Révision de documents : Il offre une assistance pour améliorer un CV, corriger un document ou retoucher un projet vidéo.
• Assistance en temps réel : Une déclinaison, le Gaming Copilot, s’intègre aux consoles Xbox Ally pour fournir des conseils ou de l’aide en cours de partie.
• Analyse de fichiers : L’IA peut comprendre l’intégralité d’un fichier, même les parties qui ne sont pas visibles immédiatement à l’écran.

Le véritable passage à l’ère de l’agentique se concrétise avec l’arrivée de Copilot Actions. Il s’agit d’une IA agentique, capable de réaliser des tâches plus ou moins complexes de manière complètement autonome suite à une simple requête de l’utilisateur. On peut désormais demander à l’assistant d’agir sur les fichiers et applications, transformant ainsi Copilot en un puissant collaborateur numérique.

L’agent actif : exécution autonome et services web intégrés

Ce mode expérimental va au-delà du simple explorateur de fichiers. L’agent IA peut exécuter des actions concrètes en arrière-plan et prévenir l’utilisateur une fois la tâche terminée. Même si, dans sa première version, l’agent se limite aux versions web des applications (sites ou web apps) pour des actions comme la réservation de billets d’avion ou l’envoi de courriels, son intégration profonde à Windows (explorateur de fichiers, paramètres) promet déjà un gain de productivité considérable.

Voici un aperçu des actions que l’agent IA peut réaliser :

Catégorie de tâche	Exemples d’actions prises en charge par Copilot Actions	Domaine d’intégration
Gestion des fichiers	Trier, renommer, déplacer, ou supprimer des fichiers locaux	Explorateur de fichiers
Productivité	Mettre à jour des documents, envoyer un courriel, extraire des informations d’un PDF	Applications web et système
Services et Réservations	Ajouter un rendez-vous à l’agenda, réserver des billets de train ou un restaurant	Applications web (sites ou web apps)

La possibilité de déléguer ces « corvées » ou tâches ennuyeuses permet à l’utilisateur de se concentrer sur ce qui génère le plus de valeur.

Sécurité et maîtrise : l’utilisateur au centre des agents IA

L’introduction d’une IA dans Windows capable d’agir de manière autonome soulève naturellement des questions de sécurité et de confidentialité. Microsoft, ayant appris des expériences passées, déploie ces nouvelles capacités avec une approche extrêmement prudente et progressive, insistant sur la primauté du contrôle utilisateur. En effet, l’objectif est de s’assurer que les utilisateurs se sentent en sécurité et en maîtrise de leur expérience. Par exemple, pour garantir une exploration confiante de ces nouvelles capacités, Copilot Actions sera désactivé par défaut. L’utilisateur doit l’activer volontairement dans les paramètres du système.

En plus, les agents opèrent dans un environnement contenu et isolé, appelé « agent workspace », via des comptes dédiés distincts de ceux de l’utilisateur. Cela permet d’appliquer des politiques de sécurité spécifiques et de limiter strictement les privilèges de l’IA. L’agent commence avec des permissions minimales et n’accède qu’aux ressources (fichiers, dossiers) que l’utilisateur autorise explicitement. Initialement, l’accès se limite à un ensemble restreint de dossiers locaux, comme Documents, Téléchargements ou Images. Plus rassurant encore, l’utilisateur peut surveiller la progression des tâches. Pour les actions jugées sensibles ou importantes pour le système ou les fichiers, Copilot demandera toujours une approbation supplémentaire avant de continuer.

Copilot Actions : l’avenir conversationnel, guidé par la confiance

Microsoft est convaincu que cette transition vers une interaction conversationnelle sera aussi révolutionnaire pour le grand public que l’a été l’introduction de la souris et du clavier. En intégrant l’IA de manière omniprésente, mais non intrusive, la firme de Redmond facilite la vie numérique. Elle rend l’assistant capable de déchiffrer ce que l’utilisateur veut dire et de lire, d’une certaine manière, dans ses pensées.

Les nouvelles fonctionnalités de Copilot sont actuellement en phase de test auprès des membres Windows Insiders, permettant à Microsoft de recueillir des retours précieux et d’ajuster les contrôles de sécurité avant une disponibilité plus large. Il est clair que l’avenir du PC sera conversationnel, guidé par un agent IA sécurisé, proactif et toujours sous le contrôle bienveillant de l’utilisateur.

Source et crédit photo : Microsoft