Vincent
Une matinée à laisser ChatGPT tourner en arrière-plan, à observer chaque clic, chaque fenêtre ouverte, chaque fichier glissé d’un dossier à l’autre. Et le lendemain, sans une ligne d’instruction supplémentaire, l’assistant reproduit la tâche de A à Z. Ce scénario, qui ressemble à de la science-fiction domestique, correspond en réalité à une fonctionnalité bien réelle et récemment déployée par OpenAI : la possibilité d’enregistrer un flux de travail pour que ChatGPT en tire une compétence réutilisable.
Le mécanisme s’appelle Record & Replay. Le principe tient en une phrase : pendant l’enregistrement, ChatGPT ou Codex observe les actions et le contenu des fenêtres nécessaires pour apprendre le flux de travail, et l’enregistrement continue jusqu’à ce que l’utilisateur l’arrête. Une fois la session terminée, l’IA ne se contente pas de stocker une vidéo brute quelque part. Elle analyse ce qu’elle vient de voir et en tire une procédure structurée : après l’arrêt de l’enregistrement, ChatGPT ou Codex examine le flux de travail capturé et rédige une compétence qui explique quand l’utiliser, quelles entrées elle nécessite, quelles étapes suivre et comment vérifier le résultat. C’est cette compétence, appelée “skill” dans la documentation, qui permet ensuite de relancer la tâche sans tout réexpliquer.
Concrètement, il suffit d’ouvrir une nouvelle conversation le jour suivant et de demander à l’assistant d’utiliser la compétence apprise, en précisant uniquement ce qui change. Comme le résume la documentation officielle, l’utilisateur démarre une nouvelle conversation et demande d’utiliser la compétence générée, en donnant les valeurs qui diffèrent cette fois, comme le fichier à charger, l’issue à créer ou la période du rapport ; le produit utilise alors la compétence comme contexte réutilisable pour la tâche. l’IA n’a pas mémorisé une vidéo à rejouer bêtement, elle a compris une logique et sait l’adapter à des paramètres différents.
À retenir
- ChatGPT peut désormais observer votre écran en temps réel et en comprendre la logique métier
- La fonction Computer History enregistre les interactions jusqu’à 48 heures sans prise de capture d’écran classique
- L’IA génère une compétence réutilisable adaptable à différents paramètres, bien au-delà du simple rejoué vidéo
Pourquoi cette approche change la donne face à un simple copier-coller de prompt
Ce qui rend l’exercice intéressant, c’est la différence avec les méthodes classiques de mémorisation. Un chatbot qui se contente de lire un texte tapé au clavier ne voit jamais l’enchaînement réel des gestes. Un observateur spécialisé dans le sujet le formule bien : ce que Computer History apporte, c’est un enregistrement séquentiel et en temps réel du déroulement effectif d’un travail, pas un instantané statique ni un prompt rédigé à la main ; c’est ce séquençage qui rend possible le comportement de suggestion d’automatisation. La nuance est de taille : une IA qui ne voit qu’un document terminé ignore comment on y est arrivé, alors qu’une IA qui a observé l’ouverture d’un fichier, sa modification, son enregistrement puis son envoi par e-mail peut reconstituer le flux de travail et proposer de l’empaqueter en compétence réutilisable.
Cette capacité d’observation ne se limite pas à la seule séance d’enregistrement volontaire. OpenAI a aussi déployé, sur l’application Mac de ChatGPT, une fonction baptisée Computer History qui fonctionne en toile de fond. Elle ne prend pas de captures d’écran classiques mais s’appuie sur les mécanismes d’accessibilité du système : au lieu de s’appuyer sur des captures d’écran, elle enregistre des événements d’interaction accessibles via les mécanismes d’accessibilité de macOS, comme les clics, le texte saisi au clavier, les raccourcis clavier et les changements d’application. De quoi permettre à l’assistant de répondre à des questions du type “sur quoi je travaillais avant ma pause déjeuner” ou de retrouver un document consulté le matin même, sans que l’utilisateur ait dû noter la référence quelque part.
Ce que l’assistant garde en mémoire, et ce qu’il oublie volontairement
La donnée collectée n’est pas éternelle. OpenAI précise que ces événements d’interaction ne sont stockés que temporairement, jusqu’à 48 heures. Cela limite la profondeur de l’historique consultable, mais suffit largement pour reconstituer le déroulé d’une matinée de travail et en tirer une automatisation, comme le suggère justement le scénario du titre. La fonction reste toutefois cantonnée pour l’instant à un public restreint : la fonction est proposée aux abonnés ChatGPT Pro, Business et Enterprise, hors Espace économique européen, Suisse et Royaume-Uni. Un utilisateur français avec un abonnement gratuit ou même Plus ne peut donc pas encore y accéder, réglementation européenne oblige.
Sur le plan de la sécurité, OpenAI a anticipé certains dérapages. La documentation recommande explicitement de la prudence : OpenAI recommande d’exclure les applications qui manipulent des informations sensibles, ainsi que de couper la collecte lors d’échanges avec des personnes n’ayant pas donné leur consentement explicite. L’entreprise va même plus loin en alertant sur un risque technique spécifique, puisqu’elle alerte également sur le risque d’injection de prompt par des contenus malveillants affichés dans une application ou sur une page web. Un contenu piégé affiché à l’écran pendant l’observation pourrait, en théorie, manipuler le comportement de l’assistant. Pas de quoi paniquer, mais de quoi rester vigilant avant d’activer ce genre de fonction sur un poste professionnel partagé.
Une tendance qui dépasse largement ChatGPT
Ce virage vers l’observation continue s’inscrit dans une ambition bien plus large affichée par le patron d’OpenAI. Sam Altman a récemment décrit un futur où l’assistant deviendrait un compagnon permanent : “je pense que nous sommes proches d’un monde où vous pouvez avoir un descendant de ChatGPT qui regarde votre écran d’ordinateur en permanence, qui assiste à chaque réunion à laquelle vous participez, qui enregistre chaque appel, avec un contexte parfait de toute votre vie”. Une déclaration qui a suscité son lot de réactions inquiètes en ligne, notamment sur le sort réservé à ces données une fois collectées à grande échelle.
Reste une question concrète, loin des discours de prospective : est-ce que cette automatisation vaut le coup pour une tâche répétitive de bureau, comme trier des factures ou remplir un tableau de suivi ? Sur ce point, le retour d’expérience compte plus que la promesse marketing. Les premiers testeurs signalent que la compétence apprise fonctionne bien tant que la structure de la tâche reste stable, mais qu’elle demande souvent un ajustement dès qu’un détail change dans l’interface d’une application tierce. la magie opère, mais elle n’est pas encore totalement infaillible.
Sources : leclaireur.fnac.com | vieassociative.be
