Google ajoute un outil de contrôle d'écran à Gemini 3.5 Flash

Google ajoute un outil de contrôle d’écran à Gemini 3.5 Flash

Google a lancé l'utilisation de l'ordinateur comme outil intégré dans Gemini 3.5 Flash, permettant aux agents IA d'interagir nativement avec les écrans.thenextweb+1
Cette capacité nécessitait auparavant un modèle distinct ; elle fonctionne désormais aux côtés de l'exécution de code, de la recherche et de l'appel de fonctions au sein d'un modèle unique.thenextweb+1
Google a ajouté des mesures de protection pour les entreprises, notamment la confirmation de l'utilisateur pour les actions sensibles et l'arrêt automatique en cas d'attaques par injection de requêtes.thenextweb+1

Google Alphabet Inc. a lancé mardi l'utilisation de l'ordinateur comme outil intégré dans Gemini 3.5 Flash, permettant aux développeurs de créer des agents IA capables de voir, de raisonner et d'interagir avec des écrans dans des environnements de navigateur, mobiles et de bureau. Cette capacité, auparavant disponible uniquement via le modèle autonome d'utilisation de l'ordinateur Gemini 2.5, est désormais intégrée nativement dans le modèle Flash principal.thenextweb+1

Du modèle autonome à l'outil natif

L'intégration signifie que les développeurs n'ont plus besoin d'appeler un modèle dédié distinct pour créer des agents interagissant avec des interfaces graphiques. Au lieu de cela, l'utilisation de l'ordinateur peut être activée comme l'un des nombreux outils au sein de Flash — aux côtés de l'exécution de code, de la recherche et de l'appel de fonctions — via l'API Gemini et la plateforme Gemini Enterprise Agent, anciennement connue sous le nom de Vertex AI.investing+1

Le chef de produit Mateo Quiros a décrit l'intégration comme donnant à Flash la capacité de "voir, raisonner et agir sur les écrans", selon The Next Web. Google a déclaré que la mise à jour améliore les performances pour les tâches d'automatisation à long terme et en entreprise, telles que les tests logiciels continus et le travail basé sur les connaissances au sein des applications professionnelles.thenextweb+2

Mesures de protection et sécurité en entreprise

Pour répondre aux risques de sécurité pour les agents opérant dans des environnements réels, Google a introduit une formation contradictoire ciblée pour contrer les attaques par injection de requêtes. L'entreprise propose également deux mesures de protection optionnelles pour les entreprises : l'une exigeant une confirmation explicite de l'utilisateur avant que l'agent n'exécute des actions sensibles ou irréversibles, et l'autre arrêtant automatiquement l'agent s'il détecte une tentative d'injection de requête indirecte.investing+1

Google fournit également un environnement de démonstration hébergé par Browserbase pour permettre aux développeurs de tester ces capacités.investing

Contexte au sein de la stratégie IA de Google

Gemini 3.5 Flash a été lancé pour la première fois lors de la conférence Google I/O le 19 mai 2026 en tant que modèle d'IA agentique le plus rapide de Google, offrant ce que l'entreprise a qualifié de performances de pointe pour les agents et les tâches de codage. Le modèle a été lancé avec une fenêtre de contexte d'entrée d'un million de jetons et une prise en charge native de l'appel de fonctions, de la sortie structurée et de l'exécution de code, mais n'incluait pas initialement l'utilisation de l'ordinateur.simonwillison+3

La mise à jour du 24 juin, documentée dans le journal des modifications de l'API de Google en tant qu'aperçu public, comble cette lacune et positionne Gemini 3.5 Flash comme un modèle unique capable de gérer toute la gamme des tâches agentiques — de la génération de code à l'interaction directe avec l'écran — sans obliger les développeurs à orchestrer plusieurs modèles.google

Sources (14)