Google lägger till verktyg för skärmkontroll i Gemini 3.5 Flash

Google har lanserat datoranvändning som ett inbyggt verktyg i Gemini 3.5 Flash, vilket gör att AI-agenter kan interagera med skärmar på ett naturligt sätt.thenextweb+1
Funktionen krävde tidigare en separat modell; nu fungerar den tillsammans med kodexekvering, sökning och funktionsanrop i en och samma modell.thenextweb+1
Google har lagt till säkerhetsåtgärder för företag, inklusive användarbekräftelse för känsliga åtgärder och automatiskt stopp mot "prompt injection"-attacker.thenextweb+1

Google Alphabet Inc. lanserade på tisdagen datoranvändning som ett inbyggt verktyg i Gemini 3.5 Flash, vilket gör det möjligt för utvecklare att bygga AI-agenter som kan se, resonera kring och interagera med skärmar i webbläsare, mobil- och skrivbordsmiljöer. Funktionen, som tidigare endast var tillgänglig via den fristående Gemini 2.5-modellen för datoranvändning, är nu inbyggd i huvudmodellen Flash.thenextweb+1

Från fristående modell till inbyggt verktyg

Integreringen innebär att utvecklare inte längre behöver anropa en separat, dedikerad modell för att bygga agenter som interagerar med grafiska gränssnitt. Istället kan datoranvändning aktiveras som ett av flera verktyg i Flash – vid sidan av kodexekvering, sökning och funktionsanrop – genom Gemini API och Gemini Enterprise Agent Platform, tidigare känt som Vertex AI.investing+1

Produktchefen Mateo Quiros beskrev integreringen som att ge Flash förmågan att "se, resonera kring och agera på skärmar", enligt The Next Web. Google uppgav att uppdateringen förbättrar prestandan för långsiktiga och automatiserade uppgifter inom företag, såsom kontinuerlig programvarutestning och kunskapsbaserat arbete i professionella applikationer.thenextweb+2

Säkerhetsåtgärder för företag

För att hantera säkerhetsrisker för agenter som opererar i live-miljöer har Google introducerat riktad motståndsträning för att motverka "prompt injection"-attacker. Företaget erbjuder även två valfria säkerhetsåtgärder för företag: en som kräver uttrycklig användarbekräftelse innan agenten utför känsliga eller oåterkalleliga åtgärder, och en annan som automatiskt stoppar agenten om den upptäcker ett försök till indirekt "prompt injection".investing+1

Google tillhandahåller dessutom en demonstrationsmiljö som drivs av Browserbase så att utvecklare kan testa dessa funktioner.investing

Kontext i Googles AI-strategi

Gemini 3.5 Flash släpptes första gången under Google I/O den 19 maj 2026 som Googles snabbaste agentiska AI-modell, och levererade vad företaget kallade banbrytande prestanda för agenter och kodningsuppgifter. Modellen lanserades med ett kontextfönster på en miljon tokens och inbyggt stöd för funktionsanrop, strukturerad utdata och kodexekvering, men inkluderade initialt inte datoranvändning.simonwillison+3

Uppdateringen från den 24 juni, dokumenterad i Googles API-ändringslogg som en offentlig förhandsversion, fyller detta gap och positionerar Gemini 3.5 Flash som en enskild modell som kan hantera hela spektrumet av agentiska uppgifter – från kodgenerering till direkt skärminteraktion – utan att utvecklare behöver koordinera flera modeller.google

Källor (14)