Vanliga frågor och svar om datoranvändningsverktyget

Dessa vanliga frågor (FAQ) ger insikter om datoranvändningsverktygets funktioner, användning, begränsningar och skyddsåtgärder som du bör känna till när du lägger till datoranvändningsverktyget i dina Copilot Studio-agenter.

Vad är verktyget för datoranvändning?

Datoranvändning är ett verktyg som du kan lägga till i dina Copilot Studio-agenter som är utformade för att automatisera uppgifter på webbplatser och i appar. Du tillhandahåller uppgiftsbeskrivningar på naturligt språk och verktyget automatiserar musklickningar och tangentbordsåtgärder i enlighet med detta. Du kan till exempel instruera verktyget att öppna en PDF-fil och använda dess innehåll för att fylla i ett webbformulär. Verktyget tolkar skärmen visuellt och kör nödvändiga klick och tangenttryckningar, vilket härmar mänskliga interaktioner.

Vad kan verktygen datoranvändning göra?

datoranvändningsverktyget bearbetar skärmens bildpunktsdata för att förstå innehållet på skärmen och utföra uppgifter med hjälp av virtuella musklick och tangentbordsindata. Verktyget kan hantera arbetsflöden i flera steg, hantera oväntade scenarier och anpassa sig dynamiskt till skärmens ändringar, vilket gör att det kan utföra olika digitala uppgifter som att navigera på webbplatser och fylla i formulär utan att behöva specialiserade API:er.

datoranvändningsverktyget följer en iterativ loop baserat på tre steg:

• Uppfattning: Den tar skärmbilder för att visuellt förstå datorskärmens aktuella tillstånd.

• Resonemang: Den utvärderar det aktuella tillståndet, tidigare åtgärder och skärmbilder genom en tankekedja, vilket gör att den kan anpassa sina åtgärder effektivt.

• Åtgärd: Den utför åtgärder som att klicka, skriva eller rulla tills uppgiften är klar eller kräver ytterligare användarinmatning.

Vilka är datoranvändningsverktygets avsedda användningsområden?

Datoranvändning-verktyget är avsett att automatisera användarinteraktioner med webbplatser och appar med hjälp av en virtuell mus och ett virtuellt tangentbord. Det är särskilt användbart i situationer där API:er inte är tillgängliga.

Hur utvärderades datoranvändningsverktyget? Vilka mått används för att mäta prestanda?

datoranvändningsverktyget utvärderades noggrant med hjälp av verkliga scenarier under design-, utvecklings- och distributionsfaserna. Utvärderingsmetoderna omfattade forskning, effektstudier och testning i olika scenarier för att mäta noggrannhet, användarförtroende och användbarhet. Både kvalitativa och kvantitativa mått övervakas regelbundet för att upprätthålla hög prestanda och en positiv användarupplevelse. Verktygets tillgänglighet säkerställs också genom att etablerade serviceavtal följs.

Vilka är begränsningarna i datoranvändningsverktyget? Hur kan användare minimera effekten av datoranvändningsverktygets begränsningar när de använder systemet?

Datoranvändning är en ny teknik med kända säkerhetsrisker och funktionsbegränsningar. Vi ger dig möjlighet att experimentera med det. Den här funktionen är i ett tidigt skede och möjliggör automatisering av vissa datorbaserade uppgifter, även om dess prestanda varierar mycket beroende på användningsfallet. Om du vill använda verktyget på ett effektivt och ansvarsfullt sätt bör du förstå dess nuvarande begränsningar:

Kända begränsningar

• Framgångsgraden varierar beroende på aktivitet: Verktyget presterar bäst på webbaserade uppgifter (cirka 80 % lyckades) men sjunker avsevärt för datorappar (cirka 35 % lyckades).
• Inkonsekvent prestanda: Samma uppgift kan ge olika resultat beroende på ändringar i visuella objekt eller tidsinställningar.
• Problem med vissa kontroller i användargränssnittet: Datoranvändning kan ha svårt att interagera med element som inte är standard eller dynamiska gränssnitt, till exempel listrutor, datumväljare eller anpassade widgetar.
• Loopar och fast tillstånd: I vissa fall går agenten in en loop eller fastnar när skärmen inte matchar förväntningarna eller ändras oförutsägbart.
• Utmaningar med komplexa uppgifter: Även om det är effektivt för enkla åtgärder kan verktyget ha svårt med detaljerade grafiska gränssnitt eller uppgifter som involverar invecklad textmanipulering.
• Inte för användningsfall som är känsliga eller innebär hög risk: Verktyget är inte avsett för:
  • Rekommendera eller bedöma inom känsliga områden, till exempel anställning, sjukvård eller ekonomi
  • Göra finansiella transaktioner
  • Skadliga åtgärder, till exempel skräppost eller felaktig information
  • Dela data utanför organisationen utan korrekt auktorisering

Så här minimerar du begränsningarna

För att förbättra tillförlitligheten bör du ge tydliga, detaljerade instruktioner när du konfigurerar uppgifter för att minska fel och öka framgångsfrekvensen.

Vad är funktionen för mänsklig övervakning?

Datoranvändningskörningar kan stöta på tvetydighet eller information som saknas. Till exempel kan ett obligatoriskt värde saknas, eller så finns det flera möjliga tolkningar. I dessa fall gör funktionen för mänsklig övervakning det möjligt för den datoranvändande agenten att pausa körningen och skicka en förtydligandeförfrågan till en auktoriserad och konfigurerad mänsklig granskare. Granskare kan svara via e-post eller i Copilot Studio med hjälp av agentens aktivitetskarta för körning. När den datorbaserade agenten får ett svar återupptas körningen från det pausade steget på kartan.

Tillförlitlighet och begränsningar

Produktdrivna utvärderingar visar att funktionen för mänsklig övervakning generellt fungerar som förväntat, men den kan misslyckas eller uppträda på oväntade sätt. Eftersom förtydligandeförfrågningar utlöses av probabilistiskt modellbeteende, kanske de inte utlöses i alla situationer där en person skulle vilja pausa. De kan också utlösas när en paus inte är nödvändig. Du bör inte förlita dig på förtydligandeförfrågningar som ett säkerhetsnät eller som en garanti för att systemet alltid kommer att begära mänsklig inblandning innan det fortsätter.

Inte en mekanism för att upprätthålla anpassade regler

Begäran om mänsklig övervakning garanterar inte att dina definierade regler, policyer eller begränsningar upprätthålls. Du bör tillämpa fler kontroller som är lämpliga för varje tänkbart scenario (till exempel: tydliga instruktioner, avgränsade miljöer, konton med minsta möjliga privilegier, tillåtlistor och andra operativa skyddsåtgärder) istället för att förlita dig på förtydligandeförfrågningar för att ge information eller förhindra oönskade åtgärder.

Vilka driftfaktorer och inställningar gör det möjligt att på ett effektivt och ansvarigt sätt använda datoranvändningsverktyget?

Verktyget för datoranvändning fungerar bäst när tydliga och detaljerade användarinstruktioner tillhandahålls. Användarna bör ge exakta tips om webbplats- eller appinteraktioner för att förbättra tillförlitligheten och noggrannheten under aktivitetens genomförande. För ökad synlighet och kontroll, möjliggör mänsklig övervakning genom att tilldela en eller flera auktoriserade granskare i verktygets konfigurationssida. När modellen upptäcker potentiellt skadliga instruktioner får dessa granskare aviseringar för att granska och besluta om körningen ska fortsätta eller avbrytas.

Hur ger jag feedback om datoranvändningsverktyget?

Har du feedback på datoranvändningsverktyget? E-post computeruse-feedback@microsoft.com.