Benchmark · Nieuws en duiding

Test op WebArena: met WebMCP-tools slagen meer taken, maar niet elke tool helpt

In het kort

Een team van Huawei Canada testte WebMCP-tools op WebArena, een benchmark met 812 webtaken, en liet de cijfers op 28 oktober zien op TPAC. In één testreeks steeg het aandeel geslaagde taken van 39,66 naar 50,49 procent en daalde het tokengebruik met 28,82 procent. Dezelfde slides tonen een taak die met tools juist mislukte: de zoektool bracht de agent op een zoekpagina waar hij het tabblad met issues niet vond. Test daarom de hele taak, niet alleen de tool.

Helpt een WebMCP-tool een agent altijd? Op TPAC 2026 in Dublin liet een team van Huawei Canada cijfers zien van een test op WebArena, een openbare benchmark voor webagents. Met tools slaagden er meer taken en waren er meestal minder tokens nodig. De slides tonen ook een taak waarbij de agent met tools slechter af was. Wat is er gemeten, en wat doe je ermee?

Wat is er getest?

Op 28 oktober 2026 leidde Yunhao Luo van Huawei Canada op TPAC, de jaarlijkse bijeenkomst van de W3C, een open sessie van een uur: ‘Extending WebMCP’. De slides staan op naam van Luo en Wei Fang, ook van Huawei Canada. Het was een breakoutsessie, een onderdeel dat deelnemers zelf voorstellen. Het was geen vergadering van de W3C-groep die WebMCP ontwikkelt. Wat die groep een dag eerder besloot, lees je in ons artikel over de standpunten na TPAC.

De test draait op WebArena, een benchmark met 812 taken op testwebsites die echte sites nabootsen: een webwinkel, het beheerscherm van een webwinkel, een forum zoals Reddit, GitLab, een kaart en Wikipedia. WebArena heeft zelf geen WebMCP-tools. Het team liet ze daarom automatisch maken. Dat gebeurde op basis van de pagina's van de sites en niet op basis van de testtaken, en elke tool werd daarna apart gecontroleerd.

Dat leverde 184 tools op: 69 voor GitLab, 58 voor het beheerscherm, 23 voor de webwinkel, 19 voor het forum, 9 voor Wikipedia en 6 voor de kaart. Het zijn kleine bouwstenen, zoals sort_products om een productlijst te sorteren en list_products om die uit te lezen. Volgens de slides lezen 44 tools alleen iets uit, voeren 76 een handeling uit en navigeren er 64.

De meeste tools zijn in JavaScript geschreven. Voor handelingen in de vorm van een formulier koos het team de formuliervariant van WebMCP, volgens de slides 21 keer. Die variant staat sinds 8 oktober voorlopig niet meer in de specificatie. De cijfers zeggen dus niets over welke browser of agent zulke formulieren nu herkent.

Wat de cijfers laten zien

Het team vergeleek vier agents, WebOperator, CUGA, ColorBrowserAgent en AgentOccam, elk met vier taalmodellen. Elke combinatie is gemeten met en zonder de tools. In alle zestien combinaties slaagden er met tools meer taken: 0,4 tot 23,4 procentpunt meer. Het gemiddelde aantal tokens per taak daalde in veertien combinaties, met 11,6 tot 57,3 procent. In twee combinaties steeg het, met 8,2 en 18,1 procent.

Voor één reeks, met de agent AgentOccam over alle 812 taken, geven de slides ook de totalen. Het aandeel geslaagde taken steeg van 39,66 naar 50,49 procent: 10,84 procentpunt meer. Het totale tokengebruik daalde van 205,59 naar 146,35 miljoen: 28,82 procent minder. Welk taalmodel deze reeks gebruikte, staat niet op die dia.

Per site loopt de winst sterk uiteen.

SiteGeslaagd zonder toolsGeslaagd met tools
Kaart30 van 10962 van 109
Beheerscherm webwinkel90 van 182116 van 182
Webwinkel82 van 18792 van 187
Forum81 van 10686 van 106
GitLab37 van 18047 van 180
Taken over meerdere sites2 van 487 van 48

Eén taak ging beter, één taak slechter

De slides lichten twee taken uit.

TaakAlleen browserbedieningMet WebMCP-tools
Tel de reviews met het woord ‘disappointed’ (beheerscherm webwinkel)Mislukt na 27 acties en 570.100 tokensGeslaagd in 3 acties en 30.200 tokens
Open mijn laatst bijgewerkte issue met ‘feature’ in de titel en kijk of het gesloten is (GitLab)Geslaagd in 21 acties en 161.800 tokensMislukt na 40 acties en 817.600 tokens

Bij de eerste taak had de agent de tool filter_reviews, die het overzicht met reviews filtert. De agent riep die aan met het woord ‘disappointed’ en las daarna het aantal af: zes. Zonder tools probeerde de agent volgens de slides telkens opnieuw de tabel te bedienen, en mislukte de taak.

Bij de tweede taak ging het met tools mis. De tool search_gitlab opent de algemene zoekpagina van GitLab. De agent zocht daarmee op ‘feature is:issue’. Op de schermafbeelding in de slides staat die pagina op het tabblad met projecten, zonder resultaten. De agent bleef klikken en de resultaten opnieuw uitlezen, tot het maximum van 40 acties bereikt was. Volgens de slides speelden twee dingen mee: het model zag het tabblad Issues over het hoofd, en in de toolset ontbrak een manier om van tabblad te wisselen.

Tools vervangen de browser niet

Ook met tools bleef de agent klikken, typen en navigeren. Een volgende dia over AgentOccam telt 9.885 stappen in de reeks met tools. Daarvan waren er 3.361 een toolaanroep, ongeveer een derde. Op de kaart was dat 75 procent van de stappen, bij GitLab 25 procent. Zonder tools had de agent 14.208 stappen nodig.

Een tool is ook geen garantie. In 86 taken riep AgentOccam de routetool get_directions aan. Daarvan slaagden er 40. Zonder tools slaagden er van dezelfde 86 taken 12. Met de tool mislukte dus nog steeds meer dan de helft.

Wat de test niet zegt

Dit is een benchmark op testwebsites, geen meting bij echte bezoekers. De tools zijn automatisch gemaakt door het team zelf, niet door de bouwers van de sites. De cijfers staan alleen in slides: op de sessiepagina staan de slides en de conceptnotulen, maar geen paper, code of toolset. De slides zeggen ook niet hoe vaak elke taak is uitgevoerd, of met welke browser of koppeling de agents de tools aanriepen.

Tokens zijn geen euro's. Wat een taak kost, hangt af van het model en de prijs per token, en het bouwen en onderhouden van tools telt hier niet mee. Het is ook geen besluit van de W3C: een breakoutsessie is een presentatie met discussie.

Eerder schreven we over de WindTunnel-benchmark. Daar leverde de testomgeving de WebMCP-tools mee. Hier zijn ze automatisch uit de pagina's afgeleid, en laat het team zelf een taak zien die slechter ging. De les is in beide gevallen dezelfde: of een agent iets aan een tool heeft, hangt af van het ontwerp van die tool.

Wat je nu doet

In de vragenronde ging het onder meer over de afweging tussen geslaagde taken en tokengebruik. Volgens de conceptnotulen, een ruwe transcriptie, zei Luo dat daar geen algemene aanpak voor is: sites bouwen dezelfde functie op verschillende manieren, en alleen de ontwikkelaar van een site weet wat daar goed werkt. Praktijkadviezen moeten volgens Luo nog volgen.

Je kunt intussen zelf testen, en daarvoor hoef je geen 812 taken te draaien. Neem één taak die klanten vaak uitvoeren, zoals een product zoeken of een afspraak plannen, en loop deze vragen langs. Dit is ons advies, geen onderdeel van de presentatie.

Vraag bij je eigen toolWaarom
Waar staat de agent na de aanroep?De zoektool in de GitLab-taak opende een pagina waar de agent niet verder kwam
Kan de agent kiezen waarin hij zoekt?In de GitLab-taak ontbrak een manier om naar de issues te gaan
Geeft de tool het antwoord terug, of alleen een scherm?Dan hoeft de agent het antwoord niet zelf op de pagina te zoeken
Werkt de taak ook met gewoon klikken en typen?Ook met tools was twee derde van de stappen browserbediening
Heb je de taak met en zonder tool laten uitvoeren, en de mislukte pogingen gelezen?Een gemiddelde verbergt de taken die slechter gaan

Laat de taak uitvoeren door een model dat je code niet kent, zoals in de lessen uit twaalf apps. Wij doen zo'n test met herhalingen en een uitsplitsing per fout in Agent Tool Evals.

Bronnen

Deel dit artikelLinkedInX
Volgende stap

Meer context bij dit onderwerp: Wat is WebMCP? De complete uitleg. Benieuwd hoe jouw site ervoor staat? Doe de gratis AI-Ready Websitescan.