We noemen pas een percentage
als we jouw orders hebben gezien.
Veel aanbieders noemen hetzelfde soort cijfer: 87% automatisch, van twaalf minuten naar 45 seconden. Waar die twaalf minuten vandaan komen, vertelt niemand. Er bestaat ook geen openbare meting van hoe lang orderinvoer in de Nederlandse groothandel duurt, niet bij het CBS en niet bij de brancheverenigingen.
Wij kijken vooral naar één getal: hoeveel orders er fout doorheen gaan zonder dat iemand het ziet. Dat getal publiceert bijna niemand. Bij ons staat het bovenaan.
| Meting | Schoon | Typefouten | Scanruis | Synoniemen | Alles tegelijk |
|---|---|---|---|---|---|
| Orderregels correct | 100,0% | 91,3% | 94,0% | 97,8% | 85,2% |
| Orders zonder handwerk | 54,5% | 34,8% | 34,8% | 50,0% | 22,7% |
| Fout en ongezien doorgelaten | 0 | 0 | 0 | 0 | 0 |
Dit is onze eigen testset: een verzonnen groothandel met 22 documenten en 61 orderregels. De documenten zijn gelezen met vaste uitleesregels die we zelf voor deze set hebben geschreven, nog niet met het taalmodel. Het is dus geen klantresultaat. In de kolommen met schade hebben we dezelfde documenten expres beschadigd en het gemiddelde van drie runs genomen. De kolom ‘Schoon’ is één run op precies de documenten waarvoor de regels zijn geschreven. Die zegt daarom weinig.
Bij de zwaarste schade blijft 85,2% van de regels correct, maar kan nog maar 22,7% van de orders zonder mens door. Dat is zo bedoeld: hoe minder zeker het systeem is, hoe voorzichtiger het wordt. De grens waarboven een regel automatisch door mag, hebben we op deze testset in één run gemeten. Onder 0,90 ging er wel eens iets mis, daarboven niet. Of dat ook geldt voor het taalmodel en jouw orders, laat de nulmeting zien. Automatische goedkeuring staat bij de start uit: je zet haar zelf aan, als de nulmeting dat op jouw orders rechtvaardigt.