JavaScript is currently disabled.Please enable it for a better experience of Jumi. IBM: maskiner förstår tal sämre än människor

I höstas hävdade Microsoft att maskinerna kommit ikapp människorna i uppgiften att uppfatta ord i telefonsamtal. Men IBM hävdar i en färsk forskningsrapport att människors testresultat har underskattats.

IBM har slagit Microsofts rekord från i höstas i ett benchmark för taligenkänning. 

Ändå hävdar IBM att dess algoritmer fortfarande har en bit kvar till människans nivå. Detta trots att Microsoft i höstas använde sina egna snäppet sämre resultat som indikation på att maskinerna kommit ikapp.

Förklaringen är att IBM gjort nya experiment för att fastställa var människas resultat egentligen ligger.

Microsoft ansåg sig i höstas ha kommit en tiondels procent under människans felprocent, som antogs ligga på 5,9 procent. IBM:s algoritmer klår nu Microsofts siffra med en felprocent på bara 5,5 procent.

Å andra sidan hävdar IBM samtidigt att människan är duktigare än 5,9 procent. Efter nya experiment på människor sänker IBM vår felprocent till 5,1 procent. 

Alla resultat ovan gäller en viss inspelning av engelskspråkiga samtal med växeltelefonister. Vad gäller en annan inspelning, av samtal mellan familjemedlemmar, är skillnaden mellan maskin och människa ännu större. 

– Å andra  sidan är  ju detta positivt på det viset att framtiden för conversational speech recognition ser ljus ut i åtminstone några år till, skriver IBM-forskarna i sin rapport.

IBM har fler reflektioner kring testet, bland annat viss kritik mot hur testdatat ser ut. Du kan hitta de tekniska detaljerna i IBM:s artikel här (länk). 

År 1995 hade IBM:s bästa algoritmer en felprocent på 43 procent. År 2004 låg siffran på 15,2 procent. Därefter kom genombrottet för AI-tekniken deep learning och drog ner IBM till 8 procent år 2015. Deep learningalgoritmerna har därefter fintrimmats steg för steg till att nu nå 5,5 procent.


FOTNOT: • Siffror i artikeln har korrigerats

MER LÄSNING:
 
KOMMENTARER
Kommentarer via Disqus

Anne-Charlotte Lantz

Anne-Charlotte
Lantz

+46(0)734-171099 ac@etn.se
(sälj och marknads­föring)
Per Henricsson

Per
Henricsson
+46(0)734-171303 per@etn.se
(redaktion)

Jan Tångring

Jan
Tångring
+46(0)734-171309 jan@etn.se
(redaktion)