Mean reciprocal rank

Il Mean Reciprocal Rank (MRR), rank reciproco medio, è un indice statistico per valutare un processo che produce una lista di possibili risposte ad una interrogazione (query), ordinate per probabilità di correttezza.

Definizione

Il reciproco del rank di una risposta ad una query è l'inverso della posizione (rank) della prima risposta corretta nella lista ordinata delle risposte. Il MRR è la media dei rank reciproci dei risultati per un insieme di query Q^[1]:

La formula

$MRR={\frac {1}{\mid {Q}\mid }}\sum _{i=1}^{Q}{\frac {RelevanceLabelValue}{rank_{i}}}$

Esempio

Per esempio supponiamo di avere le tre seguenti query per un sistema che cerca di tradurre parole inglesi nel loro plurale. In ogni caso il sistema riporta tre possibili risultati ordinati secondo la probabilità di essere corretti:

Query	Risultati	Risposta corretta	Rank	Reciprocal rank
cat	catten, cati, cats	cats	3	1/3
torus	torii, tori, toruses	tori	2	1/2
virus	viruses, virii, viri	viruses	1	1

Ora è possibile procedere al calcolo dell'MRR: (1/3 + 1/2 + 1)/3 = 11/18, cioè

MRR = 0.61

Questa definizione di base non specifica cosa fare se:

nessuno fra i risultati è corretto, in questo caso si usa reciprocal rank 0;
ci sono più risposte corrette nella lista, si consideri di usare la mean average precision (MAP).

Note

^ E.M. Voorhees, TREC-8 Question Answering Track Report, Proceedings of the 8th Text Retrieval Conference, 1999, pp. 77–82.

Voci correlate

^ D. R. Radev, H. Qi, H. Wu, W. Fan, Evaluating web-based question answering systems, Proceedings of LREC, 2002.

[1] E.M. Voorhees, TREC-8 Question Answering Track Report, Proceedings of the 8th Text Retrieval Conference, 1999, pp. 77–82.

[2] D. R. Radev, H. Qi, H. Wu, W. Fan, Evaluating web-based question answering systems, Proceedings of LREC, 2002.

[1]

[1]