BLEU

El BLEU, Evaluación bilingüe suplente (Bilingual Evaluation Understudy, en inglés), es un método de evaluación de la calidad de traducciones realizadas por sistemas de traducción automática. Una traducción tiene mayor calidad cuanto más similar es con respecto a otra de referencia, que se supone correcta. BLEU puede calcularse utilizando más de una traducción de referencia. Esto permite una mayor robustez a la medida frente a traducciones libres realizadas por humanos.

BLEU se calcula normalmente a nivel de frases y halla la precisión en ngramas entre la traducción del sistema y la de referencia. Sin embargo, se utiliza una precisión modificada con el fin de solucionar ciertas deficiencias en la medida.

La precisión de ngramas entre 2 frases es:

${\displaystyle P={\frac {\mbox{ngramas comunes}}{\mbox{ngramas candidata}}}}$

En este ejemplo la precisión en 1-gramas sería de ${\displaystyle {\frac {4}{6}}}$ para la candidata 1 y de ${\displaystyle {\frac {3}{6}}}$ para la 2.

La precisión no es una medida adecuada para calcular la similitud entre 2 frases, como se puede ver a continuación:

En este caso tendríamos una precisión de ${\displaystyle {\frac {6}{6}}=1}$. Por ello se ha de tener en cuenta el número máximo de ocurrencias de un ngrama en la frase de referencia, siendo éste el límite a la hora de contabilizar las apariciones en la frase candidata. Con esto en cuenta la precisión modificada sería de ${\displaystyle {\frac {2}{6}}}$ en este último ejemplo.

Si las frases a comparar tienen una longitud muy distinta, no podemos afirmar que sean similares. Si la frase candidata tiene mayor longitud que la de referencia, este aspecto se ve reflejado en la fórmula de precisión modificada anterior. Habrá muchos ngramas en la frase candidata que no aparecerán en la frase de referencia por lo que la precisión será menor. Esto no ocurre cuando la frase de referencia es mucho menor, tal y como se puede observar en el siguiente ejemplo:

La precisión modificada sería de ${\displaystyle {\frac {2}{2}}=1}$ y no reflejaría la similitud entre ambas frases. Por ello se introduce un penalizador por brevedad de las frases candidatas.

${\displaystyle PB={\begin{cases}1\ {\mbox{si}}\ c>r\\e^{1-{\frac {r}{c}}}\end{cases}}}$

donde c es la longitud de la frase candidata y r la longitud de la frase de referencia.

Para el cálculo de BLEU se utiliza la media geométrica para los N ngramas que se vayan a utilizar. Cada ngrama tendrá un peso ${\displaystyle w_{n}}$ tal que ${\displaystyle \sum _{n=1}^{N}w_{n}=1}$. Típicamente ${\displaystyle w_{n}={\frac {1}{N}}}$

${\displaystyle BLEU=PB\cdot \exp \left(\sum _{n=1}^{N}w_{n}\log P_{n}\right)}$

• Papineni, K., Roukos, S., Ward, T., and Zhu, W. J. (2002). "BLEU: a method for automatic evaluation of machine translation" in ACL-2002: 40th Annual meeting of the Association for Computational Linguistics pp. 311--318

• Métodos de evaluación para la traducción automática
• Traducción asistida
• Lingüística
• Traducción automática mediante lenguaje intermedio
• Traducción automática mediante transferencia
• Traducción automática basada en el contexto
• Traducción automática estadística