Mutation Testing

Code Coverage indica qué proporción del código se ejecuta a través de los tests, pero no revela si esos tests realmente verifican la presencia de errores. Mutation Testing cierra esta brecha insertando pequeños cambios en el código fuente y comprobando si los tests los detectan. Cuando una mutación (una fuente de error artificial) sobrevive la ejecución de tests, es evidente que el test no es lo suficientemente exhaustivo.

En Resumen

• Mutation Testing inserta errores artificiales en el código fuente.
• El objetivo es medir la calidad de los tests, no solo su cobertura.
• Mutation Score = mutantes eliminadas / todas las mutantes.
• El alto costo computacional es el mayor desafío.

Descripción Técnica Compacta

En Mutation Testing se generan mutantes, que son versiones ligeramente modificadas del código de producción. Una mutante puede cambiar un operador aritmético, invertir una condición o manipular un valor de retorno. La suite de tests se ejecuta contra cada mutante. Si al menos un test falla, la mutante ha sido eliminada. Si todos los tests pasan, la mutante ha sobrevivido, lo que sugiere que los tests son débiles.

Mutation Score

El Mutation Score se calcula así:

Mutation Score = (Mutantes Eliminadas / Número Total de Mutantes) * 100

Un score alto significa que los tests detectan errores en el código de manera confiable. Un score bajo indica que aunque los tests se ejecutan, no realizan una verificación efectiva.

Tipos de Mutaciones

Operadores Aritméticos

int result = a + b;  // Mutante: a - b

Operadores Relacionales

if (x > 10) { ... }  // Mutante: x < 10

Valores de Retorno

return true;  // Mutante: return false;

Eliminación de Sentencias

System.out.println("log");  // Mutante: línea eliminada

Condiciones

if (a && b)  // Mutante: if (a || b)

Herramientas Importantes

• PIT: Mutation Testing para Java y lenguajes de la JVM.
• Stryker: Mutation Testing para JavaScript, TypeScript y C#.
• MutPy: Mutation Testing para Python.
• Cosmic Ray: Mutation Testing para Python.
• Infection: Mutation Testing para PHP.

Ejemplo Práctico: Mutación Simple en Java

public class DiscountCalculator {
    public int calculate(int amount) {
        if (amount > 100) {
            return amount - 10;
        }
        return amount;
    }
}

@Test
public void testDiscountForLargeAmount() {
    DiscountCalculator calc = new DiscountCalculator();
    assertEquals(90, calc.calculate(100));  // Problema: valor límite 100 en lugar de 101
}

Una mutante cambia amount > 100 a amount >= 100. Para el valor de entrada 100, ambos casos resultan en 90. El test sobrevive la mutante, aunque la condición es diferente. Esto demuestra que el test no verifica correctamente el valor límite.

Ventajas y Desventajas

Ventajas

• Mejor calidad de tests: Mide si los tests realmente verifican.
• Menos falsos positivos en coverage: La cobertura por sí sola no es prueba de calidad.
• Enfoque en áreas críticas: Los tests débiles se hacen visibles.
• Tests mejores: Los desarrolladores se ven obligados a escribir assertions más exhaustivas.

Desventajas

• Alto costo computacional: Muchas mutantes generan muchas ejecuciones de tests.
• Mutantes equivalentes: Algunas mutaciones no cambian el comportamiento, pero no pueden ser detectadas automáticamente.
• Larga duración: En proyectos grandes, Mutation Testing puede tomar horas.
• Mantenimiento: Las nuevas mutantes deben regenerarse con los cambios de código.

Puntos Clave Relevantes para Exámenes

• Definición y propósito de Mutation Testing.
• Mutation Score y su cálculo.
• Tipos de mutaciones.
• Herramientas como PIT, Stryker y MutPy.
• Diferencia entre Coverage y Mutation Testing.
• Problemas de mutantes equivalentes.

Preguntas Típicas de Examen (con Respuesta Breve)

1. ¿Qué es Mutation Testing? Un método que inserta errores artificiales en el código para medir la calidad de los tests.

2. ¿Qué indica el Mutation Score? La proporción de mutantes que fueron detectadas y eliminadas por los tests.

3. ¿Qué es una mutante equivalente? Una mutación que no cambia el comportamiento del programa, pero aun así no es eliminada.

4. Menciona una herramienta de Mutation Testing. PIT, Stryker, MutPy o Infection.

5. ¿Cuál es la diferencia entre Coverage y Mutation Testing? Coverage mide qué código se ejecuta. Mutation Testing verifica si los tests detectan errores reales.

Fuentes Principales

1. https://pitest.org
2. https://stryker-mutator.io
3. https://en.wikipedia.org/wiki/Mutation_testing

Continuar en la Ruta de Aprendizaje de Software Testing

El siguiente artículo en la ruta de aprendizaje de Software Testing trata sobre Shift-Left Testing, cómo se colocan los tests más temprano en el proceso de desarrollo.