El análisis experimental del rendimiento de un nuevo algoritmo es una etapa crucial y necesaria en la investigación. En muchos casos, decidir si un algoritmo es mejor que otro no es una tarea trivial. Por ejemplo, si un algoritmo es ligeramente mejor que otro en 7 casos y mucho peor en otros 3, ¿cuál es mejor? Para solucionar este problema se debe usar tests estadísticos para comparar los algoritmos. En esta página se intenta responder a como se debería realizar el estudio experimental estadístico y que tests son los más adecuados para cada situación.

Dos eventos son independientes cuando el hecho de que uno ocurra no modifica la probabilidad de que ocurra el otro:

• Cuando se comparan dos algoritmos de optimización son normalmente independientes.
• Cuando se comparan algoritmos de aprendizaje automática depende de la partición de los datos:
  • Validación Cruzada: los resultados no son realmente independientes (parte de los ejemplos se usa tanto para training como para test en diferentes phrticiones).
  • Holdout: se puede asumir independencia, ya que los conjuntos de entrenamiento y test no se solapan.

Una observación es normal cuando su comportamiento sigue una distribución gaussiana. Para ello se puede aplicar un test de normalidad sobre los datos:

• Kolmogorov-Smirnov: compara la distribución acumulada de los datos observados con la distribución acumulada esperada por la distribución gaussiana.
• Shapiro-Wilk:
• D'Agostino-Pearson: