Microsoft supera a Symantec en la prueba de antivirus

En la última prueba a pedido de AV-Comparatives, bastantes productos perdieron puntos debido a falsos positivos, identificando erróneamente un programa válido como malware. Symantec y Microsoft obtuvieron una puntuación similar en función de la detección de muestras de malware, pero Symantec perdió puntos debido a falsos positivos. Sin embargo, hay más en la historia que eso.

Escaneo bajo demanda

La prueba de escaneo a pedido expone cada producto probado a una colección de "muestras de las últimas semanas / meses que están / estaban afectando a los usuarios en el campo". Las muestras se analizan más a fondo para clasificar archivos similares y reducir el tamaño del conjunto de muestras, por lo que "cada falla está destinada a representar un grupo perdido". Esta prueba en particular utiliza 136, 610 muestras recientes. La puntuación inicial de un producto es el porcentaje de muestras detectadas.

Sorprendentemente, el Norton AntiVirus de Symantec demostró la tasa de detección más baja (antes de considerar los falsos positivos), con una detección del 91.2 por ciento. Microsoft Security Essentials fue más alto, detectando el 92 por ciento de las muestras. Con una detección del 99.9 por ciento, G Data AntiVirus encabezó la lista. Varios otros lograron mejor que el 99 por ciento.

Falsos positivos

Los investigadores de AV-Comparatives utilizan una técnica de agrupamiento para identificar los puntos de corte que separan AVANZADO + (la calificación más alta) de AVANZADO y AVANZADO de ESTÁNDAR. Ese es el punto de partida, pero un producto con muchos (16 a 50) falsos positivos perderá un nivel de calificación, y uno con muchos (51 a 100) perderá dos. No importa cuál sea su calificación inicial, si un producto muestra "falsos muchos" (más de 100) falsos positivos, siempre recibirá la calificación de no PROBADO de PROBADO.

Nueve de los veinte productos probados perdieron un nivel de calificación debido a muchos falsos positivos. Al menos ninguno de ellos tenía muchos FP o "muchos locos". Norton, comenzando con una calificación de ESTÁNDAR, se hundió en PROBADO, al igual que AhnLab. En el círculo de ganadores, con una calificación de AVANZADO +, encontramos a Avira, Bitdefender, BullGuard, F-Secure y Kaspersky. Haga click aquí para ver el informe completo.

Tenga en cuenta que no encontrará Microsoft en la lista de premios. Al principio pensé que esto era un descuido, pero el cofundador de AV-Comparatives, Peter Stelzhammer, me dejó claro. "Decidimos no incluir más a Microsoft en la Sección de Premios (y en cualquier otra prueba)", explicó Stelzhammer, "ya que su protección predeterminada está habilitada en Windows de forma predeterminada". De manera similar, AV-Test ha elegido tratar el puntaje de Microsoft como una línea de base mínima.

Positivos falsos ponderados

Symantec ha estado contento durante años de que un simple conteo de falsos positivos no sea útil. Los investigadores de Symantec recomiendan que cualquier prueba de falso positivo incluya una ponderación basada en la prevalencia del archivo involucrado. Sostienen que su sistema de análisis Norton Insight excluye la posibilidad de un falso positivo en cualquier archivo, excepto aquellos con baja prevalencia. Un documento secundario de AV-Comparatives sugiere que pueden tener razón.

El apéndice Falso Positivo del informe a pedido enumera cada archivo que cada producto detectó erróneamente como malware, junto con el nombre del malware utilizado y una estimación de prevalencia. Identificaron cinco niveles, desde "probablemente menos de cien usuarios" hasta "probablemente varios cientos de miles (o millones)".

Solo para ver, elijo un número representativo de usuarios en cada nivel, 50 usuarios para el primer nivel y diez veces mayor para cada nivel superior, con 500, 000 usuarios de los programas más frecuentes. Luego calculé el número de usuarios que podrían verse afectados por los falsos positivos de cada producto. Los resultados, que se muestran en la tabla a continuación, me sugieren que los AV-Comparatives deberían considerar usar un cálculo de PF ponderado similar.

En este gráfico, los productos que perdieron un nivel de calificación debido a falsos positivos se muestran en negrita y cursiva. Mi cálculo ponderado tiene Norton FP que afecta potencialmente a 13, 750 usuarios. Varios productos que no fueron criticados en función del número de FP realmente tuvieron un efecto mayor que Symantec, incluidos los ganadores Kaspersky y F-Secure.

Emsisoft tuvo el mayor número de falsos positivos en general, 38 de ellos. Terrible, ¿verdad? Pero ninguno de los dos niveles más altos de prevalencia, por lo que su efecto teórico es menor que el de Sophos, con un total de 6 PF, o ESET, con 9 PF.

McAfee obtuvo una calificación AVANZADA en la prueba básica a pedido. Con 15 falsos positivos, es poco menos que el número que haría que pierda un nivel de calificación. Sin embargo, mi cálculo ponderado lo hace potencialmente responsable de afectar a más de doscientos mil usuarios, casi 16 veces más que Norton.

Estos no son números del mundo real, solo un experimento mental para ayudar a comprender lo que significaría usar prevalencia en la medición de falsos positivos. Después de realizar este ejercicio, me queda la esperanza de que los AV-Comparatives encuentren una forma de factorizar la prevalencia en sus pruebas de falsos positivos. Solo contar los números claramente no es suficiente.