Cómo probamos el software antivirus y de seguridad

Cada producto antivirus o suite de seguridad promete protegerlo de una multitud de riesgos y molestias de seguridad. ¿Pero realmente cumplen sus promesas? Al evaluar estos productos para su revisión, ponemos a prueba sus afirmaciones de muchas maneras diferentes. Cada revisión informa los resultados de nuestras pruebas, así como la experiencia práctica con el producto. Este artículo profundizará, explicando cómo funcionan estas pruebas.

Por supuesto, no todas las pruebas son apropiadas para cada producto. Muchas utilidades antivirus incluyen protección contra phishing, pero algunas no. La mayoría de las suites incluyen filtrado de spam, pero algunas omiten esta función, y algunos productos antivirus la agregan como una ventaja. Cualesquiera que sean las características que ofrece un producto determinado, las ponemos a prueba.

Prueba de antivirus en tiempo real

Cada herramienta antivirus de gran potencia incluye un escáner bajo demanda para buscar y destruir infestaciones de malware existentes y un monitor en tiempo real para defenderse de nuevos ataques. En el pasado, en realidad hemos mantenido una colección de máquinas virtuales infestadas de malware para probar la capacidad de cada producto para eliminar el malware existente. Los avances en la codificación de malware hicieron que las pruebas con malware en vivo fueran demasiado peligrosas, pero aún podemos ejercer la protección en tiempo real de cada producto.

Cada año, a principios de la primavera, cuando la mayoría de los proveedores de seguridad han terminado su ciclo de actualización anual, reunimos una nueva colección de muestras de malware para esta prueba. Comenzamos con una fuente de las últimas URL de alojamiento de malware, descargamos cientos de muestras y las reducimos a un número manejable.

Analizamos cada muestra usando varias herramientas codificadas a mano. Algunas de las muestras detectan cuándo se ejecutan en una máquina virtual y evitan actividades maliciosas; simplemente no los usamos. Buscamos una variedad de tipos diferentes y muestras que realizan cambios en el sistema de archivos y el Registro. Con cierto esfuerzo, reducimos la colección a un número manejable y registramos exactamente qué cambios en el sistema realiza cada muestra.

Para probar las capacidades de bloqueo de malware de un producto, descargamos una carpeta de muestras del almacenamiento en la nube. La protección en tiempo real en algunos productos se activa de inmediato, eliminando el malware conocido. Si es necesario para activar la protección en tiempo real, hacemos un solo clic en cada muestra o copiamos la colección a una nueva carpeta. Tomamos nota de cuántas muestras elimina el antivirus a la vista.

A continuación, iniciamos cada muestra restante y observamos si el antivirus lo detectó. Registramos el porcentaje total detectado, independientemente de cuándo ocurrió la detección.

La detección de un ataque de malware no es suficiente; el antivirus realmente debe prevenir el ataque. Un pequeño programa interno verifica el sistema para determinar si el malware logró realizar cambios en el Registro o instalar alguno de sus archivos. En el caso de los archivos ejecutables, también verifica si alguno de esos procesos se está ejecutando realmente. Y tan pronto como se completa la medición, apagamos la máquina virtual.

Si un producto impide la instalación de todos los rastros ejecutables por una muestra de malware, gana 8, 9 o 10 puntos, dependiendo de qué tan bien evitó saturar el sistema con rastros no ejecutables. La detección de malware, pero no puede evitar la instalación de componentes ejecutables obtiene 5 puntos de medio crédito. Finalmente, si, a pesar del intento de protección del antivirus, uno o más procesos de malware se están ejecutando, eso vale solo 3 puntos. El promedio de todos estos puntajes se convierte en el puntaje final de bloqueo de malware del producto.

Prueba de bloqueo de URL malicioso

El mejor momento para aniquilar el malware es antes de que llegue a su computadora. Muchos productos antivirus se integran con sus navegadores y los alejan de las URL conocidas de alojamiento de malware. Si la protección no entra en ese nivel, siempre existe la oportunidad de eliminar la carga útil del malware durante o inmediatamente después de la descarga.

Si bien nuestra prueba básica de bloqueo de malware utiliza el mismo conjunto de muestras durante una temporada, las URL de alojamiento de malware que utilizamos para probar la protección basada en la Web son diferentes cada vez. Recibimos una fuente de las URL maliciosas más recientes de MRG-Effitas con sede en Londres y usualmente usamos URL que no tienen más de un día de antigüedad.

Usando una pequeña utilidad especialmente diseñada, bajamos la lista, lanzando cada URL a su vez. Descartamos los que en realidad no apuntan a una descarga de malware y los que devuelven mensajes de error. Por lo demás, observamos si el antivirus impide el acceso a la URL, borra la descarga o no hace nada. Después de registrar el resultado, la utilidad salta a la siguiente URL de la lista que no está en el mismo dominio. Omitimos los archivos de más de 5 MB y también omitimos los archivos que ya aparecieron en la misma prueba. Seguimos así hasta que hayamos acumulado datos de al menos 100 URL verificadas de alojamiento de malware.

El puntaje en esta prueba es simplemente el porcentaje de URL para las cuales el antivirus evitó la descarga de malware, ya sea cortando el acceso a la URL por completo o borrando el archivo descargado. Los puntajes varían ampliamente, pero las mejores herramientas de seguridad administran el 90 por ciento o más.

Prueba de detección de phishing

¿Por qué recurrir a elaborados troyanos que roban datos, cuando puedes engañar a las personas para que renuncien a sus contraseñas? Esa es la mentalidad de los malhechores que crean y administran sitios web de phishing. Estos sitios fraudulentos imitan bancos y otros sitios sensibles. Si ingresa sus credenciales de inicio de sesión, acaba de entregar las claves del reino. Y el phishing es independiente de la plataforma; Funciona en cualquier sistema operativo que admita la navegación por la Web.

Estos sitios web falsos suelen aparecer en la lista negra poco después de su creación, por lo que para las pruebas usamos solo las URL de phishing más recientes. Recopilamos estos de sitios web orientados a la suplantación de identidad (phishing), favoreciendo a aquellos que han sido reportados como fraudes pero aún no verificados. Esto obliga a los programas de seguridad a usar análisis en tiempo real en lugar de depender de listas negras de mentalidad simple.

Utilizamos cuatro máquinas virtuales para esta prueba, una por el producto que se está probando y una que usa la protección contra phishing integrada en Chrome, Firefox y Microsoft Edge. Un pequeño programa de utilidad lanza cada URL en los cuatro navegadores. Si alguno de ellos devuelve un mensaje de error, descartamos esa URL. Si la página resultante no intenta imitar activamente a otro sitio, o no intenta capturar datos de nombre de usuario y contraseña, lo descartamos. Por lo demás, registramos si cada producto detectó el fraude o no.

En muchos casos, el producto que se está probando no puede funcionar tan bien como la protección incorporada en uno o más navegadores.

Prueba de filtrado de spam

En la actualidad, el proveedor de correo electrónico o una utilidad que se ejecuta en el servidor de correo electrónico eliminan el correo no deseado de las cuentas de correo electrónico para la mayoría de los consumidores. De hecho, la necesidad de filtrado de spam está disminuyendo constantemente. El laboratorio de pruebas austríaco AV-Comparatives probó la funcionalidad antispam hace unos años, y descubrió que incluso Microsoft Outlook bloqueó casi el 90 por ciento del correo no deseado, y la mayoría de las suites lo hicieron mejor, algunas de ellas mucho mejor. El laboratorio ni siquiera promete continuar probando los filtros de spam dirigidos al consumidor, y señala que "varios proveedores están pensando en eliminar la función antispam de sus productos de seguridad para el consumidor".

En el pasado, realizamos nuestras propias pruebas antispam utilizando una cuenta del mundo real que recibe correo no deseado y válido. El proceso de descargar miles de mensajes y analizar manualmente el contenido de la Bandeja de entrada y la carpeta de correo no deseado tomó más tiempo y esfuerzo que cualquiera de las otras pruebas prácticas. Gastar el máximo esfuerzo en una característica de importancia mínima ya no tiene sentido.

Todavía hay puntos importantes para informar sobre el filtro de spam de una suite. ¿Qué clientes de correo electrónico admite? ¿Se puede usar con un cliente no compatible? ¿Está limitado a cuentas de correo electrónico POP3, o también maneja IMAP, Exchange o incluso correo electrónico basado en la web? En el futuro, consideraremos cuidadosamente las capacidades antispam de cada suite, pero ya no estaremos descargando y analizando miles de correos electrónicos.

Prueba del rendimiento de Security Suite

Cuando su paquete de seguridad está ocupado buscando ataques de malware, defendiéndose de intrusiones en la red, evitando que su navegador visite sitios web peligrosos, etc., claramente está utilizando parte de la CPU de su sistema y otros recursos para hacer su trabajo. Hace algunos años, las suites de seguridad obtuvieron la reputación de absorber tantos recursos de su sistema que el uso de su computadora se vio afectado. Las cosas están mucho mejor en estos días, pero aún ejecutamos algunas pruebas simples para obtener una idea del efecto de cada suite en el rendimiento del sistema.

El software de seguridad debe cargarse lo antes posible en el proceso de arranque, para que no encuentre malware que ya esté bajo control. Pero los usuarios no quieren esperar más de lo necesario para comenzar a usar Windows después de un reinicio. Nuestro script de prueba se ejecuta inmediatamente después del arranque y comienza a pedirle a Windows que informe el nivel de uso de la CPU una vez por segundo. Después de 10 segundos seguidos con un uso de CPU no superior al 5 por ciento, declara que el sistema está listo para usar. Restando el inicio del proceso de arranque (según lo informado por Windows) sabemos cuánto tiempo llevó el proceso de arranque. Realizamos muchas repeticiones de esta prueba y comparamos el promedio con el de muchas repeticiones cuando no había una suite presente.

En verdad, probablemente no reinicies más de una vez al día. Una suite de seguridad que ralentiza las operaciones diarias de archivos podría tener un impacto más significativo en sus actividades. Para verificar ese tipo de desaceleración, cronometramos un script que mueve y copia una gran colección de archivos grandes a grandes entre unidades. Con un promedio de varias ejecuciones sin suite y varias ejecuciones con la suite de seguridad activa, podemos determinar cuánto desaceleró la suite estas actividades de archivos. Un script similar mide el efecto de la suite en un script que comprime y descomprime la misma colección de archivos.

La desaceleración promedio en estas tres pruebas de las suites con el toque más ligero puede ser inferior al 1 por ciento. En el otro extremo del espectro, unas pocas suites tienen un promedio de 25 por ciento, o incluso más. De hecho, puede notar el impacto de las suites más pesadas.

Prueba de protección de firewall

No es tan fácil cuantificar el éxito de un firewall, porque diferentes proveedores tienen diferentes ideas sobre lo que debe hacer un firewall. Aun así, hay una serie de pruebas que podemos aplicar a la mayoría de ellas.

Por lo general, un firewall tiene dos trabajos: protege la computadora del ataque externo y garantiza que los programas no hagan un mal uso de la conexión de red. Para probar la protección contra ataques, utilizamos una computadora física que se conecta a través del puerto DMZ del enrutador. Esto da el efecto de una computadora conectada directamente a Internet. Eso es importante para las pruebas, porque una computadora que está conectada a través de un enrutador es efectivamente invisible para Internet en general. Llegamos al sistema de prueba con escaneos de puertos y otras pruebas basadas en la web. En la mayoría de los casos, encontramos que el firewall oculta completamente el sistema de prueba de estos ataques, poniendo todos los puertos en modo oculto.

El firewall integrado de Windows maneja el sigilo de todos los puertos, por lo que esta prueba es solo una línea de base. Pero incluso aquí, hay diferentes opiniones. Los diseñadores de Kaspersky no ven ningún valor en los puertos sigilosos siempre que los puertos estén cerrados y el firewall evite activamente el ataque.

El control del programa en los primeros firewalls personales fue extremadamente práctico. Cada vez que un programa desconocido intentaba acceder a la red, el firewall mostraba una consulta preguntándole al usuario si permitir o no el acceso. Este enfoque no es muy efectivo, ya que el usuario generalmente no tiene idea de qué acción es la correcta. La mayoría solo permitirá todo. Otros harán clic en Bloquear cada vez, hasta que rompan algún programa importante; después de eso lo permiten todo. Realizamos una comprobación práctica de esta funcionalidad utilizando una pequeña utilidad de navegador codificada en horas, una que siempre calificará como un programa desconocido.

Algunos programas maliciosos intentan sortear este tipo de control simple de programas manipulando o haciéndose pasar por programas confiables. Cuando nos encontramos con un firewall de la vieja escuela, probamos sus habilidades utilizando utilidades llamadas pruebas de fugas. Estos programas usan las mismas técnicas para evadir el control del programa, pero sin ninguna carga maliciosa. Encontramos cada vez menos pruebas de fugas que todavía funcionan en las versiones modernas de Windows.

En el otro extremo del espectro, los mejores firewalls configuran automáticamente los permisos de red para los programas buenos conocidos, eliminan los programas malos conocidos y aumentan la vigilancia de incógnitas. Si un programa desconocido intenta una conexión sospechosa, el firewall se activa en ese punto para detenerlo.

El software no es ni puede ser perfecto, por lo que los malos trabajan duro para encontrar agujeros de seguridad en los sistemas operativos, navegadores y aplicaciones populares. Idean exploits para comprometer la seguridad del sistema utilizando cualquier vulnerabilidad que encuentren. Naturalmente, el fabricante del producto explotado emite un parche de seguridad lo antes posible, pero hasta que realmente aplique ese parche, es vulnerable.

Los firewalls más inteligentes interceptan estos ataques de explotación a nivel de red, por lo que nunca llegan a su computadora. Incluso para aquellos que no escanean a nivel de red, en muchos casos el componente antivirus elimina la carga útil de malware del exploit. Utilizamos la herramienta de penetración CORE Impact para golpear cada sistema de prueba con aproximadamente 30 exploits recientes y registrar qué tan bien el producto de seguridad los defendió.

Finalmente, realizamos una verificación de cordura para ver si un codificador de malware podría deshabilitar fácilmente la protección de seguridad. Buscamos un interruptor de encendido / apagado en el Registro y probamos si se puede usar para desactivar la protección (aunque han pasado años desde que encontramos un producto vulnerable a este ataque). Intentamos terminar los procesos de seguridad utilizando el Administrador de tareas. Y verificamos si es posible detener o deshabilitar los servicios esenciales de Windows del producto.

Prueba de control parental

El control y monitoreo parental cubre una amplia variedad de programas y características. La típica utilidad de control parental mantiene a los niños alejados de sitios desagradables, monitorea su uso de Internet y les permite a los padres determinar cuándo y durante cuánto tiempo pueden usar Internet todos los días. Otras características van desde limitar los contactos de chat hasta patrullar las publicaciones de Facebook para temas riesgosos.

Siempre realizamos una verificación de cordura para asegurarnos de que el filtro de contenido realmente funcione. Resulta que encontrar sitios porno para probar es muy fácil. Casi cualquier URL compuesta por un adjetivo de tamaño y el nombre de una parte del cuerpo cubierta normalmente ya es un sitio porno. Muy pocos productos fallan en esta prueba.

Utilizamos una pequeña utilidad interna del navegador para verificar que el filtrado de contenido sea independiente del navegador. Emitimos un comando de red de tres palabras (no, no lo publicaremos aquí) que deshabilita algunos filtros de contenido de mente simple. Y verificamos si podemos evadir el filtro usando un sitio web proxy anónimo seguro.

La imposición de límites de tiempo en la computadora de los niños o el uso de Internet solo es efectiva si los niños no pueden interferir con el cronometraje. Verificamos que la función de programación de tiempo funciona, luego intentamos evadirla restableciendo la fecha y hora del sistema. Los mejores productos no dependen del reloj del sistema para su fecha y hora.

Después de eso, es simplemente una cuestión de probar las características que el programa dice tener. Si promete la capacidad de bloquear el uso de programas específicos, activamos esa función e intentamos romperla moviendo, copiando o renombrando el programa. Si dice que elimina las malas palabras del correo electrónico o la mensajería instantánea, agregamos una palabra aleatoria a la lista de bloqueo y verificamos que no se envíe. Si afirma que puede limitar los contactos de mensajería instantánea, establecemos una conversación entre dos de nuestras cuentas y luego prohibimos una de ellas. Cualquiera que sea el poder de control o monitoreo que promete el programa, hacemos nuestro mejor esfuerzo para ponerlo a prueba.

Interpretación de pruebas de laboratorio de antivirus

No tenemos los recursos para ejecutar el tipo de pruebas exhaustivas de antivirus realizadas por laboratorios independientes de todo el mundo, por lo que prestamos mucha atención a sus hallazgos. Seguimos dos laboratorios que emiten certificaciones y cuatro laboratorios que publican resultados de exámenes calificados de forma regular, utilizando sus resultados para ayudar a informar nuestras revisiones.

ICSA Labs y West Coast Labs ofrecen una amplia variedad de pruebas de certificación de seguridad. Seguimos específicamente sus certificaciones para la detección de malware y para la eliminación de malware. Los proveedores de seguridad pagan para que se prueben sus productos, y el proceso incluye ayuda de los laboratorios para solucionar cualquier problema que impida la certificación. Lo que estamos viendo aquí es el hecho de que el laboratorio encontró el producto lo suficientemente significativo como para probarlo, y el proveedor estaba dispuesto a pagar por la prueba.

Con sede en Magdeburg, Alemania, el AV-Test Institute somete continuamente a los programas antivirus a través de una variedad de pruebas. En lo que nos enfocamos es en una prueba de tres partes que otorga hasta 6 puntos en cada una de las tres categorías: Protección, Rendimiento y Usabilidad. Para alcanzar la certificación, un producto debe ganar un total de 10 puntos sin ceros. Los mejores productos se llevan a casa 18 puntos perfectos en esta prueba.

Para probar la protección, los investigadores exponen cada producto al conjunto de referencia de AV-Test de más de 100, 000 muestras, y a varios miles de muestras extremadamente extendidas. Los productos obtienen crédito por prevenir la infestación en cualquier etapa, ya sea bloqueando el acceso a la URL de alojamiento del malware, detectando el malware utilizando firmas o evitando que el malware se ejecute. Los mejores productos a menudo alcanzan el 100 por ciento de éxito en esta prueba.

El rendimiento es importante: si el antivirus afecta notablemente el rendimiento del sistema, algunos usuarios lo desactivarán. Los investigadores de AV-Test miden la diferencia de tiempo requerida para realizar 13 acciones comunes del sistema con y sin el producto de seguridad presente. Entre estas acciones están descargar archivos de Internet, copiar archivos tanto localmente como a través de la red y ejecutar programas comunes. Con un promedio de varias ejecuciones, pueden identificar cuánto impacto tiene cada producto.

La prueba de usabilidad no es necesariamente lo que pensarías. No tiene nada que ver con la facilidad de uso o el diseño de la interfaz de usuario. Más bien, mide los problemas de usabilidad que ocurren cuando un programa antivirus marca erróneamente un programa o sitio web legítimo como malicioso o sospechoso. Los investigadores instalan y ejecutan activamente una colección en constante cambio de programas populares, observando cualquier comportamiento extraño por parte del antivirus. Una prueba de escaneo solo verifica para asegurarse de que el antivirus no identifique ninguno de los más de 600, 000 archivos legítimos como malware.

Recopilamos resultados de cuatro (anteriormente cinco) de las muchas pruebas publicadas regularmente por AV-Comparatives, que tiene su sede en Austria y trabaja en estrecha colaboración con la Universidad de Innsbruck. Las herramientas de seguridad que pasan una prueba reciben la certificación estándar; los que fallan se designan simplemente como probados. Si un programa va más allá del mínimo necesario, puede obtener la certificación Avanzado o Avanzado +.

La prueba de detección de archivos de AV-Comparatives es una prueba simple y estática que verifica cada antivirus contra aproximadamente 100, 000 muestras de malware, con una prueba de falsos positivos para garantizar la precisión. Y la prueba de rendimiento, al igual que la prueba AV-Test, mide cualquier impacto en el rendimiento del sistema. Anteriormente, incluimos la prueba heurística / de comportamiento; Esta prueba ha sido descartada.

Consideramos que la prueba dinámica de producto completo de AV-Comparatives es la más significativa. Esta prueba tiene como objetivo simular lo más cerca posible la experiencia real del usuario, permitiendo que todos los componentes del producto de seguridad actúen contra el malware. Finalmente, la prueba de remediación comienza con una colección de malware que todos los productos probados detectan y desafían a los productos de seguridad para restaurar un sistema infestado, eliminando por completo el malware.

Cuando AV-Test y AV-Comparatives típicamente incluyen de 20 a 24 productos en las pruebas, SE Labs generalmente informa sobre no más de 10. Eso es en gran parte debido a la naturaleza de la prueba de este laboratorio. Los investigadores capturan sitios web de alojamiento de malware del mundo real y utilizan una técnica de reproducción para que cada producto encuentre exactamente la misma descarga automática u otro ataque basado en la Web. Es extremadamente realista, pero arduo.

Un programa que bloquea totalmente uno de estos ataques gana tres puntos. Si tomó medidas después de que comenzó el ataque pero logró eliminar todos los rastros ejecutables, eso vale dos puntos. Y si simplemente terminó el ataque, sin una limpieza completa, aún obtiene un punto. En el desafortunado caso de que el malware se ejecute libremente en el sistema de prueba, el producto bajo prueba pierde cinco puntos. Debido a esto, algunos productos en realidad obtuvieron puntajes por debajo de cero.

En una prueba por separado, los investigadores evalúan qué tan bien se abstiene cada producto de identificar erróneamente un software válido como malicioso, ponderando los resultados en función de la prevalencia de cada programa válido y en cuánto impacto tendría la identificación falsa positiva. Combinan los resultados de estas dos pruebas y certifican productos en uno de los cinco niveles: AAA, AA, A, B y C.

• Las mejores suites de seguridad para 2019 Las mejores suites de seguridad para 2019
• La mejor protección antivirus para 2019 La mejor protección antivirus para 2019
• La mejor protección antivirus gratuita para 2019 La mejor protección antivirus gratuita para 2019

Durante algún tiempo, hemos utilizado una fuente de muestras proporcionadas por MRG-Effitas en nuestra prueba práctica de bloqueo de URL malicioso. Este laboratorio también publica resultados trimestrales para dos pruebas particulares que seguimos. La prueba 360 Assessment & Certification simula la protección del mundo real contra el malware actual, similar a la prueba dinámica del mundo real utilizada por AV-Comparatives. Un producto que evita por completo cualquier infestación por el conjunto de muestras recibe la certificación de Nivel 1. La certificación de nivel 2 significa que al menos algunas de las muestras de malware plantaron archivos y otros rastros en el sistema de prueba, pero estos rastros se eliminaron en el momento del próximo reinicio. La certificación de banca en línea prueba muy específicamente la protección contra malware financiero y botnets.

Hacer un resumen general de los resultados de laboratorio no es fácil, ya que no todos los laboratorios prueban la misma colección de programas. Hemos diseñado un sistema que normaliza los puntajes de cada laboratorio a un valor de 0 a 10. Nuestro cuadro de resultados de laboratorio agregado informa el promedio de estos puntajes, el número de pruebas de laboratorio y el número de certificaciones recibidas. Si solo un laboratorio incluye un producto en las pruebas, consideramos que es información insuficiente para un puntaje agregado.

Es posible que haya notado que esta lista de métodos de prueba no cubre redes privadas virtuales o VPN. Probar una VPN es muy diferente de probar cualquier otra parte de una suite de seguridad, por lo que hemos proporcionado una explicación por separado de cómo probamos los servicios VPN.