Los expertos critican el estudio antivirus de imperva

La compañía de seguridad Imperva lanzó un sombrío estudio el mes pasado que sugiere que las costosas suites de seguridad pueden no valer la pena y que todos los programas antivirus sufren de grandes puntos ciegos. Investigaciones pesimistas como esta siempre requieren un gran grano de sal, pero después de hablar con numerosos expertos de la industria, podría ser necesario un agitador completo.

Imperva analizó una variedad de soluciones de seguridad de proveedores como Kaspersky, Avast, AVG, Microsoft y McAfee, por nombrar algunas. Enfrentaron a estos centinelas con 82 muestras de malware recolectadas al azar, examinando el éxito del software de seguridad en la detección del software malicioso.

A partir de su trabajo, Imperva afirma que el software anti-malware no es lo suficientemente rápido o receptivo para combatir las amenazas modernas. El software de seguridad, escribe Imperva, es "mucho mejor para detectar malware que se propaga rápidamente en cantidades masivas de muestras idénticas, mientras que las variantes que son de distribución limitada (como los ataques patrocinados por el gobierno) generalmente dejan una gran oportunidad".

Tampoco encontraron correlación entre el dinero que los usuarios gastan en protección antivirus y la seguridad que proporciona el software, y sugieren que tanto los clientes individuales como los empresariales busquen alternativas de software gratuito.

Laboratorios independientes retroceden

El estudio ha atraído mucha atención, pero al hablar con profesionales de seguridad, y algunas de las compañías nombradas en el estudio, Security Watch descubrió que muchos creen que el estudio es profundamente defectuoso.

Casi todos los laboratorios o compañías de seguridad consideraron que el tamaño de la muestra de malware de Imperva era demasiado pequeño para respaldar las conclusiones del estudio. Andreas Marx, de AV-Test, nos dijo que su empresa recibe alrededor de un millón de muestras de malware nuevo y único por semana. Del mismo modo, Peter Stelzhammer de AV-Comparatives nos dijo que reciben 142, 000 nuevos archivos maliciosos cada día.

Por su parte, Imperva escribió en el estudio que utilizaron intencionalmente una pequeña muestra, pero insisten en que es una demostración de las amenazas existentes. "Nuestra selección de malware no estaba sesgada, sino que fue tomada al azar de la Web, lo que refleja un método potencial para construir un ataque", escribe Imperva.

Sin embargo, el director de investigación de NSS Labs, Randy Abrams, tenía una interpretación muy diferente de la metodología de Imperva. "Se garantiza que la búsqueda de nombres de archivos omita ataques sofisticados y la mayoría de los demás programas maliciosos", dijo Abrams a Security Watch, al comentar sobre los medios que Imperva usó para localizar malware para el estudio. "Centrarse en los foros rusos sesga significativamente la colección de muestras. Es obvio que no se pensó en obtener un conjunto de muestras representativas del mundo real".

Problemas de metodología

Para llevar a cabo su estudio, Imperva utilizó la herramienta en línea VirusTotal para realizar sus pruebas, que se citó como una debilidad crítica de la prueba. "El problema con esta prueba es que desgarró las amenazas, en forma de archivos ejecutables, y luego escaneó las que usaban VirusTotal", dijo Simon Edwards de Dennis Labs. "VT no es un sistema adecuado para usar cuando se evalúan productos antimalware en gran parte porque los escáneres utilizados en VT no son compatibles con tecnología adicional como los sistemas de reputación web".

Kaspersky Labs, cuyo producto se utilizó en el estudio, también cuestionó la metodología de prueba empleada por Imperva en el experimento. "Al buscar archivos potencialmente peligrosos, el servicio VirusTotal utilizado por los especialistas de Imperva no utiliza las versiones completas de los productos antivirus, sino que simplemente se basa en un escáner independiente", escribió Kaspersky Labs en un comunicado emitido a Security Watch.

"Este enfoque significa que la mayoría de las tecnologías de protección disponibles en el software antivirus moderno simplemente se ignoran. Esto también afecta a las tecnologías proactivas diseñadas para detectar amenazas nuevas y desconocidas".

Cabe destacar que una parte del sitio web de VirusTotal desalienta a cualquiera de usar su servicio en el análisis antivirus. La sección 'Acerca de' de la compañía dice: "Estamos cansados ​​de repetir que el servicio no fue diseñado como una herramienta para realizar análisis comparativos antivirus. Aquellos que usan VirusTotal para realizar análisis comparativos antivirus deben saber que están cometiendo muchos errores implícitos en su metodología."

Abrams también tuvo una visión poco clara sobre el uso de VirusTotal para realizar el estudio, diciendo que la herramienta se puede utilizar para sesgar los resultados hacia los deseados por los evaluadores. "Los evaluadores competentes y experimentados saben mejor que usar VirusTotal para evaluar las capacidades de protección de cualquier cosa que no sea un escáner de línea de comando puro", dijo.

Imperva defendió el uso de VirusTotal en su estudio. "La esencia del informe no es una comparación de productos antivirus", escribe Imperva. "Más bien, el propósito es medir la eficacia de una única solución antivirus, así como de soluciones antivirus combinadas, dado un conjunto aleatorio de muestras de malware".

Si bien los expertos con los que hablamos estuvieron de acuerdo en que las vulnerabilidades de día cero y el malware creado recientemente son un problema, ninguno respalda las afirmaciones de Imperva sobre el tiempo o las bajas tasas de detección. "Las tasas de protección más bajas durante una prueba de día cero en el" mundo real "son del 64-69 por ciento", dijo Marx a Security Watch. "En promedio, vimos una tasa de protección del 88-90 por ciento para todos los productos probados, esto significa que 9 de cada 10 ataques se bloquearán con éxito, solo 1 en realidad causará una infección".

Otra conclusión clave del informe Imperva fue que los creadores de malware entienden bien el software antimalware, que modifican sus creaciones para subvertir los sistemas de protección. "Los atacantes entienden los productos antivirus en profundidad, se familiarizan con sus puntos débiles, identifican los puntos fuertes de los productos antivirus y comprenden sus métodos para manejar la alta incidencia de la propagación de nuevos virus en Internet", escribe Imperva en el estudio.

El estudio continúa, "las variantes que son de distribución limitada (como los ataques patrocinados por el gobierno) generalmente dejan una gran ventana de oportunidad".

Stuxnet no te persigue

"Los tipos de malware son realmente duros, son fuertes e inteligentes", dijo Stelzhammer. "Un ataque dirigido siempre es peligroso". Pero él y otros enfatizaron que los ataques dirigidos donde el malware está diseñado específicamente contra el anti-malware es tan raro como peligroso.

El esfuerzo y la información necesarios para crear una pieza de malware para vencer cada capa de protección es excelente. "Tal prueba requiere mucho tiempo y habilidades, por lo que no son baratas", escribió Marx. "Pero esa es la razón por la que se les llama 'dirigidos'".

Sobre este punto, Abrams bromeó: "Francamente, realmente no me preocupa que Stuxnet se meta en mi computadora y ataque una centrífuga enriquecedora de uranio en mi casa u oficina del empleador".

Casi todas las personas con las que hablamos estuvieron de acuerdo, al menos en principio, en que las soluciones antimalware gratuitas podrían proporcionar una protección valiosa para los usuarios. Sin embargo, la mayoría no estuvo de acuerdo en que era una opción viable para los clientes empresariales. Stelzhammer señala que incluso si los usuarios corporativos quisieran usar software libre, los acuerdos de licencia a veces les impiden hacerlo.

"No se trata solo de detección", dijo Stelzhammer en una entrevista con Security Watch. "Se trata de la administración, se trata de implementar a los clientes, se trata de una visión general. No obtendrá esto con un producto gratuito".

Un usuario informado en casa, continuó Stelzhammer, podría usar capas de software libre para proporcionar una protección comparable al software pagado pero a costa de la simplicidad. "Puede organizar un sistema bien protegido con software libre, pero la mayor ventaja del software pago es la conveniencia".

Sin embargo, Edwards de Dennis Labs no estuvo de acuerdo con la comparación favorable con el software libre. "Esto es contrario a todos nuestros hallazgos durante muchos años de pruebas", dijo Edwards. "Casi sin excepción, se pagan los mejores productos". Estos hallazgos son similares a las pruebas de PC Magazine del software antimalware.

Desde la publicación del estudio el mes pasado, Imperva ha escrito una publicación de blog defendiendo su posición. En declaraciones a Security Watch, el director de estrategia de seguridad de Imperva, Rob Rachwald, dijo: "Cualquier crítica que se centre en nuestra metodología pierde la realidad que vemos hoy". Continuó diciendo que la mayoría de las violaciones de datos son el resultado de la intrusión de malware, lo que la compañía ve como prueba de que el modelo anti-malware actual simplemente no está funcionando.

Si bien puede haber algo de verdad inherente a las conclusiones de Imperva, ninguno de los expertos con los que hablamos vio el estudio de manera positiva. "Por lo general, advierto contra las pruebas patrocinadas por el proveedor, pero si esta prueba hubiera sido realizada por una organización independiente, advertiría contra la organización misma", escribió Abrams de NSS Labs. "Es raro que encuentre una metodología tan increíblemente poco sofisticada, criterios de recolección de muestras inadecuados y conclusiones no respaldadas en un solo PDF".

Para más de Max, sígalo en Twitter @wmaxeddy.