No todas las revisiones de gadgets se crean de la misma manera | tim bajarin

Como saben los lectores de mis columnas desde hace mucho tiempo, he estado involucrado con la industria de las computadoras desde el principio. Me uní a Creative Strategies en 1981, y uno de mis primeros proyectos fue consultar con IBM en la PC original de IBM. En 1982, Kaypro, Osborne Computer y Compaq dieron a luz al mercado de clonación de PC, y las PC para negocios realmente despegaron.

Los vendedores de PC hicieron muchas afirmaciones de rendimiento sobre estos clones, lo que llevó a los técnicos a probarlos. Desafortunadamente, sus pruebas estaban por todo el mapa. Algunos se contradicen entre sí, causando gran confusión entre los compradores potenciales.

A mediados de la década de 1980, publicaciones tecnológicas clave como PC Magazine crearon sus propios laboratorios para probar las afirmaciones de productos y surgieron pruebas estandarizadas, como PC Bench, FutureMark, 3D Bench y Battery Mark. Esto aportó cierta precisión y cordura al proceso de prueba, lo que a su vez ayudó a las personas a tomar decisiones de compra más informadas.

Pero avance rápido hasta hoy, y las pruebas de dispositivos en algunos rincones de la Web tienen un elemento salvaje, salvaje oeste. Algunos usan métodos de prueba extremos que los clientes probablemente nunca encontrarán en el uso diario.

Durante la controversia del iPhone "Bendgate", por ejemplo, algunos entusiastas en línea pusieron iPhones, teléfonos inteligentes Samsung Galaxy e incluso un BlackBerry en un vicio y los exprimieron. Luego publicaron en las redes sociales que los dispositivos se doblan. Otros llamados probadores usaron sus manos para ejercer una presión muy fuerte en cada extremo de estos teléfonos y afirmaron que esto demostraba que los teléfonos inteligentes eran flexibles. No es exactamente una prueba científica.

Ahora veo probadores no profesionales que hacen pruebas de rascado en pantallas de teléfonos inteligentes y tabletas, usan cosas como cuchillas de afeitar y cuchillas de afeitar, y publican en las redes sociales como si sus pruebas fueran evangélicas. Los bloggers luego recogen esto y publican sin buscar pruebas científicas para respaldar las afirmaciones.

La primavera pasada, Corning realizó un evento en sus instalaciones de Palo Alto y acompañó a los medios y analistas a través de sus laboratorios de pruebas. Mostró el enfoque científico de Corning para probar pantallas usando equipos especiales que emulan el uso diario de un teléfono inteligente. Según los expertos, las pruebas científicas sólidas tienen al menos cuatro elementos.

• Tamaño de muestra adecuado. El hecho de que puedas hacer que algo suceda una vez puede ser un buen video, pero es una mala ciencia y prueba. Con pruebas significativas, debe poder replicar condiciones y acciones y mostrar de manera consistente y reiterada que un fenómeno particular no solo ocurre sino que vuelve a ocurrir. ¿Cuantas veces? Es un tema de debate, pero la mayoría estaría de acuerdo en que cuanto más a menudo ocurre un fenómeno, más confiables son los datos de la prueba.
• Resultados consistentes. Luego, las pruebas serias del producto requieren que ocurra el mismo fenómeno con todos los demás factores iguales. Mismo producto Misma fuente. Las mismas condiciones. Los mismos factores de estrés. Elegir un producto de un estante una semana y luego otro producto de otro estante no funcionará. Hay demasiadas variables que podrían influir en el resultado.
• Simulando situaciones del mundo real. Tercero, las pruebas deben simular eventos del mundo real. No muchas personas prendieron fuego a su tableta o teléfono. Tampoco la gente tiende a tomar cuchillos X-Acto y rasparlos en su pantalla. Más a menudo, es el teléfono en el bolsillo trasero de los jeans o un tintineo en una mochila o bolso. Las buenas pruebas se centran en replicar eventos del mundo real.
• Correlación científica No confundas la correlación con la causalidad. Existe la cuestión de causa y efecto. Este no es un asunto trivial. Es recomendable identificar un fenómeno. Pero solo es útil si la prueba le permite comprender por qué ocurrió ese fenómeno.

Cualquiera en estos días puede probar un producto y utilizar métodos extremos para obtener el resultado que desee en función de su sesgo. Pero si los compradores son inteligentes, buscarán pruebas realizadas por profesionales que se adhieran a estrictas pautas científicas y utilizarán estas pruebas para ayudar a tomar decisiones de compra informadas.