Cordial saludo
La verdadera amenaza a la confianza en la ciencia no es el fraude directo, sino la manipulación generalizada de los diseños y modelos de investigación.
Los casos espectaculares de falsificación y manipulación de datos descubiertos por investigadores especializados suelen interpretarse como una prueba de la crisis científica. Sin embargo, en su nuevo libro, Thomas Plümper y Eric Neumayer argumentan que los problemas de credibilidad de la ciencia provienen de una práctica más común e insidiosa: la manipulación deliberada de los diseños de investigación y las especificaciones de los modelos para lograr los resultados deseados.
Cuando se piensa en mala conducta científica, la gente imagina conjuntos de datos falsificados, experimentos inventados e imágenes manipuladas. Vienen a la mente figuras destacadas como Francesca Gino en Harvard. Se las presenta como las villanas de la ciencia, y sus caídas generan titulares impactantes.
Pero ¿y si la verdadera amenaza a la credibilidad científica es más mundana? ¿Y si no son los investigadores quienes inventan sus datos, sino la gran mayoría que simplemente... manipula sus diseños de investigación y especificaciones de modelos hasta que los resultados parecen correctos?
Lo que llamamos “ajustes” merece ser tratado con la misma seriedad que la falsificación descarada y la manipulación de datos.
En «La crisis de credibilidad en la ciencia» , argumentamos que esta última práctica —lo que llamamos «ajuste»— merece ser tratada con la misma seriedad que la falsificación y la manipulación de datos. El ajuste consiste en la selección deliberada de diseños de investigación, especificaciones de modelos u otras opciones analíticas para producir resultados publicables, significativos o que se ajusten a las expectativas y sesgos ideológicos del investigador. No es que quienes realizan ajustes carezcan de datos reales. Tienen datos. Simplemente siguen modificando la forma en que los analizan hasta obtener lo que desean.
Por qué los ajustes son más importantes que la fabricación
La tendencia a minimizar la importancia de la manipulación de datos no resulta sorprendente. A diferencia de la falsificación, la manipulación de datos se basa en datos reales; a diferencia de la manipulación, los datos permanecen intactos. Las decisiones que toman quienes manipulan los datos —qué variables de control incluir, cómo definir la muestra, qué forma funcional asumir, por mencionar solo tres— parecen justificables de forma aislada. Se enmarcan dentro de lo que los metodólogos denominan «grados de libertad del investigador».
Pero precisamente esto es lo que hace que la manipulación de datos sea peligrosa. Es indistinguible, desde el punto de vista observacional, de la práctica honesta de intentar encontrar la especificación de modelo más adecuada para el proceso subyacente de generación de datos. Cuando un investigador prueba varias especificaciones y solo informa la que le "funciona", ningún análisis forense puede probar la intención. No hay pruebas irrefutables, ni hojas de cálculo manipuladas, ni rastros de tinta . La manipulación de datos es una técnica fraudulenta que es difícil, casi imposible, de detectar a nivel de una sola publicación científica. Por consiguiente, esperamos que la manipulación de datos sea un fenómeno mucho más común que la falsificación y manipulación de datos . Los científicos pueden manipular los resultados empíricos sin tener que temer consecuencias.
Cuando un investigador prueba varias especificaciones y solo informa de la que le "funciona", ningún análisis forense puede probar la intención.
Sin embargo, la evidencia sobre la prevalencia de la manipulación de datos a nivel agregado es contundente. Los estudios de replicación a gran escala encuentran sistemáticamente que los tamaños del efecto replicados son menores y, a menudo, estadísticamente insignificantes en comparación con los estudios originales. Si estas desviaciones fueran errores aleatorios, se anularían. Pero eso no es lo que observamos. En cambio, es extremadamente probable que los resultados de los análisis originales presenten tamaños del efecto mayores y valores p sustancialmente más bajos. Este patrón sugiere que muchos resultados publicados han sido, consciente o inconscientemente, optimizados para su publicación.
La paradoja de los Rolex falsificados: los estafadores no tienen por qué estar equivocados.
He aquí una verdad sorprendente: el fraude no requiere resultados falsos. Consideremos la analogía de un Rolex falsificado. Vender un reloj falso como si fuera auténtico es fraude, incluso si el reloj marca la hora con precisión. Lo que constituye fraude es el engaño, no el resultado.
La misma lógica se aplica a la manipulación de datos. Un investigador que realiza docenas de pruebas y solo informa sobre la más significativa o la que le conviene está engañando a los lectores sobre la solidez de sus hallazgos, incluso si, por casualidad, el resultado informado resulta ser cierto. La intención de obtener ventaja mediante la presentación selectiva de resultados es lo que constituye fraude.
Las modificaciones se sitúan en una zona gris, consideradas por muchos como cuestionables, pero no del todo fraudulentas.
Este planteamiento tiene implicaciones en nuestra concepción de la integridad científica. Las definiciones actuales de mala conducta en la investigación se centran principalmente en la fabricación y falsificación de datos. La manipulación de datos se sitúa en una zona gris, considerada por muchos como cuestionable, pero no tan fraudulenta. Creemos que esta distinción es insostenible. Si la intención es obtener resultados engañosos para beneficio personal, el método empleado para lograrlo no debería importar.
Los límites de las soluciones actuales
Las estrategias convencionales para disuadir, prevenir y detectar el fraude no funcionarán para los ajustes. Las iniciativas que promueven la transparencia de los datos , el prerregistro y la ciencia abierta representan esfuerzos genuinos para abordar la crisis de credibilidad. Estos son avances positivos.
Pero tienen sus límites. La transparencia ayuda a otros a verificar los análisis publicados. De hecho, proponemos un sistema de clasificación que categoriza los datos según su susceptibilidad a la manipulación y la probabilidad de que dicha manipulación sea identificada. Sin embargo, la transparencia de los datos no impide la publicación selectiva de resultados. El preregistro restringe la formulación de hipótesis una vez que se conocen los resultados (HARKing), pero los investigadores aún pueden preregistrar hipótesis vagas o realizar análisis "exploratorios" que convenientemente se convierten en los hallazgos principales y por los que reciben una credibilidad de preregistro inmerecida. Peor aún, también pueden preregistrar diseños de investigación cuyos resultados ya conocen o simplemente desviarse de la estrategia de investigación preregistrada.
Pruebas de robustez, pero no realizadas por los autores.
La estrategia más prometedora para contrarrestar los ajustes fraudulentos es la realización de pruebas de robustez rigurosas. La lógica es sencilla: los resultados fraudulentos tienden a ser frágiles. Si un hallazgo depende de una combinación muy específica de variables de control, definición de la muestra, técnica de estimación u otra elección de especificación, es probable que no sea robusto ante alternativas plausibles. Los hallazgos robustos —aquellos que se mantienen en un amplio rango de opciones de especificación razonables— son mucho más difíciles de fabricar mediante ajustes.
Pero aquí está el punto crucial: las pruebas de robustez solo funcionan como salvaguarda si los autores no controlan qué pruebas se realizan. Los investigadores que modifican sus modelos base pueden modificar fácilmente sus pruebas de robustez. Es como si los dopados eligieran sus propias pruebas antidopaje. La solución consiste en transferir la responsabilidad de especificar las pruebas de robustez a los editores y revisores de las revistas. Antes de aceptar un manuscrito, deberían identificar las especificaciones alternativas que desean que se prueben. Los autores tendrían entonces que demostrar la robustez frente a las especificaciones que no seleccionaron ellos mismos.
Las pruebas de robustez solo funcionan como medida de seguridad si los autores no controlan qué pruebas se ejecutan.
Esta propuesta modifica el contrato implícito entre autores y revistas. Actualmente, los autores presentan sus argumentos de la mejor manera posible y los revisores los evalúan. Con nuestro enfoque, los autores tendrían que demostrar que sus hallazgos resisten un escrutinio que no pudieron prever ni manipular.
¿Está fallando la ciencia?
En resumen, no. Sus logros hablan por sí solos. Pero la credibilidad de la ciencia depende de la confianza pública, y esa confianza se ha erosionado . Minimizar el problema no ayudará. Tampoco lo hará tratar los ajustes como una desviación menor de las buenas prácticas, reservando la indignación para los casos relativamente raros de falsificación y manipulación de datos.
La crisis de credibilidad no se resolverá atrapando a más estafadores. Se resolverá dificultando la publicación de resultados frágiles y sesgados. Las pruebas de robustez, especificadas independientemente de los autores, son la clave para lograrlo.
El libro "La crisis de credibilidad en la ciencia: manipuladores, estafadores y la manipulación de los resultados empíricos" es una publicación de MIT Press.
La falta más grave es no tener conciencia de ninguna falta...Einstein.
Jaime Pérez Posada
Asesoría , Formación y Consultoría en Mercadeo y temas afines.
Formación incluyente para el Retail
Móvil: 313 721 8036
Siganme en Twitter como : @jaime_pepo
Medellín, Colombia
.jpg)
