La discusión epistemológica sobre cuál debe ser el método de investigación y formulación de hipótesis de carácter científico en la economía se vuelve interesante por varios aspectos, pero sobretodo porque se trata de un campo en el que se tienen pocas verdades reveladas o indiscutibles.

Otro de los desafíos que enfrenta esta ciencia social radica en el hecho de que trata de analizar a sujetos que reaccionan de manera inesperada a incentivos y pueden cambiar su comportamiento de acuerdo a determinados contextos.

Así, muchos trabajos de investigación se encargan de recolectar información existente para analizarla e interactúan con el escenario de la cotidianeidad. Existen, por ejemplo, situaciones llamadas “experimentos naturales” en las que por casualidad o sin intención se generó un ambiente propicio para poder identificar una causalidad.

El sorteo que se realizaba en Argentina para determinar qué jóvenes debían realizar el servicio militar (vigente desde 1904 a 1994) es un claro ejemplo. Si uno quisiera analizar el impacto que tiene esta actividad en el comportamiento posterior en torno al crimen y la violencia no sería válido tomar los datos de aquellos países en los que el servicio es voluntario puesto que a la hora de comparar violencia de aquellos que sí hicieron el servicio versus los que no estaríamos tomando sujetos incomparables, dado que si el sistema es voluntario probablemente esas personas que se ofrecen ya tienen una propensión mayor a la violencia, o al menos no son reacios a ella. Por otra parte, si fuera obligatorio, no tendríamos grupo control para comparar, ya que todos habrían pasado por el servicio militar.

En Argentina, entonces, se podía aprovechar ese experimento natural: era un país que lo hacía por sorteo por cuestiones ajenas a la eventual investigación, lo que provocaba que individuos de similares características se diferenciaban solamente por haber participado del servicio militar. Dicha oportunidad la supieron plasmar en un gran artículo académico los economistas Galiani, Rossi y Schargrodsky en el año 2011 (ver referencias).

Lamentablemente estos casos no abundan y una alternativa a la que se acude es el laboratorio, donde se invita a participar de investigaciones a distintas personas de una determinada actividad, como se hacía en el Juego del Ultimatum. En estos casos se corre con la ventaja de tener lo que se denomina validez interna, pero muchas veces falta la validez externa.

Un modelo teórico, una investigación o un resultado tienen validez interna cuando se puede asegurar la causa o el efecto de una variable sobre la otra, cuando las deducciones realizadas tienen sustento lógico. En el laboratorio el investigador genera el contexto y puede controlar y aislar todas las causas ajenas a las de su interés, asegurando la correcta deducción e identificación de lo que le interesa estudiar. Sus conclusiones son confiables.

Tiene validez externa, por el contrario, cuando los resultados son extrapolables a otro ambiente, a otra situación, cuando se pueden aplicar a otro contexto y cuando se pueden generalizar. 

Para la aplicación y el diseño de políticas públicas se suele acudir a experiencias o resultados que se hayan dado en otros casos o estudios, pero en el proceso muchas veces se pierde de vista este concepto fundamental. Si estoy pensando en re-diseñar el sistema penitenciario en Argentina, por ejemplo, un estudio sobre la reincidencia en Uruguay, donde las leyes o el sistema comparten grandes similitudes, podrá ser de mucha ayuda. Caso contrario, si estoy analizando los efectos que tiene sobre un/a alumno/a  repetir de grado en la escuela primaria no tiene sentido acudir a resultados que se desprendan de una investigación en Estados Unidos, donde el sistema educativo es diferente o donde las políticas orientadas a esos individuos difieren de las locales.

Entre ambos conceptos existe un claro trade-off, es decir, cuando se opta por garantizar una se está descuidando a la otra. ¿Por qué?

Para poder estar convencido de que mi modelo teórico o mi investigación identifiquen y deriven resultados correctamente necesito aislar lo máximo que pueda los demás factores que puedan molestar y cuanto mayor es el aislamiento menos se condice con los verdaderos lugares en los que se dan las relaciones, por lo que gano validez interna pero pierdo la externa. El argumento es el inverso para los casos en los que, buscando obtener validez externa, se pierde la interna: si permito que el contexto de evaluación de las hipótesis sea un fiel reflejo de la realidad, probablemente no pueda identificar la relación puntual que busco analizar, ya que en el complejo mundo real las relaciones causales abundan y en múltiples direcciones, por lo que no tendré un buen grado de confianza en mis conclusiones.

La película alemana El experimento (Oliver Hirschbiegel, 2001), basada en un estudio psicológico realizado en el año 1971 en la Universidad de Stanford, ofrece una buena ilustración de estas dos definiciones. Lo que allí pretenden analizar los científicos son los efectos psicológicos y la influencia en el comportamiento que se pueda desprender de la vida en la cárcel a través de los diversos roles que se puedan tomar.

Podrían estudiarlo en un laboratorio de una universidad y si se siguieran los procedimientos adecuados se podría asegurar que los resultados obtenidos poseen validez interna aunque, dado que el ambiente de una universidad o donde se haga el estudio es muy distinto al de una cárcel, uno dudaría de si el comportamiento observado y registrado de los individuos es el que eventualmente podrían llegar a tener en una verdadera cárcel. Uno no se creería esos resultados por falta de validez externa, algo que en la película se intenta solucionar.

El experimento se recrea en una cárcel “real” durante dos semanas, a fin de que los participantes realmente crean que están en ese ambiente: maquillan al laboratorio como si fuera la realidad. Para ello se reclutan a varios voluntarios que nunca hayan estado en prisión y se les asigna aleatoriamente (este término es uno de los mayores aliados de la validez interna) un rol que puede ser el de preso o guardia.

Más allá de todos los límites éticos y morales violados que se ven en esta película, la pregunta es si se alcanza en efecto esa validez externa.

La respuesta, como siempre, es “depende”. A pesar del intento de recrear las condiciones para que los resultados sean extrapolables a verdaderas cárceles la crítica al experimento, además de estar marcada por el polémico método científico (se dejó que se descontrole), también menciona la falta de correlación entre las condiciones de la cárcel del estudio y las reales, por lo que no está tan claro si esos roles tienen verdaderos efectos sobre el comportamiento de los guardias.

Incluso se puso en duda la validez interna, ya que el experimento tal vez no estaría reflejando la verdadera conducta de los participantes sino la que éstos sintieron que debían tener dado el rol, actuando como sintieron y pensaron que debían hacerlo. En otras palabras, el comportamiento de los individuos no habría reflejado el efecto de las condiciones de cárceles y la vida en presión sino lo que los individuos creyeron que debía reflejar al ser protagonistas de una evaluación y simulacro.

En definitiva, si queremos estar seguro de nuestras conclusiones deberemos aislar al máximo todas las posibles causas ajenas que puedan contaminar nuestro objeto de estudio pero con el peligro de obtener un contexto que no sirva para generalizar ni extrapolar, que es lo que a fin de cuentas la mayoría de las veces importa.

El investigador debe optar en su diseño por una preferencia y, como si fuera poco, a veces no tendrá garantizada ni la validez interna ni la externa.

El trade off ya es un problema, pero puede ser peor: a veces la sábana corta no podrá tapar los pies ni la cabeza.

 

 

Referencias

Galiani, S., Rossi, M. A., & Schargrodsky, E. (2011). Conscription and crime: evidence from the Argentine draft lottery. American Economic Journal: Applied Economics, 3(2), 119-136.

https://es.wikipedia.org/wiki/Experimento_de_la_c%C3%A1rcel_de_Stanford