Diez razones para no confiar en las encuestas de opinión pública

La gente tiene opiniones. Internet a veces puede parecer poco más que una vorágine de pornografía, anuncios y puntos de vista abiertos sobre todo, desde la política hasta la ficción de fans. Sin embargo, a pesar de la multitud de opiniones que circulan en forma impresa y de boca en boca, todavía tenemos que encontrar una forma replicable, científica y consistentemente confiable de medirlas e informarlas. Ciertamente, no hay escasez de encuestas de opinión que flotan constantemente, pero presentar sus hallazgos como un hecho es más que exagerado.

Al igual que los estudios dietéticos que prueban alternativamente los beneficios y riesgos para la salud de sus alimentos favoritos, las encuestas de opinión juegan a saltar la cuerda con la metodología, la credibilidad y lo que constituye «hechos» en absoluto. Pero no confíe en nuestra palabra: los estudios muestran que mucha gente está de acuerdo, porque …

10. Sesgo de muestreo y no respuesta

Para llegar a una población verdaderamente diversa, los encuestadores deben responder las mismas grandes preguntas que los periodistas: ¿Quién, Qué, Cuándo, Dónde, Por Qué y Cómo? Solo que no solo están contando una historia, solo están tratando de encontrar una variedad de personas que realmente estén dispuestas y sean capaces de responder las preguntas de la encuesta.

La ley de los grandes números sostiene que mientras el tamaño de la muestra sea lo suficientemente grande, se acercará más a ser verdaderamente representativo. Pero eso se basa en que las muestras sean aleatorias para empezar, y el muestreo verdaderamente aleatorio es bastante difícil de lograr, y se ha vuelto más difícil durante años. La teoría predominante sostiene que, a medida que las personas tienen cada vez más formas de comunicarse, están cada vez menos dispuestas a perder el tiempo utilizando esta tecnología para responder a las preguntas de las encuestas.

El problema de la falta de respuesta va más allá de la demografía general, porque los pequeños detalles también importan: el tiempo (los encuestados están en el trabajo o en casa, ocupados o inactivos, casados ​​o solteros), así como la ubicación (un campus universitario frente a una casa de retiro: ambos están abarrotados, pero la diversidad es relativa) y, especialmente hoy, son medianos (teléfono o en línea; hay muchos selección de quién responde las llamadas / hace clic en el enlace, incluso con marcadores de números aleatorios).

El tema de la encuesta también cambia la naturaleza de la “diversidad” que los encuestadores deben satisfacer.

Dependiendo del tema en cuestión, los rasgos de estos diversos grupos pueden manifestarse en todo tipo de variaciones y confusiones, y los encuestadores históricamente han luchado por satisfacer las demandas de diversidad incluso cuando el público realmente cooperó.

En resumen, es más caro y cada vez más difícil realizar encuestas científicamente sólidas, pero no hay escasez de demanda de datos de encuestas. Si bien los expertos (cuyo sustento depende de su capacidad para realizar encuestas) afirman que esta El problema de la «falta de respuesta» no debería invalidar las encuestas de opinión., también reconocen que, no obstante, puede estar contribuyendo a una disminución en el poder de predicción de las encuestas, especialmente en torno a las contiendas políticas.

9. Pastoreo y transporte

Básicamente, la gente prefiere ser coherente que correcta. La lógica de pastoreo funciona así: si realiza una encuesta cuyos resultados difieren de la mayoría de las otras encuestas sobre el mismo tema, ¿significa eso que su encuesta es más o menos precisa que las demás?

Muchos encuestadores (y periodistas) temen la respuesta a esta pregunta y, como resultado, modificar deliberadamente las cosas para asegurarse de que confirmen, en lugar de contradecir, lo que dicen otras encuestas, sin tener en cuenta lo que es exacto o verdadero. Los encuestadores pueden lograr esto empleando un poco de sesgo de selección saludable; básicamente, pregunte al mismo tipo de personas que sabe que han sido encuestadas antes y probablemente obtendrá el mismo tipo de respuestas que dieron antes.

Los reporteros hacen esencialmente lo mismo al enfatizar solo las encuestas que corroboran en las noticias, y simplemente no incorporan ningún dato que no contribuya al consenso narrativo. No importa si están diciendo que las Mac son más populares que las PC, o cuánta gente confía en su gobierno; cuando una pregunta se hace lo suficiente en diferentes encuestas, cualquier cosa que parezca una tendencia tiene buenas posibilidades de ser reforzada en los informes y en las encuestas futuras. La alternativa a seguir el juego es reconocer que, en lo que respecta a la opinión pública, los datos muestran que la gente no ha tomado una decisión o simplemente hay demasiada volatilidad para sacar conclusiones firmes. Pero la ambigüedad es un anatema para una buena historia, por lo que a menudo prevalece el pastoreo.

El fenómeno Herding no solo afecta a los encuestadores y reporteros: en realidad, puede cambiar la forma en que las personas responden las preguntas de las encuestas. Sin embargo, cuando los encuestados cambian sus respuestas, lo llamamos el Efecto de arrastre.

Las personas tienen una tendencia natural a querer estar de acuerdo con los demás, especialmente con aquellos con los que se identifican (o quieren identificarse). Cuanto más se informan los resultados de las encuestas de opinión, más informan las opiniones de los encuestados. Entonces, si escuchas que una película está teniendo éxito en la taquilla, es más probable que digas que tienes una opinión negativa de esa película, independientemente de tu experiencia real al verla.

A menos que sea completamente ignorante de un tema, en cuyo caso su opinión no está informada, o en la primera ola de encuestas (y no sepa ya lo que otras personas piensan sobre el tema), es difícil para usted proporcionar una opinión que no solo refleja lo que usted percibe que es la opinión popular.

8. Divulgación de la metodología

Por muy confuso que sea obtener un tamaño de muestra grande, diverso y representativo, sin ceder a las presiones para ajustarse, es de esperar que los encuestadores y los reporteros admitan las muchas limitaciones o fortalezas de cada encuesta que comparten. Más típicamente, esto es solo una nota a pie de página, si se menciona en absoluto. Los estudios indican que los investigadores a menudo prefieren pasar por alto las flagrantes deficiencias de sus encuestas de opinión e ir al grano, en lugar de admitir que es posible que no hayan aprendido nada.

Cuando se trata de informar sobre este tipo de datos grises, la ofuscación se vuelve aún más sólida. Los medios en línea resumen rutinariamente datos sin vincular a la fuente de esos datos, un atajo que permite que la narración y la hipérbole superen la precisión. Este tipo de cosas es de rutina en cualquier informe de estudios científicos, pero cuando se trata de encuestas de opinión, elimina por completo la conclusión, lo que la gente parece pensar, de la realidad de cómo se midieron esas opiniones. El creciente dominio de las redes sociales como fuente principal de noticias para la mayoría de la gente lleva el problema aún más lejos. Los memes que citan datos y resultados de encuestas rara vez capturan la fuente, y mucho menos califican los números con detalles sobre las limitaciones y fallas fundamentales en la metodología. Los asuntos periodísticos como nombrar las fuentes y proporcionar un enlace a los datos originales no constituyen un fenómeno viral.

En realidad, este problema puede superarse hasta cierto punto, tomando el promedio de múltiples encuestas supuestamente midiendo opiniones sobre el mismo tema. Sin embargo, este método solo funciona cuando conoce las metodologías de las encuestas originales y puede seleccionar encuestas que se compensen entre sí. Después de todo, el hecho de que todos lo hagan de la misma manera no significa que no lo estén haciendo mal. Sin este énfasis en los métodos y las posibles fallas, incluso un promedio de encuestas puede estar produciendo una cifra arbitraria, en lugar de capturar una instantánea más confiable.

Si no conoce la metodología, entonces no sabe si dos encuestas que suenan similares en realidad están sujetas a los mismos errores fundamentales. Entre la falta de divulgación por parte de los propios encuestadores y la fijación de los medios por los números expresivos por encima del matiz y la discreción, la mayoría de las encuestas de opinión se reducen al detalle más llamativo, en lugar de sus deficiencias intrínsecas.

7. Margen de error

Incluso cuando la metodología obtiene una cobertura tácita, enfatizando cuán diverso era el tamaño de la muestra, o dónde se realizó la encuesta, o leyendo literalmente las preguntas que se responden (más sobre esto más adelante), los informes rara vez contextualizan el margen de error de manera adecuada.

No hay una encuesta perfecta; el error es una característica intrínseca. La importancia de ese error y la forma en que podría afectar los resultados varía enormemente. El hecho de que una muestra no sea diversa, por ejemplo, no significa que no pueda revelar datos significativos sobre el grupo en particular.

Cuando una encuesta se mira fijamente en el espejo y aprende a aceptar todas sus imperfecciones y limitaciones estructurales y de procedimiento, presenta una serie de posibles resultados. Cualquier cosa dentro de ese rango muy bien podría ser la verdad, pero el informe final solo apunta al punto óptimo justo en el medio. Todo lo que rodea a esta diana es el margen de error.

Lejos de describir estos números por lo que son, informa sobre Los resultados de las encuestas emplean lo que los propios profesionales de las encuestas describir como una «sensación de falsa precisión».

Entonces, en lugar de reconocer que el margen de error captura una multitud de resultados posibles, a menudo se reduce a un número que representa una precisión relativa: es decir, lo tratamos como una prueba de que los números que vemos son confiables, y no solo un punto medio dentro de un espectro de posibilidades.

Los mismos encuestadores estiman que sus encuestas solo tienen un 95 por ciento de posibilidades de precisión para sus propias encuestas. O en otras palabras, existe al menos un cinco por ciento de posibilidades de que incluso su margen de error no sea lo suficientemente amplio como para incluir los datos reales.

Revisiones de datos de encuestas en una situación en la que hay resultados de opinión medibles, como una elección.mostrar qué tan cerca estuvieron las encuestas de los resultados; también demuestran si el margen de error informado fue lo suficientemente amplio como para capturar la brecha entre los datos de las encuestas y los datos electorales. No todas las encuestas demuestran un poder predictivo confiable, y mucho menos conciencia de sí mismos sobre su propia precisión.

La conclusión es que no hay cifras concretas en lo que respecta a las encuestas de opinión. Todo es una aproximación de una estimación de una suposición informada, y el margen de error en sí mismo es solo una especulación sobre cuán lejos está realmente la encuesta.

6. La redacción rara vez es neutral

El margen de error generalmente enfatiza las variables numéricas: tamaño, regresión estadística, limitaciones metodológicas centrales. Pero los encuestadores tienden a evitar el tema delicado de cómo sus preguntas podrían estar influyendo en sus encuestados.

Lo que una encuesta llama algo cambia los desencadenantes asociativos en las personas que responden a una encuesta. Funciona de la misma forma que condicionamiento clásico: suena una campana y la boca de un perro se hace agua. Una encuesta dice «liberal» o «conservador», y los encuestados acuden mentalmente a su tribu política. Pero gracias a Internet y la abundancia de cobertura mediática de cualquier tema de la más remota controversia, la gente aprende a asociar ciertos sentimientos con diferentes palabras y nombres, asociaciones que luego pueden ser activadas por encuestas de opinión aparentemente neutrales.

La diferencia en cómo se sienten las personas acerca de la reforma de salud estadounidense, por ejemplo, depende de si se les pregunta sobre Obamacare o la Ley del Cuidado de Salud a Bajo Precio. Los resultados variaron aún más cuando algunas encuestas preguntaron sobre elementos específicos de la ley, en lugar de simplemente referirse a ella por cualquier nombre. Se abren vacíos similares cuando se comparan cosas como liberal versus progresista, o conservador versus republicano, no solo en términos de qué etiquetas prefiere la gente, sino también cuando se aplican como descriptores en las encuestas.

No importa cuán universal sea el término, hay tanto debate apasionado sobre lo que realmente significa la palabra, como sobre si la crema o el té se van primero en la taza. Llega al punto en el que parece necesario realizar una encuesta de opinión sobre cualquier tema; Primero se debe realizar una serie de encuestas de opinión para determinar cómo las diferentes personas prefieren llamar a lo que se supone que tienen una opinión. ¿Hay más personas caninas o personas con perros en comparación con las personas con gatos? ¿Hombres y mujeres o damas y caballeros? En que contexto ¿Dividir en qué líneas demográficas?

Dependiendo de los términos que se utilicen en cada momento, es posible que las encuestas de opinión no midan lo que creen que están midiendo, porque los encuestados están preocupados por una palabra o frase en la pregunta, en lugar de lo que la pregunta realmente está tratando de preguntar.

Por supuesto, incluso sin tales sesgos asociativos, las preguntas en sí mismas pueden llevar al punto de inducir a error tanto a los encuestados como a los encuestadores.

5. Orden de preguntas (y respuestas)

Dejando a un lado las etiquetas, incluso la redacción de las preguntas puede tener un impacto enorme en las respuestas que genera una encuesta. La diferencia entre «¿Tiene una opinión positiva de …?» En comparación con «¿No aprueba …?» Puede cambiar las respuestas drásticamente, al igual que la diferencia entre las preguntas de Sí o No, y las que piden a los encuestados que indiquen cuál de una variedad de afirmaciones con la que más están de acuerdo o menos.

Se ha demostrado repetidamente que las encuestas de opción múltiple crean Resultados desiguales basados ​​puramente en el orden de las opciones.. En una elección, eso significa que el candidato cuyo nombre aparece primero tiene una ventaja incorporada, aunque es difícil predecir qué tan grande será esa ventaja antes de tiempo. Diferentes jurisdicciones emplean diferentes estrategias de aleatorización para dar cuenta de esto, sin que surja ningún sistema claro e infalible como garante de la equidad.

Pero el orden de preguntas, así como de las posibles respuestas, puede ser igualmente confuso para los resultados de una encuesta.

Esto puede deberse a que las personas quieren parecer coherentes (una vez que califique a Tom Hanks como un gran actor, es probable que también desee otorgar calificaciones más altas a sus películas; una vez que exprese una opinión sobre un tema de política, es más probable que se comprometa a apoyar a cualquier candidato cuya opinión usted asume que se alinea con la suya). También puede ser el resultado de preguntas que dejan mal sabor de boca a una persona (decir que odias una película te prepara para decir que odias otras películas; calificar a un político como no confiable te prepara para pensar en otros políticos como indignos de confianza).

Sesgo de anclaje–En el que usted se aferra a un detalle o información en particular y luego confía (o confía demasiado) en él para todas las futuras decisiones, puede activarse con la misma facilidad en una encuesta de opinión que en un lote de autos usados.

Mezclando el orden de esas cosas, de una encuesta a otra y de una persona a otra, puede ayudar, pero también puede complicar la encuesta y hacer que sea mucho más difícil de realizar. Una vez más, la simplicidad prevalece la mayoría de las veces, y en última instancia depende de los encuestadores decidir si sienten que están siendo objetivos en la forma en que formulan y ordenan sus preguntas, porque es probable que ningún informe sobre los resultados profundice en detalles tan oscuros. como metodología.

4. Las encuestas eliminan los matices y fuerzan las conclusiones

Cuando alguien dice: «Sigue tres», ¿automáticamente asumes que eso significa «Uno, dos, tres, vamos» o «Uno, dos y vamos»? Porque por muy común que sea una expresión, la gente no siempre está de acuerdo instintivamente.

Lo mismo para cualquier pregunta que le pida que califique las cosas en una escala del uno al 10, o del uno al cinco, o en realidad cualquier escala numérica arbitraria, porque no necesariamente puede asumir que uno es malo y el número más grande es el mejor.

Este es un problema con las respuestas enlatadas integradas en tantas encuestas de opinión: los encuestados no pueden compartir sus pensamientos porque tienen que usar el sistema de respuesta estandarizado creado para la encuesta. Así como la redacción de las preguntas puede causar estragos en la forma en que las personas interpretan y responden, también redacción de las respuestas disponibles confunden y confunden la forma en que las personas seleccionan las respuestas que dan a las encuestas de opinión.

Solo mirando el sistema de clasificación numérica, gracias al sesgo de anclaje, las personas tienden a cubrir sus comentarios apuntando al medio, cambiando sus respuestas dependiendo de si una escala comienza en 0 y cuenta hacia arriba, o en 10 y cuenta hacia atrás. Y los investigadores han descubierto que los encuestados tienden a preferir escalas de números impares, porque eso les da la opción de apuntar al medio y evitar revelar una opinión fuerte de cualquier manera sobre cualquier cosa.

Por supuesto, los encuestadores pueden agregar calificadores verbales a cada elemento, de modo que en lugar de simplemente elegir un número, los encuestados afirman que están «totalmente de acuerdo» o «totalmente en desacuerdo» con una declaración principal, o se sienten «satisfechos» o «insatisfechos». con algo.

El único problema con este enfoque es que nadie piensa o habla de esta manera, y la gente tiende a sentirse más cómoda al estar de acuerdo con declaraciones que suenan como algo que realmente dirían. Por lo tanto, algunas investigaciones recomiendan que los sistemas de retroalimentación sean calibrado psicológica y sociolingüísticamente a los encuestados objetivo para asegurarse de que se sientan cómodos y naturales al seleccionar sus respuestas.

Fuera de estos sistemas de preguntas y respuestas enlatados, existe la teoría predominante de que presentar a las personas una opción falsa produce datos significativos sobre sus preferencias. Hay una gran diferencia entre preferir algo y querer algo. Cuando juegas una ronda de Preferirías, estás forzando la elección, a menudo entre dos opciones indeseables. Algo similar ocurre habitualmente en las encuestas de opinión que buscan medir la favorabilidad: ¿preferirías beber Coca-Cola o Pepsi? Si no le gusta el agua marrón con gas, su respuesta podría ser: «Tampoco, me gusta mi refresco de lima-limón». Si esa no es una opción, entonces está atascado fingiendo que le importa, y las encuestas pueden afirmar con entusiasmo que ha aprendido algo.

No importa cuál sea el tema, la redacción sugerente y los sistemas de respuesta rígidamente obtusos crean rápida y fácilmente una narrativa inexistente al poner efectivamente palabras en la boca de quienes sondean.

3. También extrapolamos Mucho

Incluso si los datos de las encuestas fueran realmente precisos y confiables, la forma en que se presentan los datos a menudo implica grandes saltos de interpretación creativa. Básicamente, en lugar de acercarse a los datos de las encuestas con un ojo escrutador, los informes sin aliento apuntan a estos números como si fueran medidas sólidas y confiables de características tangibles.

El Consejo Nacional de Encuestas Públicas recomienda a los periodistas hacer 20 preguntas cada vez que se encuentran con una encuesta de opinión antes de utilizarla como recurso en cualquier informe. Sin embargo, lejos de ejercer moderación y escepticismo, los organismos de control de los medios encuentran que los reporteros de noticias confían más que nunca en encuestas claramente poco fiables. Todo se reduce a la urgencia, las prioridades y la culpabilidad. La actitud predominante entre los reporteros y las organizaciones de noticias en la era digital es que ser el primero es más importante que ser preciso–Aunque puede que ni siquiera sea un enfoque único en la era digital en absoluto.

La disminución de la tasa de participación en las encuestas de opinión pública tiene una relación inversa con la dependencia de los medios de comunicación de los datos de las encuestas para informar su narrativa informativa. La gente desconfía de las organizaciones de votación, así como de las personas que las realizan, pero no hay una disminución similar en la cobertura que obtienen las encuestas de opinión al evaluar el éxito o la popularidad de cualquier tema en discusión.

No es solo un problema en la información política: todo, desde puntuaciones de satisfacción del cliente a métricas de compromiso de los empleados a críticas de películas en línea–Todos los sistemas diseñados para tomarle el pulso a un grupo con opiniones sobre cualquier tema– han demostrado ser poco confiables, fundamentalmente defectuosos e infinitamente populares como base para medir el éxito y tomar decisiones futuras.

Parte del problema es que el el número y la variedad de encuestas de opinión ha crecido de manera monumental, hasta el punto de que informar sobre encuestas de opinión es prácticamente su propio ritmo en el mundo periodístico. Entonces, en lugar de enfatizar lo que es un margen de error, circulan historias sobre cómo las nuevas encuestas muestran fluctuaciones mínimas en el sentimiento público.

Pero también hay una falla inherente en la cuantificación de algo que solo existe de manera abstracta y está sujeto a fluctuaciones temporales. O en otras palabras: no se puede poner un número a las opiniones, porque cambian constantemente, de manera arbitraria, y la mayoría de las personas no son muy hábiles para expresarlas en términos discretos; las encuestas son inherentemente sensibles al tiempo, literales y se usan para cambiar ideas en estadísticas.

2. Las encuestas de opinión hacen que las historias sean más fáciles de contar

Toda la industria de las noticias opera sobre la premisa de que las noticias en sí mismas son solo un serie de historias. Es por eso que muchos los periodistas terminan trabajando en empresas Funciones de marketing y relaciones públicas: cualquier organización de personas cuenta historias sobre sí misma para llamar la atención, inspirar lealtad y atraer apoyo.

Porque la naturaleza de la información y el intercambio de noticias modernas favorece la simplicidad sobre los matices, y las redes sociales permiten cualquier persona con conexión a Internet y una agenda para jugar a periodista a su propia red social, las encuestas de opinión permiten que todos cuenten su propia historia sobre el mundo, y los datos de las encuestas del sitio como el «hecho» en el que se basa esa historia.

Hay muchas formas de hacer esto: un evento importante como una elección tiende a generar una multitud de encuestas con resultados muy variables. Esto les da a los reporteros la capacidad de seleccionar cualquier conjunto de resultados que se ajuste a la narrativa que prefieran e informar todo como un hecho.

Informar de las encuestas de opinión de forma selectiva permite que cualquier lado de un tema o historia suscite dudas sobre la narrativa alternativa. Ni siquiera tiene que ser malicioso: solo un impulso para forzar el consenso o movilizar a los contrarios es suficiente para alimentar el sesgo en la narrativa y ocultar los datos en sí debajo de las capas de la narración.

Las encuestas de opinión brindan otra forma de reforzar la narrativa que los reporteros (y sus seguidores) están construyendo para explicar los eventos del mundo. No solo eso, sino que convierten historias complejas y en evolución en instantáneas digeribles y compartibles que se parecen muchísimo a los hechos, sin que necesariamente sean ciertos.

Hay muchas razones por las que el sesgo puede infiltrarse en los informes–No solo por los medios de comunicación, sino por cualquiera en el gancho para contar una historia sobre lo que está sucediendo y por qué. Pero la proliferación de encuestas de opinión, todas realizadas con una amplia gama de metodología científica y por organizaciones con sus propias agendas y prejuicios, incluso el reportero más serio puede esencialmente elegir a qué datos hacer referencia y publicarlos en línea para que adquieran una vida de su propio.

1. La gente es idiota

Resultado de imagen para la gente es idiota gif

Probablemente el problema más grande y generalizado de las encuestas de opinión pública es que asumen que las personas encuestadas realmente entienden lo que se les pregunta, y lo que se supone que significan sus respuestas.

En realidad, no comprender una pregunta rara vez impide que la gente la responda de todos modos. O, si entienden la pregunta pero no tienen una opinión sobre el tema antes de que se les pregunte al respecto, lo harán generalmente solo inventa una opinión solo para que puedan responder.

Entonces, cuando le pida a las personas que califiquen cualquier cosa, desde su estadía en el hotel, hasta una película que acaban de ver, hasta sus sentimientos sobre un candidato político, todos tendrán una interpretación diferente de la escala que se usa para capturar su opinión, el significado de las palabras clave y frases tanto en la pregunta como en sus opciones de respuesta, y diferentes opiniones instintivas que no reflejan ni sus sentimientos reales ni ninguna cantidad de pensamiento crítico.

Luego, por supuesto, existe la posibilidad de que el entorno en el que se realizan encuestas, y los sujetos de la encuesta, impulsa a los encuestados a cambiar sus respuestas para parecer más socialmente aceptables.

Solo puede proporcionar un cierto contexto para evaluar lo que la gente realmente dice en estas encuestas. Y por mucho que nos guste clasificar las cosas, especialmente a través de las listas de los 10 principales, el vacío entre el rango absoluto y los méritos relativos puede dar lugar a graves malentendidos y tergiversaciones. Pero debido a que la oferta cada vez menor de personas que realmente están dispuestas a realizar encuestas también se inclina a responder a las preguntas de la encuesta sin importar qué, la naturaleza de las encuestas está cambiando de medir lo que la gente piensa a sostener tarjetas de referencia y registrar a las personas que las leen.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.