Encuestas Wiki vs. Sesgos de expertos

Las wiki-encuestas permiten atenuar el sesgo del experto abriendo el diseño de la consulta a la inteligencia colectiva de los participantes.

Las encuestas, tal como las conocemos, tienen muchas limitaciones para capturar información, sobre todo cuando el objeto de estudio está cargado de incertidumbre y resulta complicado prever de antemano las cuestiones a incorporar en los cuestionarios. Ya escribí sobre eso aquí: “¿Por qué preguntar con encuestas no suele funcionar?”. En un escenario así, es bastante habitual que los expertos que diseñan las encuestas condicionen mucho el resultado al introducir preguntas y opciones de respuesta muy sesgadas por su propia visión del problema.

Preguntas cerradas vs. abiertas

La mayoría de las preguntas en las encuestas son cerradas. Los participantes eligen entre un conjunto de opciones predefinidas por las personas expertas. De ese modo, los investigadores “ponen en boca de la gente” opciones que bien podrían ser sus propias preferencias.

El formato de preguntas cerradas es, con diferencia, el más utilizado, no porque aporte la mejor información, sino porque es más fácil agregar datos en formatos homogéneos que los no estructurados. Sin embargo, esa estrategia hace que nos perdamos cosas, porque es en las respuestas abiertas donde el investigador o investigadora suele encontrar piezas de información que desconoce de antemano y que puede ser más valiosa.

Hay antecedentes de investigación que demuestran las limitaciones de las encuestas cerradas. Un experimento realizado por Howard Schuman y Stanley Presser (1979) reveló que usar una pregunta abierta como: “La gente busca cosas diferentes laboralmente. ¿Qué preferirías más en un trabajo?” aportó casi un 60% de resultados nuevos, no contemplados entre las opciones predeterminadas de su alternativa, la pregunta cerrada: “Dígame qué cosa de esta lista usted más prefiere en un trabajo”. Es decir, más de la mitad de las preferencias indicadas en las respuestas a la pregunta abierta no habían sido anticipadas entre las 5 opciones de respuesta que previeron los investigadores al diseñar la pregunta cerrada.

Un cuestionario cerrado, donde el experto acota en exceso las posibilidades de recrear la solución, empobrece el espacio de exploración; pero afortunadamente hay formas de atenuar ese problema abriendo el diseño de la encuesta a la inteligencia colectiva de los participantes.

Encuestas-wiki

Si las encuestas tradicionales pecan del prejuicio del experto, veamos qué oportunidades existen para suplir ese defecto abriendo su diseño a la participación colectiva. Para eso voy a ayudarme de la investigación realizada por Matthew J. Salganik, profesor de sociología en la Universidad de Princeton, descrita en su excelente libro (¡¡muy recomendable!!) “Bit by bit: Social research in the digital age” (Princeton University Press. 2017), además de presentar la plataforma allourideas.org,  que su equipo usa para implementar y testear esa nueva forma de concebir las encuestas.

Salganik publicó, en 2015, un estudio realizado con Karen Levy, investigadora de la New York University, sobre la que ya di buena cuenta en este post sobre algoritmos discriminatorios, en el que proponen y testean un dispositivo híbrido, que llaman “encuesta-wiki”, que trata de combinar las mejores características del formato cerrado y abierto. Su idea se inspira en modelos dinámicos como el de la Wikipedia, donde el texto va cambiando por las sucesivas iteraciones.

Plataforma Allourideas.org

Paso a explicar cómo funciona la plataforma allourideas.org donde se implementan las encuestas-wiki, que es de uso abierto y gratuito, y que yo mismo he utilizado en varios ejercicios de inteligencia colectiva con resultados bastante estimulantes:

  • Crea rankings entre opciones: Se define una pregunta, y entonces permite hacer un ranking colectivo de preferencias entre distintas opciones de respuesta. Por ejemplo, queremos hacer un diagnóstico colectivo de: “¿Por qué nuestra organización innova tan poco?”, y entonces aportamos un listado de sentencias que describen distintas causas para que los participantes las ordenen según su importancia.
  • Compara entre pares de ideas: El modo que usa para ordenar es haciendo comparaciones sucesivas entre pares de ideas que el sistema elige de forma aleatoria. En lugar de que el participante tenga que comparar y ordenar a la vez entre más de una docena de opciones, sólo debe elegir cuál es la que prefiere entre las dos que, de manera iterativa, el sistema le presenta, lo que hace el ejercicio de comparar mucho más agradable y fiable. Tiene más ventajas. Por ejemplo, simula muy bien lo que ocurre en la vida real, cuando hay que elegir en un entorno de recursos finitos, al tener que priorizar entre opciones. El participante no puede acomodarse simplemente en un “me gusta” o “no me gusta”, sino que debe seleccionar entre ideas. Una gana y la otra pierde. Otra ventaja es que hace más difícil la manipulación de los resultados porque los encuestados no pueden elegir de antemano qué pares verán, así que cuando hay una gran cantidad de opciones posibles, el participante tendría que responder muchas veces hasta que se le presente de nuevo el elemento que quiere favorecer.
  • Posibilidad de no elegir: Si el participante no entiende alguna de las dos ideas, o no tiene claro cuál elegir, puede pulsar el botón de “No puedo decidir”, y de esta forma evitamos que seleccione sin criterio o al boleo.
  • Añadir nuevas opciones: Aquí viene lo realmente interesante. Si después de comparar varios pares de ideas, el participante echa en falta alguna opción de respuesta que no ha sido prevista por quien diseñó la encuesta, puede introducirla en “Incluya su idea aquí”, un espacio habilitado para enriquecer la encuesta con opciones que se añaden al sistema y que entran en las rondas siguientes de comparaciones entre pares.

La última característica es la que marca realmente la diferencia. En algún punto de la interacción, el sistema invita a los participantes a que, además de votar entre pares, propongan sus propias ideas, distintas a las que aparecen como opciones predeterminadas. Estas nuevas opciones, aportadas por la multitud, pasan por un filtro (o no, si se configura para que se publiquen de forma automática), y las que son aprobadas, se añaden a las que entran en la consulta, como nuevas ideas para comparar en las siguientes iteraciones.
De esa manera, unos pueden responder a las contribuciones de otros, como pasa en la Wikipedia. Así, el sistema es abierto y cerrado a la vez, porque las opciones son cerradas pero dinámicas, dado que se alimentan de las mejores propuestas abiertas y así se evita que el espacio de elección esté demasiado condicionado por los expertos.

Sistema configurable

El sistema es configurable con varias opciones que me resultan muy interesantes, y que se gestionan desde un panel de administración muy sencillo:

  • Anti-groupthink: Negar el acceso a los resultados para que los participantes no tengan información en tiempo real sobre las opiniones de los demás, y así minimizar el riesgo de influencia social y cascadas de información. Cuando termina la consulta, quien la gestiona puede entonces habilitar la visualización de resultados.
  • Filtrado: Indicar al sistema que cualquier idea nueva que añadan los participantes tenga que ser aprobada primero por los gestores de la encuesta, antes de que puedan entrar en las sucesivas comparaciones pareadas. Esto ayuda a vigilar la calidad de las nuevas opciones que se aportan y evitar prácticas nocivas, pero puede desincentivar la participación y/o reproducir el problema que la wiki-encuesta pretendía atenuar: el sesgo del experto que filtra las que finalmente entran.
  • Desactivar “Incluye tu idea aquí”: Se puede inhabilitar esta opción en cualquier momento para dejar de mostrar la caja donde se añaden las nuevas ideas, lo que permite “cerrar” la encuesta en el momento que decida el o la gestora de la encuesta.
  • Opción “No puedo decidir”: Esta funcionalidad se puede activar o quitar. Incluirla tiene ventajas porque el participante puede usarla en tres casos: (a) No entiende la pregunta o alguna de las opciones, (b) Las dos opciones son igual de importantes, (c) Ninguna le vale. Sin embargo, para muchos encuestados puede servir como vía de escape para no esforzarse a pensar y priorizar.
  • Flagear ideas: Permite a los participantes marcar ideas como inapropiadas u offtopic. Después de que un usuario envíe una solicitud de “flag”, la idea se desactivará automáticamente y se enviará un correo electrónico al propietario de la encuesta wiki, que decidirá mediante un rápido click dejarla fuera o reactivarla de nuevo.
  • Idiomas: Se puede configurar en varias versiones, entre ellas, el Español.

Resultados con casos reales

Salganik y sus colegas han hecho varias pruebas reales con este dispositivo para contrastar sus resultados. Una de ellas fue un proyecto con la alcaldía de Nueva York (PlaNYC 2030), para integrar ideas de los residentes en el plan de sostenibilidad de la ciudad. Los funcionarios municipales hicieron una pregunta: “¿Cuál cree que es la mejor idea para hacer de Nueva York una ciudad más verde?”, y propusieron, para comenzar, 25 ideas o posibles soluciones que los expertos consideraban relevantes, que se utilizaron como opciones-semilla para iniciar la consulta. La Alcaldía lanzó su encuesta-wiki en octubre de 2010, que se extendió aproximadamente cuatro meses, recopilando unas 32 mil respuestas y 460 propuestas nuevas.

Lo más llamativo de los resultados fue que 8 de las 10 ideas más votadas correspondieron a nuevas propuestas de los participantes en vez de alguna de las predefinidas inicialmente por los expertos de la Alcaldía, lo que indica hasta qué punto las expectativas de la ciudadanía pueden diferir de lo que suponen los expertos. Claro, que las propuestas más votadas por los residentes neoyorquinos sean más eficaces (para el objetivo de mejorar la calidad medioambiental de la ciudad) que las previstas por los expertos de la Alcaldía, es otro debate 😊

El hecho de que las respuestas que escalaron a la parte superior de la lista no fueran precisamente las que se les ocurrieron a los diseñadores de la consulta se repite en la mayoría de las encuestas-wiki. Es casi un patrón. Por ejemplo, en otro proyecto de la OECD llamado “Raise Your Hand” initiative, 7 de las 10 más votadas eran también ideas nuevas aportadas por los participantes.

Los investigadores entrevistaron a los diseñadores de las consultas de la PlaNYC, la OECD, y más personas que han usado la wiki-encuesta, para conocer su opinión, y comprobaron que existe consenso en dos grandes ventajas del mecanismo: 1) Los participantes aportaron información novedosa, o sea, ideas “sustancialmente nuevas” que no fueron anticipadas por los creadores de las encuestas, 2) aun cuando las ideas ya existieran en el menú de opciones inicialmente previsto, los encuestados sugerían “marcos alternativos” y “formas nuevas de expresar esas ideas” que enriquecían mucho la visión de la entidad convocante de las consultas. Por ejemplo, la capacidad de expresar posibles soluciones siguiendo un enfoque más transversal, con un lenguaje que desbordaba los silos departamentales que habitualmente usaban los expertos y funcionario/as.

Detalles y dudas técnicas

La plataforma allourideas.org ha permitido crear hasta ahora más de 6 mil encuestas, que superan los 7 millones de respuestas. Sirve como banco de pruebas natural para que el equipo de Salganik siga mejorando el diseño de las encuestas-wiki. Por ejemplo, un tema pendiente es cómo hacer más participativa no sólo la elección de las opciones de respuesta, sino también la propia pregunta que define el problema que se somete a consulta.

Yo he usado a menudo esa plataforma para consultas colectivas, y me gusta mucho por su terrible sencillez. Aun así, me surgieron algunas dudas sobre aspectos técnicos puntuales del mecanismo que usa para agregar preferencias, así que me puse en contacto con Matthew Salganik, que conozco de coincidir en algunas de las Collective Intelligence Conference a las que asisto cada año. El sociólogo respondió muy amablemente a mis preguntas, entre ellas estas tres que me parecieron las más relevantes, y que entenderás por qué las hice si pruebas la herramienta (hay una explicación más técnica aquí, por si te interesa el rigor estadístico de estos dispositivos):

1. ¿Las ideas que entran después, las aportadas por los usuarios, no tienen menos posibilidades de ser comparadas que las iniciales de la encuesta?

Lo ideal sería que el muestreo de pares a comparar se hiciera siguiendo una aleatoriedad uniforme, pero debido a que las nuevas ideas aportadas por los usuarios entran después, eso penaliza el número de veces que pueden ser comparadas respecto de las iniciales o “ideas semilla”. Esta disparidad es problemática porque los elementos aportados por el usuario son potencialmente los más interesantes. Por eso, el sistema usa un “algoritmo de recuperación” que muestra con más probabilidad aquellos pares con menos respuestas completadas. De esa manera, ayuda a los pares más nuevos a ponerse al día con los antiguos en términos de número de exposiciones.

2. ¿Cómo se calculan los porcentajes que aparecen en las barras de resultados?

Los resultados se presentan en forma de barras que indican, en orden decreciente, el porcentaje obtenido por cada idea u opción de respuesta. Los porcentajes asignados a cada idea reflejan la probabilidad de que esa idea pueda vencer a otra seleccionada al azar, que es el criterio seguido para construir los rankings. Según el algoritmo utilizado, cada idea parte de un 50% de probabilidades, y entonces va subiendo o bajando en la lista según su capacidad de ganar a otras opciones.

3. ¿Cómo garantiza el sistema la fiabilidad de los datos?

Me preocupaba especialmente que una misma persona pudiera votar muchas veces para manipular el resultado. Matthew me confirmó que el sistema, tal como ha sido diseñado, no puede evitarlo, y la decisión es consciente: no querían obligar a que los participantes tuvieran que loguearse porque eso eleva las barreras a la entrada, aunque me aseguró que es posible introducir un filtro de ese tipo si el administrador de una encuesta quiere hacerlo. Por el momento no tienen evidencias de manipulaciones a gran escala en los tests realizados, pero mi impresión es que el sistema es vulnerable. Por eso, yo sugiero usar la herramienta solo para ejercicios en tiempo real que duren poco, como los que hago en un evento, y sobre todo, para consultas sobre temas en los que no haya fuertes incentivos para trampear los resultados.

En fin, te recomiendo que pruebes la plataforma en consultas colectivas. Su lógica es muy intuitiva y, como ya te dije, es gratuita y de acceso libre. Puede servirte para experimentar distintas aplicaciones de inteligencia colectiva. Yo la he usado, por ejemplo, para acordar con los futuros participantes de un curso los contenidos que vamos a priorizar, realizar encuestas colectivas en tiempo real durante un evento, o responder a una pregunta clave como parte de un diagnóstico colectivo. Ya me cuentas qué tal te ha ido 😊

Nota: Si te ha gustado el post, puedes suscribirte para recibir en tu buzón las siguientes entradas de este blog. Para eso solo tienes que introducir tu dirección de correo electrónico en el recuadro de “suscribirse por mail” que aparece en la esquina superior derecha de esta página. También puedes seguirme por Twitter o visitar mi blog personal: Blog de Amalio Rey.

Experto en lnteligencia Colectiva y creación de redes y ecosistemas de innovación. Se dedica al diseño de arquitecturas participativas y al escalado eficaz de estos procesos. Autor del Canvas del Liderazgo Innovador, facilita proyectos e imparte formación sobre Design Thinking, Inteligencia Colectiva, Hibridación, Co-Skills, Co-Creación, y Ecosistemas 2.0 para innovar. Lidera proyectos de Arquitectura de la Información, redacción-web y diseño de contenidos digitales sobre innovación. Twitter: @arey Blogs: www.amaliorey.com y http://bloginteligenciacolectiva.com/

3 comments

  1. Muy interesante este tipo de encuestas, sobre todo para investigaciones en las que queremos saber de verdad lo que la gente piensa sobre un tema. Comienzo a considerar la posibilidad de aplicarlo a un proyecto de investigación que coordino (La mejora moral de los estudiantes en la educación formal) y algo que nos interesa en ese proyecto es definir con cierta precisión las rasgos que definen a una buena persona.

    1. Muy bien, Felix. Suena interesante tu investigación. Creo que puede servirte la encuesta-wiki porque va a ayudarte a redefinir las opciones (o sea, los “rasgos”) en el propio lenguaje de los estudiantes. Un saludo

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.