¡Ay! las encuestas.
Iñaki, de Administraciones en red nos invita a participar en la investigación que el Departamento de Economía de la Empresa de la UNED ha puesto en marcha para conocer la aceptación de la administración electrónica entre la ciudadanía.
Allá que me he ido a opinar, y la he encontrado una encuesta un tanto “silvestre”, parece que le falta un hervor:
- Se realiza por Internet (al menos no se menciona otro medio), así que es para Internautas voluntariosos con lo que creo que la muestra está algo sesgada.
- Algunas preguntas son difíciles de interpretar: “En relación con sus intenciones de interacturar con la Administración Local en los próximos 3 meses…”. En fin, en relación con mis intenciones… de interactuar… pues no había pensado en ese tipo de tentaciones de interacción, la verdad, y menos en el próximo trimestre. Sí, ya sé, se le pilla la intención a la pregunta, pero en una encuesta… ¿no habría que ser más claro y conciso?, sobre todo si se piensan recoger datos a pie de calle además de por internet (que no parece que vaya a ser así).
- Hay más: “los servicios públicos electrónicos aportarían mayor eficiencia a la gestión pública interna de mi Ayuntamiento”, frase a la que quizá, sólo quizá, se le adivine la intención; pero reconozcamos que está mal resuelta, porque eso de la administración pública e interna… tiene algo de oxímoron.
- Otras incluyen dos preguntas en una, por ejemplo “me permitiría obtener información y realizar trámites más rápidamente”. En mi caso, puede que consiga información, ya que la web está cargada de pedeefes con formularios, disposiciones y documentos similares, pero dudo que los trámites se agilicen excepto por que, al menos, no tengo que ir a buscar los papeles, sólo los tengo que encontrar, bajar, abrirlos con el programa adecuado, imprimirlos, rellenarlos (a mano) y llevarlos al ayuntamiento. Por lo tanto, mi respuesta a esa pregunta sería: sí que obtendré información pero no realizaré los trámites más rápidamente, y no vale.
- A alguna se le debe reconocer un punto de ironía: “Se ajusta bien a la forma en la que a mí me gusta realizar trámites en mi Ayuntamiento”. La verdad, lo reconozco, soy un mal ciudadano a quien no le gusta nada, pero nada nada, realizar trámites ni en mi ayuntamiento ni en ningún sitio. Así que ante esta pregunta tampoco he sabido que responder.
- Y hay alguna otra que no sé muy bien que harán con las respuestas: “El Ayuntamiento está presente en Internet porque está interesado en mi bienestar, no en el suyo propio”. Francamente, ¿WTF?
Cada vez que veo una encuesta de estas me pregunto porqué no la han revisado sólo un poco más y cómo es que profesionales del tema no son capaces, simplemente, de utilizar un lenguaje claro y directo.
La verdad es que lamento tener que mostrarme crítico (y, lo reconozco, hasta un poco cínico) con una iniciativa que me parece de mucho interés, pero es que este tipo de fallos (por otro lado fáciles de arreglar) pueden malograr todos los recursos destinados a su buen fin. Y me da rabia.
Conste que he contestado a lo que he podido.
Urbanita para toda la vida, fugado en una isla mediterránea; filósofo y letrado que mola más que psicólogo, de apellido, social que, en mis tiempos, era una especialidad. Entre tanto título genérico me quedé con un perfil polimórfico y más bien metodológico. Desde la enseñanza a la consultoría, pasando por la estadística, la creación de [...]
Mi intención al “publicitar” esta investigación ha sido colaborar con un proyecto que me parece interesante. No he entrado a evaluar la calidad de la encuesta o del enfoque del trabajo. Como digo en un comentario en mi blog, cuando veamos los resultados podremos decir si estamos de acuerdo o no con las conclusiones de la investigación.
Ahora bien, me parece mucho más constructiva tu actitud, detallando algunos aspectos de la encuesta que te parecen mejorables. Creo que tu crítica puede serles de utilidad a los autores de este trabajo. Por eso la voy a referenciar en mi blog como una actualización del post, para que los autores del trabajo puedan llegar a conocer más fácilmente tus aportaciones críticas, que a mi me parecen razonables y acertadas. Muchas gracias, Miguel.
Gracias, Iñaki, a ti, sobre todo por tu ejemplar actitud. Es que con las encuestas, a veces, no puedo
y pocas veces encuentro respuestas como la tuya a una crítica a veces un pelo excedida de ironía. No había leído los comentarios a tu anotación y veo que hay observaciones que coinciden con alguna de las mías.
Nos leemos.
Creo que está bien mantener una actitud crítica, siempre que sea más constructiva que ofensiva. Respecto a las cuestiones que planteas:
- El universo de la encuesta son los usuarios de Internte. Esto no implica sesgo alguno. Se ha definido así y así se tendrá en cuenta en el análisis de los datos y sus conclusiones.
- Quizá la palabra “interactuar” no sea la más apropiada, pero fue difícil encontrar otra cuando se quería hacer referencia desde un punto de vista global a la relación electrónica Administración-ciudadano (abarcando obtener información, descargarse documentos, realizar trámites o participar en la vida-gestión pública). Si se te ocurre otra forma de conceptualizar esto indicanoslo para modificarlo en la encuesta.
-Cuando se habla de “gestión pública interna” nos estamos refiriendo én realidad a gestión interna. Se incluyó la palabra pública para potenciar el sentido de gestión orientada realmente hacia el ciudadano y dejar en un segundo plano la gestión administrativa interna del ayuntamiento.
- Cuando se pregunta por la valoración del ciudadano respecto a la posibilidad de “obtener información y realizar trámites”, nos estamos agrupando ambas porque lo que pedimos es su valoración conjunta. No entiendo esta crítica, porque que lo que fue complicadao es decantarse por la pregunta introductoria respecto a cómo valoran los ciudadanos las posibilidades que aportaría la presencia en Internet de los ayuntamientos desde el punto de vista de la comunicación y cercanía.
- La pregunta irónica ” …. se ajusta a la forma a la que a mí me gusta realizar los trámites con mi ayuntamiento” es una variable clásica de compatibilidad. Interesa porque incluso a muchos usuarios de Internet en algunas cuestiones no quieren renunciar al trato directo.
- Cuando se pide la valoración sobre “…. está presente en Internet por mi bienestar…” se está evaluando un aspecto de la confianza del ciudadano en el eGobierno. Si te fijas la confianza está evaluada desde otros dos puntos de vista más (puedes repasar la encuesta).
En fin, creo que el debate debería ir en estos términos y no en el tono “facilón” con que se abordan estos asuntos en algunos casos. Nuestro interés es estudiar la percepción ciudadana respecto a la presencia en Internet de los Ayuntamientos, y quizá ahí está la causa de algunos de los malos entendidos que se producen. Estamos muy acostumbrados a que nos pregunten sobre web concretas, porque la mayoría de los estudios van en esta línea.
Para este trabajo la participación es muy importante y es la razón por la que hemos pedido colaboración a algunos de los blogs sobre el tema. Para que la muestra sea más neutral, también se están lanzando peticiones de participación por correo a colectivos más alejados de estos temas.
Por último te propongo también un aspecto de mejora. Esta herramienta de generación de comentarios es francamente mejorable. Perdón por los errores tipográficos.
Un saludo
Gracias por tus puntualizaciones. Trataré de seguir con el diálogo.
Cuando critiqué el lenguaje no lo hice por que sí, yo tuve dificultades para entender las preguntas y me considero un lector atento y suficientemente formado para una encuesta así. Fíjate que, en tu comentario, la explicación para algunos términos es relativamente larga ¿no confirma eso que no están claros en una primera lectura?
De acuerdo con lo de los usuarios de Internet, si es así, vale, pero los usuarios de Internet con voluntad de contestar a una encuesta así pues son una muestra muy especial ¿no? Si lo tenéis asumido, ningún problema, por supuesto.
Pues en vez de “interactuar”, “relacionarse con el ayuntamiento”, “trabajar con…”. Pero el problema puede ser que se quiera abarcar demasiado y muy diferente en un sólo verbo (fíjate en todo lo que señalas). Una de los problemas de algunas encuestas es que quieren abarcar demasiado, precisamente. “Interactuar” lo cubre todo, pero quizá no sea buena idea.
Respecto a lo de gestión pública interna, lo siento, pero después de tu explicación me sigue costando entender a que te refieres concretamente. Remarco lo de “concretamente” por que una encuesta, si tiene que ser algo, es concreta.
Obtener información y realizar trámites sigue siendo, además de dos preguntas, dos cosas distintas que necesitan de instrumentos diferentes. Preguntar por las dos es obtener respuestas que no se sabrán muy bien cómo interpretar.
Respecto a la “pregunta irónica”, ahora la entiendo y no sé por qué no la hacéis tal como la explicas: “Prefiero hacer los trámites directamente en el Ayuntamiento”, “Prefiero hacer los tramites por Internet” , “…personalmente”. Hay opciones.
Sigo creyendo que no sé que haréis con las respuestas a la pregunta sobre estar presente en Internet por mi bienestar o el del ayuntamiento. No crítico la forma de la pregunta sino su sentido ¿La confianza será menor si el ayuntamiento se beneficia de estar en Internet? ¿No es posible sacar ventajas para ambos? No sé, creo que es un planteamiento algo ingenuo.
No sé si quieres decir que he abordado el tema de manera facilona. Si es la impresión que has sacado, bueno, lo entiendo y lo siento, pero no ha sido así. Me leí la encuesta varias veces, intenté responderla sinceramente y tuve problemas; y escribí el post, y lo repasé con la encuesta al lado, sobre algunos de los defectos que me parecieron más fáciles de entender.
Siento lo de los comentarios. No lo sabía, aunque no había recibido quejas, la verdad. Miraré el tema a ver qué pasa.
Gracias, de nuevo por comentar y bienvenido al blog.
Creo que ahora sí lo estamos encauzando bien. Veamos:
- Entre interactuar y relacionarse … Habría que pensarlo, pero creo que no es una decisión crítica. Lo de trabajar sí que no coincide con el sentido que se busca.
- Si no he entendido mal, el punto de discusión está en la palabra “pública”, porque gestión interna sí queda claro ¿no?
- No se pregunta por obtener y realizar trámites de forma conjunta. La pregunta va orientada a valorar una dimensión clásica en los estudios de aceptación tecnológica, la utilidad percibida (las cinco primeras preguntas de este bloque evalúan diferentes aspectos de esta utilidad). Si vuelves a repasar la encuesta te darás cuenta de que existen dos bloques completos dedicados a esto: uno dedicado a la comunicación y obtención de información y otro a la prestación de servicios (tramitación).
- La pregunta irónica no la hemos hecho como planteas porque el sentido de “compatibilidad con el estilo de vida” lo entiendo como algo más amplio que únicamente realizar trámites. De ahí la expresión utilizada.
- Respecto a si el ayuntamiento desarrolla iniciativas de eGobierno en beneficio propio o pensando en el ciudadano, entiendo tu planteamiento. Opté por la forma en la que se pregunta por tratarse de una variable de la confianza del ciudadano en el eGobierno con el criterio de que esa confianza sería mayor si piensa que el ayuntamiento desarrolla estas iniciativas como un servicio y un mayor compromiso con la ciudadanía. Por supuesto esto no niega que sea posible el beneficio mútuo ni que el ciudadano sea consciente de ello, únicamente es una decisión derivada del enfoque del estudio: el eGobierno centrado en el ciudadano.
Como conclusión parece que al final tenemos cierta discrepancia en algunas palabras y en el enfoque de un par de frases en un estudio que abarca casi 100 variables.
Eso es lo que a veces crea insatisfacción, que alguien ha leído una encuesta varias veces y, o “recomienda que no se haga” (es el caso de un tal Felix Solis que creo que tiene un blog) o se pone sarcástico y dice que está “asilvestrada”.
La encuesta tiene un problema, es larga. He asumido el riesgo de que sea así porque creo que por Internet es más fácil de asumir. Por teléfono o personalmente sería inviable por el coste que llevaría asociado. Lo único que persigue su publicación en blog y portales (en los que lo he conseguido) es fomentar la participación y que esta sea representativa para que las conclusiones aporte valor. Al final a mucha gente le interesan estos temas, pero desde un punto de vista divulgativo. No sé si lo conseguiré, en este caso se trata de cuantificar realmente de qué estamos hablando.
Muchas gracias por tus comentarios. Veré que hago con ese par de expresiones que plantean dudas.
Entiendo que la encuesta es más amplia que los ejemplos que presenté, pero mi intención no era hacer un análisis exhaustivo sino presentar algunos ejemplos de algo que creo que pasa a menudo con las encuestas. Cuando digo “silvestre” me refiero al hecho de que aparezca falto de elaboración. Creo que el lenguaje es una de las cosas que más hay que trabajar en las encuestas. Es fácil caer en el supuesto que los encuestados reconocerán los mismos significados que reconocen los autores. ése es un sesgo del que es muy difícil librarse y, de verdad, creo que vuestra encuesta peca un tanto de eso.
Y, claro, esto es un blog, con un lenguaje directo y coloquial. Por supuesto que en una revisión formal de la encuesta hubiese entrado en mayores explicaciones y propuestas. La intención, y entiendo que te pueda doler, era usar vuestra encuesta, sí, de ejemplo de males, muchísimo peores la mayoría de las veces, que se dan en otras encuestas.
Pasa que la mayoría de ellas no se comparten en blogs como habéis hecho vosotros y sólo las ves cuando están acabadas, tabuladas y publicadas, sin conocer nunca las preguntas iniciales. Así que sí que hay algo que lamento: es no haber sabido dejar claro que vuestra iniciativa de divulgarla por este medio es de lo más ejemplar. Aunque tiene sus riesgos, como los que citas: que alguien recomiende no contestarla o que un bloguero de poca fe la llame silvestre
.
En fin. Gracias de nuevo por tu comentario y por este diálogo. Cuenta conmigo si hay más ocasión de divulgar vuestro trabajo.
Gracias a tí también por este intercambio de impresiones.
Lo más importante en este momento es la participación, por eso defiendo que la encuesta está trabajada y cada pregunta está meditada (es el resultado de bastante esfuerzo) cuando se la ataca muy frontalmente.
Voy a intervenir, porque en su momento ya lo hice en otros blog, y no publiqué un post al respecto en el mío, precisamente porque al intentar hacer la encuesta vi que era “manifiestamente mejorable” y me pareció que no merecia la publicidad de un blog, aunque fuese tan humilde como el mío.
Por otro lado, tanto en los posts en el blog de Rafa Chamorro como el de Iñaki me dió la impresión que habían dado la publicidad sin intentar hacer la encuesta. En mi modo de pensar, es poco serio. Cuando escribo sobre algo me gusta estar mínimamente informado sobre ello, y si es posible haberlo probado en primera persona.
Sobre la encuesta en sí salta a la vista que en primer lugar tiene fallos de concepción y otros de implementación.
Entre los primeros, su dimensión: nadie está dispuesto a rellenar una encuesta de 15 minutos por internet, salvo dos colectivos: los propios implicados (funcionarios del la administración local) y los muy frikis que además estén muy cabreados con su ayuntamiento.
Por tanto, los resultados no valen como indicativo de nada. Estoy pues en desacuerdo con Iñaki en que hay que esperar a ver los resultados, para mi la encuesta ha fracasado ya, sean cuales sean los resultados susodichos.
El segundo fallo es de implementación. Ya has señalado con bastante irónico humor alguno de ellos. Yo dejé de rellenar las respuestas cuando me repreguntaban por la misma idea en activa y en pasiva: “Sería útil para mí”… “Sería inútil para mí” ¿acaso quieren pillar en renuncio al encuestado?
La moraleja es que estas cosas hay que repasarlas un poco antes de publicarlas, y que a los blogger que las dan publicidad, se ocupen de conocerlas en primera persona antes de darlas publicidad.
Ya. Lo de la muestra es lo que hay y si así lo han decidido, pues tendrá el alcance que tenga, mientras se explique en los resultados…
Respecto a publicarla o no, la blogosfera es un lugar más bien informal, donde la mayoría no buscamos la rigurosidad formal que aplicamos en otros contextos. Que se recomiende una encuesta supone que también se la deja al alcance de críticas como la tuya o la mía, así que todo se compensa. Otra cosa es recomendar contestarla sin más, pero anunciarla como algo que se está cociendo (bien o mal) respecto a un tema de los que se tratan en un blog, me parece natural.
Coincido plenamente con la primera parte de tu moraleja y sigo creyendo que las encuestas casi siempre se aplican cuando aún están demasiado crudas.
Ha costado, pero por fin se han publicado los resultados de este trabajo. Un saludo a todos los que tuvieron dudas….
http://www.amazon.com/Administraci%C3%B3n-P%C3%BAblica-Sociedad-Informaci%C3%B3n-Antecedentes/dp/3845484942/ref=sr_1_2?ie=UTF8&qid=1316419817&sr=8-2