Un chat municipal que “tiene muchos mensajes” puede estar siendo un éxito o un desastre. El volumen no distingue. Si no mides, el pleno oirá anécdotas: un vecino encantado, un concejal que “lo ha visto fallar”, un técnico que dice que ahora trabaja más.
La pregunta correcta no es “¿funciona la IA?”. Es ¿el vecino resuelve y el equipo respira?
Lo que no sirve como único indicador
- Número de conversaciones. Sube si hay una fiesta, un corte de agua o un rumor. No dice si ayudaste.
- Tiempo de respuesta del bot. Un segundo con una respuesta falsa es peor que un minuto con la buena.
- “Likes” en el anuncio de Facebook. No es un sistema de atención.
Mide servicio público. El resto es ruido.
La AEPD publica, de su propio asistente, dos cifras que sí apuntan a servicio: más de 3.000 consultas al mes y satisfacción cercana al 80%, con opción de hablar con un agente en horario. Ese es el tipo de dato que un ayuntamiento puede defender. No el de “hemos implantado IA”.
Un cuadro mínimo (sin software de analítica espacial)
Con una hoja y el propio panel del canal basta para empezar. Cuatro números, cada semana:
- Contención: porcentaje de hilos de catálogo (horarios, requisitos, calendarios) que se cierran sin que entre una persona. En implantaciones de este tipo en municipios pequeños, superar la mitad de las consultas habituales es un listón realista cuando el contenido está cuidado.
- Escalado útil: de lo que sí pasa a humano, qué parte era inevitable (urbanismo, un conflicto, un expediente) y qué parte era un agujero del catálogo. Lo segundo se arregla con un texto, no con más personal.
- Tiempo de cola humana: desde que el vecino necesita persona hasta que alguien responde en horario. Si el bot es 24 horas y el humano tarda tres días, la percepción es de abandono.
- Incidencias a cierre: si usas el chat para avisos de vía pública, mide del acuse a “asignada” y a “cerrada”. Un mar de “recibidas” sin cierre es un buzón.
Añade, cuando puedas, una pregunta de una línea al cerrar: “¿te sirvió?”. No hace falta un CSAT de call center. Hace falta tendencia.
Horas del equipo: el indicador que justifica el canal
El argumento en un municipio pequeño no es la innovación. Es atender sin ampliar plantilla. Por tanto:
- Horas de teléfono y mostrador en las mismas categorías, cuatro semanas antes y cuatro después.
- Hilos en móviles personales de cargos electos: deberían caer. Si no caen, el número oficial no es creíble o no está publicado.
- Retrabajo: veces que el vecino llama “porque el chat me ha dicho otra cosa”. Eso es un defecto de contenido, y se cuenta como tal.
Cinco a diez horas semanales recuperadas es el orden de magnitud que vemos cuando el catálogo cubre de verdad lo repetitivo. Si a los dos meses nadie ha recuperado ni una hora, el canal está mal alimentado o mal anunciado —no “el vecino no quiere IA”.
Calidad: cómo cazar el error antes de que llegue al pleno
Una muestra semanal de 20 conversaciones, leídas por quien firma el contenido:
- Alucinación: el asistente ha inventado un plazo, una tasa o un requisito. Prioridad máxima. Se corrige el mismo día.
- Desactualización: el horario cambió el lunes y el chat aún no. Dueño del canal, no “la herramienta”.
- Fuera de ámbito: ha aceptado una multa, un dato de un tercero o una urgencia médica. Hay que cerrar esa puerta.
- Tono: de funcionario de broma o de notario. Ni lo uno ni lo otro. Claro y respetuoso.
Eso es supervisión humana. El AI Act la da por supuesta cuando hay un sistema delante de las personas. El ENS agradece que exista un responsable con nombre.
Qué contar hacia fuera (y qué no)
Hacia el pleno y la web: contención, horas de equipo, satisfacción, incidencias cerradas, que hay aviso de IA, que la sede sigue siendo la sede. Hacia dentro: los agujeros del catálogo y los errores graves.
No publiques:
- Conversaciones identificables.
- Rankings de “vecinos que más escriben”.
- Promesas de plazo de reparación sacadas del bot.
La FEMP habla de digitalización en términos de servicio (Carpeta Ciudadana, menos ventanillas duplicadas). Tus métricas deberían sonar igual: menos colas para lo obvio, más tiempo para lo que no lo es.
Cadencia para no convertirlo en otro informe muerto
Quince minutos el viernes. Los cuatro números. Tres ejemplos buenos. Un error corregido. Una pregunta nueva que se añade al catálogo. Al mes, una página para alcaldía. Al trimestre, decisión de ampliar ámbito o de parar uno que no se usa.
El chat de atención ciudadana no se “implanta”. Se gobierna. Sin métricas, a los seis meses es un icono en la web y una anécdota en el pasillo.
Si quieres un canal que se pueda defender con cifras —no con un recorte de prensa—, en Infuse lo montamos así desde el asistente. Hablemos.
La ficha de producto (sin nombres de municipio) está en ayuntamientos.