Medición del desempeño métrica para el gobierno de TI

Durante los últimos 30 años, las empresas han estado adoptando nuevos métodos para transformar sus operaciones para utilizar TI y tecnologías relacionadas para proveer un nivel mayor de servicio al cliente. El paso al cual las empresas están adoptando estos nuevos métodos es rápido. Para manejar la velocidad de esta transformación, a administración depende en los recursos tecnológico y proveedores, resultando en un aumento en la dependencia en tecnología y recursos cualificados. El paso y dependencias pueden crear una falta de controles de la empresa; por lo tanto, las empresas usan indicadores clave de indicadores clave de rendimiento (KPIs) para medir el desempeño de la entrega del servicio de TI.

Aunque muchas empresas hoy día efectúan un análisis del retorno de la inversión (ROI) de nuevos proyectos de TI y algunas veces incorporan el cálculo del costo total de la propiedad (TCO) dentro del caso de negocio que presentan al directorio para su aprobación, solo el 25 por ciento de las empresas efectúan un análisis de ROI después de completar el proyecto.^{1, 2, 3} Sin embargo, ROI y TCO no son los únicos criterios para la aprobación de proyectos de TI; ellos son solo dos de muchas consideraciones en el proceso de la toma de decisión. Un ROI positivo no necesariamente significa que el proyecto será aprobado. Es una decisión estratégica que esté basado en requisitos del negocio y expectaciones de las partes interesadas (Stakeholders). Por lo tanto, las empresas debiesen que pueda requerir indicadores cuantitativos y cualitativos.

Empresas que quieren monitorear efectivamente las actividades de TI para estar alineados con las metas del negocio utilizan KPIs o de métricas clave de medición. Indicadores de rendimiento/métrica no solo ayudan a monitorear logros comparados con las metas, pero también ayuda a evaluar la efectividad y eficiencia de los procesos de negocio. Las métricas también ayudan a las empresas asignar y gestionar recursos. Métricas de rendimiento aumentan e influencian decisiones que están relacionadas con el negocio como ser presupuesto, prioridades, recursos y actividades. KPI y métricas son herramientas esenciales para la gerencia que son implementadas en todas las áreas del negocio. Hoy día, el uso de TI y tecnologías relacionadas por las empresas requiere de grandes inversiones de TI. Por lo tanto, las partes interesadas (stakeholders) están interesadas en confirmar que las inversiones de TI estén alineados estratégicamente, administrados efectivamente y ayudan en lograr las metas de negocio comunes. Para asegurar que las expectativas de las partes interesadas se cumplan, la gerencia utiliza prácticas de Gobierno TI que están definidas por el estándar global por la Organización Internacional de normalización (ISO) ISO38500 y COBIT 5.

Gobierno de TI y métricas

El mecanismo de gobierno TI asegura que las necesidades, condiciones y opciones de las artes interesadas son evaluadas para determinar objetivos balanceados y acordados con la empresa. Gobierno TI también asegura que la dirección este definida a través de priorización y toma de decisión y que el rendimiento y cumplimiento son monitoreados contra dirección acordada y objetivos. La gerencia planifica, construye, ejecuta y monitorea actividades alineados con la dirección establecida por el órgano del gobierno para obtener los objetivos de la empresa.⁴

Los procesos de gobierno TI son evaluar, dirigir y monitorear (EDM). Las métricas son un mecanismo de monitoreo y ayudan a la gerencia a monitorear los logros de las metas relacionadas al negocio de la empresa como también las metas relacionadas a TI. Métricas apropiadas ayudan al órgano de gobierno proveer dirección que están basados en metas definidas y una evaluación de las métricas. Las métricas ayudan a las empresas responder preguntas valiosas como ser:⁵

• ¿Es el rendimiento de TI mejor que el del año pasado?
• ¿Qué es lo que la empresa está obteniendo de la inversión de TI?
• ¿Cómo puede la empresa efectuar un punto de referencia (benchmark) del rendimiento?
• ¿Que debiese hacer la empresa en la ausencia de métricas medibles? ¿Puede usar gestión de riesgos, expectativas de perdidas, vectores de ataques o correlación?

Las métricas describen una calidad y requiere una base de medición, ej. 87 porciento de incidentes reportados fueron resueltos dentro de las dos horas. Estas mediciones demuestran carga de trabajo y actividad. Las métricas son útiles para evaluar cumplimiento y efectividad de procesos y medir el éxito contra objetivos establecidos. Empresas esperan resultados positivos de TI y recursos de TI incluyendo recursos humanos capacitados, Para administrar el rendimiento de TI, la gerencia está interesada en obtener las respuestas de la primera columna en la figura 1. La segunda columna muestra el tipo de indicadores que son requeridos para obtener las respuestas a estas preguntas.⁶

Desarrollando métricas de rendimiento

Desarrollar métricas de rendimiento usualmente sigue un proceso de:

1. Estableciendo procesos críticos para cumplir con los requisitos de los clientes (esto ayuda a las empresas con el desarrollo de métricas manejables.)
2. Identificación de los resultados específicos y cuantificables de trabajo a partir de los procesos identificados en el paso 1.
3. El establecimiento de objetivos contra los cuales los resultados se pueden calificar

El desarrollo de las métricas incluye la definición de un equilibrado conjunto de objetivos de rendimiento, métricas, objetivos y puntos de referencia. La métrica debe cubrir las actividades y resultados que se miden utilizando indicadores de avance y retroceso y un equilibrio adecuado de medidas financieras y no financieras. Las métricas debiesen ser revisadas y acordados con TI, otras funciones de negocio y otras partes interesadas relevantes.⁷

Métricas e indicadores están basados en información recibida de operaciones. Cuando esta información representa la medición de rendimiento, es referida como métricas basadas en medios. Métricas que son designados para monitorear logros de objetivos son llamadas métricas basadas en terminación. Métricas basadas en terminación pueden incluir:

• Cambios en el Inventario de la empresa de la exposición al riesgo (utilizar el reporte del perfil de riesgo)
• Comparando metas definidas de crecimiento del negocio con la inversión en TI y estableciendo una relación

Métricas basadas en medios pueden incluir:

• Numero de vulnerabilidades de aplicaciones sobre un año
• Porcentaje de cajeros automáticos (ATM) del tiempo de inactividad durante horas activas (debe ser menor a dos por ciento de horas activas)
• Porcentaje de incidentes que son resueltos dentro del tiempo de SLAs (incluyendo incidentes escalados)

Las siguientes recomendaciones debiesen ser observadas mientras se desarrollan las métricas y se identifican los indicadores de rendimiento.⁸

• Normalizar las Métricas a un parámetro de atributo común—Para entender tendencias apropiadamente, normalizar métricas a un parámetro común; por ejemplo:
  • Tiempo—es tiempo definido como ocurrencia anual, transacciones por segundo/minuto/hora, promedio de intervalos entre eventos, tiempo medio entre fallas (MTBF)
  • ¿Costo—El costo es por unidad o por millón?
• Entender las características de una buena métrica—Una buena métrica permite comparativos exactos y detallado, guía hacia conclusiones correctas, es entendida bien por todos y tiene una base cuantitativa. Una buena métrica es lineal, confiable, repetible, fácil de usar, consistente e independiente.
• Evite comparativos contra otras empresas similares—Cada empresa es diferente y puede tener diferentes metas y objetivos. La excepción a esto es la métrica de rendimiento de la evaluación comparativa.
  Desarrollar métricas que se enfocan en comparativos específicos cuantificados de actividades operacionales documentadas que son responsable para contribuir a los acontecimientos. Utilice rutinas o proporciones y evite comparaciones al por mayor de líneas de negocio porque esta comparación es subjetiva y usualmente amplia y cualitativa.
• Reducir al mínimo las comparaciones relacionadas a costos—Limite métricas relacionadas al costo para medir solo los beneficios (valor) de TI. Una comparación con la industria u otras empresas puede ser no relevante. El reto que las empresas usualmente enfrentan es cuantificar los resultados para la comparación contra costos. Por ejemplo, un servicio para mejorar la satisfacción del cliente puede costarles a las empresas; sin embargo, cuantificar la mejora en la satisfacción del cliente puede no ser posible. En tales casos, indicadores indirectos, ej. repetir/más oportunidades de negocio, puede ser más útil.
  Otro problema es costos comunes, tanto internos como externos, que incluyen las asignaciones para múltiples operaciones o líneas de negocio que no pueden ser segregadas para cargar a una operación especifica o línea de negocio.
• Enfocarse en las actividades de trabajo y resultados—Durante el desarrollo de métricas e indicadores, el enfoque debiese ser en procesos y actividades para generar y el suministro de datos, ej. El número de transacciones relacionadas con el efectivo en un cajero automático (ATM) o el porcentaje de servidores que fueron parcheados durante el mes.
• Mantener las métricas en cantidades manejables—La alta gerencia puede no estar interesados en un reporte analítico de múltiples paginas o tablero (dashboard). Aunque una gran cantidad de datos pertinentes podría ser recogido durante las actividades, solamente los indicadores más críticos deben ser incluidos en el informe de gestión/tablero.

¿Que son buenas métricas?

Buenas métricas generalmente satisfacen los siguientes criterios.⁹

• Mediciones consistentes—Las métricas deben proveer un análisis similar durante un periodo de tiempo.
• Fácil de colectar datos—El costo para colectar datos para las métricas debe ser bajo, y los datos deben ser colectados a través de procesos operacionales rutinarios. Sin embargo, esta colecta de datos debe satisfacer los requisitos de ser contextualmente específicos. ¿Algunas métricas de servicio de TI pueden necesitar un mayor esfuerzo y, por lo tanto, el costo de la obtención de datos, por ejemplo, cuántos clientes no podían ser atendido debido a un cajero automático que no estaba funcionando?
• Expresada en números, porcentaje o unidades de medidas—Números y porcentajes son fácil de entender y comparar; por lo tanto, tanto como sea posible, las métricas deben ser representadas como un numero o un porcentaje.
• Contextualmente especificas—Métricas TI deben medir los logros de las metas u objetivos de los negocios; por lo tanto, las métricas deben representar el contexto.

Tipos de indicadores y métricass

La necesidad de métricas e indicadores esta subrayada por muchas organizaciones, como ser la Biblioteca de Infraestructura de Tecnología de la Información (Information Technology Infrastructure Library) (ITIL), ISACA (COBIT 5) and ISO. Aunque la norma ISO espera una medición de rendimiento, no prescribe cualquier indicador especifico. Métodos de medición pueden ser definido por organizaciones.

ITIL define tres tipos de métricas: métricas de tecnología, métricas de procesos y métricas de servicios. Tome nota que las métricas tecnológicas y de proceso también son referidas como métricas operacionales.¹⁰

Métricas de tecnología
Las métricas de tecnología miden aspectos específicos de la infraestructura de TI y equipos, ej. La unidad central de procesamiento (CPU) de servidores, el espacio de almacenamiento utilizado, estado de la red (ej., La velocidad, la utilización de ancho de banda) y promedio de tiempo disponible (disponibilidad de la tecnología).

La mayoría de las métricas de tecnología proveen input sobre la utilización de TI, la cual es una parte muy pequeña de servicio, para el director de información (CIO) o el gerente del data center; sin embargo, a menos que esta métrica sea comparada con otra métrica, es posible que no provea de información con sentido para la alta gerencia. Por ejemplo, considere la respuesta de la red de 100 milisegundos, (ej., un mensaje llega a su destino en 100 milisegundos). Si la gerencia espera que la respuesta de la red sea 10 milisegundos, el tiempo de respuesta requiere atención, y si la gerencia espera que la respuesta de la red sea de 300 milisegundos, el tiempo de respuesta es más que satisfecho.

Métricas de procesos
Las métricas de procesos miden aspectos específicos de un proceso, ej., numero de cambios que son deshechos dentro de un mes, promedio de tiempo de respuesta de incidentes en un mes, porcentaje de empleados que atendieron a las tareas en tiempo, promedio de tiempo para completar un proceso. Las métricas de procesos proveen información sobre el funcionamiento de los procesos. Estas métricas son utilizadas generalmente para la conformidad de cumplimiento que se relaciona con los controles internos. Sin embargo, muchas métricas de procesos pueden no servir el propósito de monitoreo. Métricas que son relacionadas a procesos críticos pueden ser considerados para reportar a la gerencia.

Métricas de servicios
El enfoque primario de ITIL es en proveer servicio. Métricas de servicios son métricas esenciales para que la gerencia monitoree. Proveen una medición de fin a fin del rendimiento del servicio. Definiendo métricas de servicio puede ser difícil debido a la naturaleza intangible de los niveles de servicio. Las métricas de servicio son más como evaluación sobre lo que ya se conoce sobre un problema y son medidos de manera que proveen resultados aproximados.¹¹

Cuando es difícil medir los niveles de servicio debido a incertidumbre asociada (ej., Comportamiento humano impredecible) tal incertidumbre en la medición de los niveles de servicio puede reducirse a niveles indicativos y puede ser interpuesto dentro de las mediciones aproximadas.

Ejemplos de métricas de niveles de servicio incluyen lo siguiente:

• Resultados de una encuesta de satisfacción del cliente indicando que tanto contribuye TI a la satisfacción del cliente
• Costo de ejecutar una transacción (bancos usan esta métrica para medir el costo de una transacción ejecutada a través de diferentes canales de servicios, como ser Internet, Móvil, ATM y sucursales)
• Eficiencia de servicio, el cual está basado en el tiempo promedio para completar un servicio específico. El servicio no es solo un proceso; un servicio puede consistir de múltiples procesos.

Muchos tipos de métricas son requeridas para un entendimiento comprensivo de la salud de la gestión de servicios a través de la organización.

COBIT 5

COBIT 5 ante todo es un marco de gobierno TI. La gestión eficaz de gobierno debe ser capaz de administrar el riesgo y cumplir las expectativas de las partes interesadas mediante la optimización de los recursos. COBIT 5 identifica los siguientes siete facilitadores que ayuden a lograr los objetivos de gobierno:

• Principios, políticas y marcos
• Procesos
• Estructuras organizacionales
• Cultura, ética y comportamiento
• Información (datos)
• Servicios, infraestructura y aplicaciones
• Personas, capacidades y competencias

Las expectativas de las partes interesadas ayudan a la gerencia a llegar a un método para la realización de beneficios, el cual ayudan a determinar las métricas de la empresa. Porque las empresas despliegan TI, estas metas relacionadas a Ti, las cuales bajan en cascada en metas habilitadoras. (figura 2).¹²

Para monitorear el logro de las metas, la gerencia utiliza indicadores y métricas. COBIT 5 identifica dos tipos de indicadores:

• Indicadores de avance son actividades que predicen el logro de metas. Estos indicadores no son medibles, ej., implementar mejores prácticas globales o de la industria o seguir el enfoque del ciclo de vida para los recursos (habilitadores).
• Indicadores de retraso son medibles y ayudan a medir el logro de las metas. La mayoría de las métricas son definidas para los indicadores de retraso

COBIT 5 identifica tres niveles de métricas: métricas de metas de la empresa, métricas de metas de TI y métricas de metas de los procesos.¹³

Metas de empresas y ejemplo de métricas
COBIT 5 identifica 17 metas genéricas de la empresa que están basadas en dimensiones de un cuadro de mando integral (BSC). Estas dimensiones son financieras, clientes, internas, y aprendizaje y crecimiento.

Métricas genéricas para metas de TI y metas de proceso son definidas en la descripción del proceso por cada proceso de COBIT 5. El modelo de proceso de referencia de COBIT 5 identifica 37 procesos genéricos relacionados a TI. Las métricas pueden ser definidas utilizando COBIT 5. Considere la meta de la empresa de la cultura del servicio orientada al cliente. COBIT 5 sugiere utilizar las siguientes métricas:

• Número de interrupciones del servicio al cliente debido a incidentes relacionados a los servicios de TI (confiabilidad)
• Porcentaje de partes interesadas del negocio satisfechas que la entrega del servicio al cliente cumple con los niveles acordados
• Número de quejas de los clientes
• Tendencia de los resultados de las encuestas de satisfacción de los clientes

Dependiendo del servicio al cliente de la organización ofrecido utilizando soluciones de TI, las siguientes métricas (que serán un subconjunto de las métricas definidas previamente) pueden ser consideradas:

• Impacto en la satisfacción del cliente debido a interrupciones al servicio debido a incidentes relacionados a TI
• Porcentaje de satisfacción de las partes interesadas del negocio que la entrega de servicios al cliente cumple con los niveles acordados
• Reducción o aumento en el número de quejas de los clientes relacionados con la no disponibilidad de servicios basados en TI

Hay dos metas relacionadas a TI que principalmente se mapean a las metas de la empresa de la cultura de servicio orientado al cliente.¹⁴ Son metas relacionadas a TI 01, Alineación de la estrategia de TI y Negocio y 07, Entrega de servicios TI en línea con los requisitos del negocio. Métricas sugeridas para metas relacionadas a TI 07 de COBIT 5 son (por simplicidad, solo aquellas metas de TI que principalmente se mapean a las metas de la empresa en el ejemplo han sido consideradas):

• Número de interrupciones al negocio debido a incidentes de los servicios de TI
• Porcentaje de partes interesadas del negocio satisfechos de que la entrega de servicios de TI cumple con los niveles de servicio acordados
• Porcentaje de usuarios satisfechos con la calidad de la entrega de servicios de TI

Basado en los requisitos del negocio, las siguientes métricas pueden ser consideradas:

• Número de incidentes de TI afectando los servicios del negocio
• Porcentaje de incidentes de TI afectando los servicios del negocio al total de incidentes de TI
• Número de quejas de los clientes relacionado a la entrega de servicio debido a problemas relacionados con TI

COBIT 5 sugiere métricas para cada proceso del modelo de referencia de procesos. El próximo paso es de identificar los procesos que están asociados con las metas relacionadas a TI 07. Entrega de servicios de TI en línea con los requisitos del negocio y seleccionar las métricas para los procesos. Los siguientes procesos dependen de esta meta de TI:

EDM01, EDM02, EDM05, APO02, APO08, APO09, APO10, APO11, BAI02, BAI03, BAI04, BAI06, DSS01, DSS02, DSS03, DSS04, DSS06 y MEA01.¹⁵

Conclusión

Desarrollo, implementación y seguimiento de las métricas de medición del desempeño es clave para la implementación de mecanismos de vigilancia de las metas y objetivos que se establecen por los procesos de gobierno de TI. Métricas de medición del desempeño no deben ser copiados de empresas similares. Cada empresa tiene objetivos únicos y, por lo tanto, métricas únicas. Esta singularidad se debe a muchas razones, incluyendo la estrategia de negocio y objetivos, la cultura empresarial, la diferencia en los factores de riesgo, los resultados de la evaluación de riesgos y situaciones geopolíticas y económicas. Las empresas pueden utilizar las medidas genéricas que son proporcionados por los estándares y marcos de trabajo como ITIL y COBIT 5 para definir las métricas específicas para empresas globales, que deben ser asignadas a la empresa objetivos y metas.

Notas finales

¹ Jeffery, M.; “Return on Investment Analysis for E-business Projects,” Northwestern University, Evanston, Illinois, USA, www.kellogg.northwestern.edu/faculty/jeffery/htm/publication/roiforitprojects.pdf
² Myers, R.; “Measuring the Business Benefit of IT,” CFO.com, 20 October 2004, http://ww2.cfo.com/strategy/2004/10/measuring-the-business-benefit-of-it/
³ Bidgoli, H.; The Internet Encyclopedia, Volume 3, John Wiley & Sons, USA, April 2004
⁴ ISACA, COBIT 5, USA, 2012
⁵ Jaquith, A.; Security Metrics: Replacing Fear, Uncertainty, and Doubt, Addison-Wesley, USA, 2007
⁶ Op cit, ISACA, COBIT 5
⁷ OpsDog, Inc., “What are KPIs & Benchmarks?” 2016, https://opsdog.com/tools/kpis-and-benchmarks
⁸ Ibid.
⁹ Op cit, Jaquith
¹⁰ Scarborough, M.; “Three Types of Metrics Defined by ITIL,” Global Knowledge Training LLC, 12 December 2013, http://blog.globalknowledge.com/PROFESSIONAL-DEVELOPMENT/ITIL/THREE-TYPES-OF-METRICS-DEFINED-BY-ITIL/
¹¹ Hubbard, D.; How to Measure Anything: Finding the Value of Intangibles in Business, John Willey & Sons, USA, 2007
¹² ISACA, COBIT 5: Enabling Processes, USA, 2012
¹³ Ibid.
¹⁴ Ibid.
¹⁵ Ibid.