Saltar al contenido principal

Formatos de datos

¿Por qué los datos de medición necesitan formatos de datos especializados?​

Todos los datos de nuestro mundo tienen una referencia temporal. Una película se estrena en un momento determinado. Un pasaporte tiene una fecha de expedición y otra de caducidad. Abrimos puertas, observamos el tiempo atmosférico o mantenemos conversaciones: todo sucede a lo largo de una línea temporal. Sin embargo, aunque el tiempo desempeña un papel en cualquier forma de información, los requisitos para su captura y procesamiento difieren en ocasiones considerablemente, sobre todo cuando se trata de observar procesos físicos, mecánicos o eléctricos.

En la técnica de medición no es raro observar procesos que transcurren tan deprisa que el ser humano no podría percibirlos a simple vista ni de oído. Algunos ejemplos son:

  • La vibración de un componente de una máquina con 1.000 mediciones por segundo (Hz)
  • El consumo de corriente de un motor eléctrico durante el proceso de arranque (registrado a 10.000 Hz)
  • El encendido en un motor de combustión, con hasta 100.000 puntos de medición por segundo
  • La medición de tensiones estructurales durante un ensayo de colisión (varios millones de muestras por segundo)

Estos datos se generan de forma continua y con gran densidad. Deben almacenarse de forma fiable, reproducible y, en lo posible, sin pérdidas. No se trata únicamente de valores numéricos simples como la temperatura o la tensión. Existen, más bien, distintos tipos de datos: por ejemplo, señales discretas como la apertura y el cierre de una puerta, magnitudes de medición analógicas con unidades físicas, señales de audio, datos de imagen o bloques de datos completos con un significado específico en cada caso.

Para todo ello se necesitan formatos de datos que ofrezcan más que las aplicaciones de oficina habituales. Formatos como CSV, JSON o Excel son útiles para el intercambio estructurado de datos, pero alcanzan enseguida sus límites cuando se trata de:

  • altas tasas de datos
  • distintos tipos de datos
  • marcas de tiempo exactas
  • transmisión en continuo (streaming) y robustez frente a fallos
  • ampliabilidad flexible.

Por ello, con el tiempo se han consolidado muchos formatos de datos de medición propietarios, entre ellos:

  • MATLAB (.mat)
  • imc (.dat)
  • HBK / ASAM (.atfx)
  • NI / National Instruments (.tdm / .tdms)
  • Gantner Instruments (.dat en formato UDBF)
  • Vector / CSM (ASAM MDF 4)
  • HDF5 (un formato genérico y muy extendido para datos científicos)

Cada uno de estos formatos está bien adaptado a los requisitos específicos de sus fabricantes y usuarios, pero con frecuencia es propietario, complejo o poco adecuado para aplicaciones con sistemas abiertos y modulares.

¿Por qué OSF? ¿Por qué otro formato de datos más?​

Cuando en optiMEAS nos planteamos definir un formato de datos robusto y flexible para nuestros propios dispositivos y plataformas, examinamos primero a fondo si era posible integrar de forma razonable un formato existente. Sin embargo, ninguna de las soluciones disponibles cumplía a la vez todos nuestros requisitos:

  • Escritura continua y sin pérdidas durante la medición (streaming)
  • Robustez frente a cortes de corriente o apagados bruscos
  • Compatibilidad con datos con marca de tiempo equidistantes y no equidistantes
  • Capacidad de representar distintos tipos de datos: valores numéricos, imágenes, señales de audio u otros bloques de datos estructurados
  • Integración e implementación sencillas
  • Bajo nivel de complejidad con ampliabilidad abierta al mismo tiempo

Algunos formatos como MDF4 (ASAM Measurement Data Format versión 4) se acercan técnicamente bastante a estos requisitos. MDF4 es potente y está muy extendido en la industria del automóvil. Sin embargo, la especificación tiene varios cientos de páginas, no es de acceso libre y solo está disponible para los miembros de la asociación ASAM o previo pago. La implementación también resulta, en consecuencia, costosa.

HDF5 (Hierarchical Data Format) también es un formato interesante y muy extendido, con gran flexibilidad y amplio soporte en la ciencia y la técnica. Puede estructurar grandes volúmenes de datos de forma eficiente y ofrece un ecosistema abierto. No obstante, HDF5 es muy genérico, y ahí radica precisamente el reto: sin una convención concreta, adaptada a los datos de medición, para estructurar e interpretar los contenidos, la implementación sigue siendo más costosa, poco uniforme y potencialmente propensa a errores.

Por eso, tras sopesarlo con cuidado, decidimos deliberadamente seguir un camino propio: el Open Streaming Format (OSF).

OSF cumple los mismos altos requisitos que los formatos industriales consolidados, pero está documentado abiertamente, es de uso libre, es fácil de entender y se puede implementar con poco esfuerzo. Se desarrolló específicamente para su uso práctico en sistemas de medición en los que los datos deben almacenarse de forma continua y fiable en sistemas embebidos, incluso en condiciones difíciles. Al mismo tiempo, OSF permite un procesamiento y análisis eficientes en el laboratorio o en el PC, donde se dispone de mayor potencia de sistema.

A continuación explicamos la estructura, la filosofía y las ventajas prácticas de OSF, y por qué resulta la elección óptima para los sistemas de medición modernos.

De los formatos de datos de medición a los formatos abiertos de intercambio de datos​

Los formatos especializados como OSF son ideales para capturar valores de medición físicos de forma eficiente, sin pérdidas y estructurada.
Pero los datos de medición son solo el primer paso: el verdadero valor añadido surge cuando se combinan con otra información.

A partir de cierto punto, los valores registrados deben salir de la técnica de medición:

  • A data lakes, donde se fusionan con grandes conjuntos de datos de otras fuentes.
  • A sistemas de facturación y de mantenimiento, que derivan decisiones de negocio a partir de los valores de medición.
  • A plataformas de análisis, que detectan tendencias, encuentran anomalías o calculan KPI.

Para este intercambio necesitamos formatos de archivo que quizá no sean tan eficientes ni robustos como OSF, pero que tienen una ventaja decisiva: pueden ser leídos por casi cualquier plataforma y software.

Formatos como CSV, TSV, JSON o también Parquet desempeñan aquí un papel importante.

  • CSV / TSV: muy sencillos, legibles por personas, adecuados para pequeños volúmenes de datos.
  • JSON: flexible, estructurado, adecuado para el transporte por API y bloques de datos pequeños.
  • Parquet: formato orientado a columnas y comprimido, utilizado a menudo en entornos de big data.

No están pensados para el almacenamiento permanente de datos de medición de alta frecuencia, pero son el eslabón entre el mundo de la técnica de medición y el mundo de todos los demás «consumidores» de datos. Aquí encontrará más información

Conclusión:
OSF garantiza la captura robusta y sin pérdidas; los formatos abiertos de intercambio hacen que los datos sean accesibles para todos los demás sistemas y conducen, al final, a lo que cuenta: valor añadido a partir de la información.