Procesamiento de Cuadrículas

Intro

El proyecto Mapant está vivo y en constante evolución, tanto en la incorporación de funcionalidades en el visor como en el procesamiento de las cuadrículas en las que se ha dividido España para obtener el resultado final.

La forma de procesamiento ha variado desde un prototipo inicial hasta la forma en que se realiza actualmente. Un requisito que se ha mantenido invariable desde el principio es el aspecto colaborativo del proyecto. Una sola máquina procesando de manera individual todos los datos tardaría un tiempo exageradamente alto en terminar. Por eso se buscó un mecanismo por el cual un número indeterminado y escalable de usuarios aportaran sus recursos informáticos para lanzar un número variable de procesos, de forma que el resultado final se pudiera obtener, como así ha sido, en unos pocos meses.

Actualmente todos los datos resultado del procesamiento se almacenan en formato vectorial. Esto permite ampliar la potencia del sistema en general, del visor en particular y también la capacidad de ofrecer productos muy variados.

El cliente

La base del procesamiento colaborativo está en el desarrollo de un programa, el cliente de Mapant. Cada usuario colaborador se descarga, instala y ejecuta el programa y algunos ficheros externos adicionales. Al ejecutar una o más instancias del cliente, ya no se tiene que preocupar de nada más.

Un cliente hace una solicitud de procesamiento al servidor. El servidor puede estar configurado para proporcionar solo datos LiDAR, solo datos vectoriales o ambas cosas. El cliente baja y procesa lo que le toca y devuelve los resultados para que se almacenen en el servidor.

Las cuadrículas

Las cuadrículas en las que se ha dividido España son de 1x1 Km de extensión. En algunos lugares y en algún momento concreto se pueden establecer otros tamaños en función de las características propias de los datos de origen. Esa decisión se basa fundamentalmente en la resolución de los datos LiDAR en según qué zonas. Actualmente podemos encontrar zonas con una resolución de 0,5 puntos por Km2, pero en el otro extremo nos encontramos zonas con hasta 14 puntos por Km2, con el consiguiente aumento de peso de los ficheros y del esfuerzo para procesarlos.

Evolución del procesamiento

Durante las fases masivas de procesamiento se van habilitando zonas (lotes enteros de vuelos o subconjuntos) y los parámetros de configuración que va a usar el programa Karttapullautin para procesar las cuadrículas. Esto se dice rápido pero es el producto de muchas horas de estudio, pruebas y comprobación de resultados hasta dar con una combinación que mejor se adapte a la zona en cuestión. A veces también va a ser necesario lanzar algún proceso adicional previo de la herramienta LAStools para tratar de filtrar ruido o bien reducir el efecto de una mala clasificación del terreno.

Continuando con lo que ocurre durante una fase de procesamiento, al estar compuesta de múltiples tareas ejecutándose de forma sucesiva en muchos clientes y requerir de mucho tiempo, en el visor se habilita la posibilidad de observar la evolución. Las cuadrículas van cambiando de color a medida que se van procesando. Una cuadrícula en rojo significa que está disponible para ser procesada; verde significa que se ha procesado por completo; también se usan otros colores según sea la fase y cómo esté configurada. Por ejemplo, se ha usado el amarillo para separar 2 grandes subprocesos que se realizan uno en el cliente y otro en el servidor, o el marrón para indicar que se está procesando o que ha quedado con algún problema.

Además de la comprobación visual en el visor, también se suele proporcionar una página de estadísticas donde se puede ver el porcentaje de evolución, los procesos en ejecución, los tiempos de los procesos ya rematados y algunos otros datos interesantes.

Post-procesamiento

El visor muestra contenidos procedentes de distintos orígenes según el nivel de zoom. Cuando se está en un nivel de zoom muy alto se renderiza directamente el contenido vectorial de la base de datos en tiempo real. Pero a niveles más alejados lo que se muestra es una imagen que se ha tenido que generar después de haber rematado la fase masiva de procesamiento.

La generación de la imagen de toda España también lleva un tiempo enorme de procesamiento, el cual se realiza actualmente en el servidor.