Cronología

De Mapant ES

Surge la idea

Anterior a Septiembre de 2020. Manu Jurado concibe la idea de hacer un Mapant España siguiendo la estela del primer Mapant en Finlandia (2016) y el segundo en Noruega (junio de 2020)

Hitos principales

Septiembre, 2020

  • Manu Jurado se pone en contacto con los creadores del primer Mapant, con personas relacionadas con la cartografía en España a través del comité de cartografía de la FEDO y con personas del IGN
  • Primeras tareas de exploración y pruebas

Octubre, 2020

  • Idea del procesamiento colaborativo y forma de procesar con Karttapullautin (KP) de forma sucesiva y automática
  • Se crea un grupo de whatsapp para ir reuniendo gente interesada en colaborar con el proyecto

Noviembre, 2020

  • Se une Agustín Caballero e impulsa la implementación de la solución de trabajo colaborativo
  • Primer prototipo de visor y cliente para procesar algunas cuadrículas y ver los resultados

Diciembre, 2020

  • Exploración más en profundidad de diferentes fuentes de datos vectoriales al haber decidido procesarlos por fuera del KP
  • El Hierro procesado y en el visor. La Gomera procesada y en el visor
  • Se empiezan a estudiar maneras de establecer el mejor renderizado posible
  • Se contrata un servidor específico para soportar todo el procesamiento. Se pone operativo y se pone a punto una nueva versión del cliente

Enero, 2021

  • Lanzarote procesado y en el visor. También algunas zonas con mapas de orientación interesantes para establecer comparativas
  • Dominio definitivo del proyecto https://mapant.es
  • Apoyo de la FEDO para soportar los gastos de alquiler del servidor
  • Datos a punto desde el IGN para poder gestionar la petición y procesamiento de cuadrículas

Febrero, 2021

  • Mejoras en el visor. Mejoras en el sistema de renderizado. Página de estadísticas para ver evolución del procesamiento
  • 19/02/2021. Comienzo del procesamiento colaborativo con Canarias y Galicia Oeste. Parada para evaluación de los resultados

Marzo, 2021

  • Galicia E y Baleares
  • Puesta en público oficial del visor con Canarias, Galicia y Baleares
  • Se continúa con Cataluña

Abril, 2021

  • Alcanzado el 45% del total
  • Algunas paradas técnicas para revisiones, retoques y reprocesamientos

Mayo, 2021

  • Alcanzado el 95% del total. Solo queda Euskadi

Junio, 2021

  • 06/06/2021. Alcanzado el 100%

Julio, 2021

  • Reprocesamiento de algunas cuadrículas con ruido

Octubre, 2021

  • Se plantea la posibilidad de un Mapant 2.0 que supondría la vectorización de todos los datos

Noviembre, 2021

  • Incorporación de más funcionalidades al visor, como recuadro de descarga, obtención de PDF, descarga en formato OpenOrienteering Mapper, activación/desactivación de símbolos en el visor y otras

Diciembre, 2021

  • Pruebas masivas de vectorización y renderizado

Febrero, 2022

  • Nuevo servidor contratado y en funcionamiento para soportar el vectorizado de toda España
  • 21/02/2022. Comienza la vectorización masiva (parte en los clientes, parte en el servidor)

Marzo, 2022

  • 01/03/2022. Finaliza la parte en los clientes. Continúa en el servidor
  • 11/03/2022. Vectorización finalizada

Noviembre, 2022

  • Preparación para procesamiento de zonas que ahora cuentan con segunda cobertura LiDAR, vegetación baja en toda España y datos vectoriales en toda España

Diciembre, 2022

  • 08/12/2022. Comienza el proceso colaborativo de esta nueva fase

Cronología detallada de la fase inicial

  • 14/09/2020. Manu Jurado se pone en contacto con Terje Mathisen, Jan Kocbach y Henning Spjelkavik para solicitar una reunión telemática. También se pone en contacto con Mario Vidal para buscar colaboradores dentro de la FEDO. Mario Vidal contacta con Javier Arufe y Juan Pedro Valente
  • 21/09/2020. Reunión telemática con los anteriores y 2 personas más del IGN, Jesús Moreno y Jesús Garrido
  • 22/09/2020. Asignación de primeras tareas, labores de exploración y pruebas. Comienzo de tests con Karttapullautin y la isla de El Hierro (268 Km2); estudio del posible equipamiento a utilizar para el procesamiento (un servidor potente vs trabajo colaborativo); estudio de datos IGN a utilizar (LAS + vectoriales) y forma de ponerlos a disposición; estudio de la forma en que se haría visible el resultado, ¿a través de visor del IGN?

  • 05/10/2020. Reunión Manu Jurado, Javier Arufe y Gerardo Moreno (IGN) para hablar específicamente de los datos vectoriales de la BTN25
  • 11/10/2020. Primer contacto con Jarkko Ryppo de Karttapullautin, para dudas y posibles modificaciones del programa de forma que se adapte a necesidades particulares de nuestro procesamiento
  • 18/10/2020. Javier Arufe lanza la idea y primer boceto de un programa de uso colaborativo (lenguaje Java) que se alimente de los datos proporcionados por el IGN, escuche las peticiones de los clientes, asigne tareas a los clientes y reciba los resultados del procesamiento. Solo contempla el uso de KP, sin otras herramientas, tanto para LiDAR como para vectorial, obteniendo un resultado en forma de fichero ráster. Se prueba con 5 municipios de A Coruña (270 Km2) equivalente a la superficie de El Hierro
  • 19/10/2020. Se crea grupo en wasap "Mapant ES - procesamiento" para dar a conocer el proyecto de elaboración colaborativo

  • 18/11/2020. Agustín Caballero impulsa la idea del procesamiento del trabajo colaborativo y se pone a trabajar en el desarrollo de un cliente (programado en .Net) y un servidor (mapserver y BD PostgreSQL con PostGIS) para ponerlo en marcha cuanto antes, replanteando la forma en la que el IGN pondrá los datos a disposición del proyecto
  • 21/11/2020. Agustín introduce la idea de separar lo que hace bien KP (procesamiento de LiDAR para curva, vegetación, cortados) y lo que se puede hacer bien externamente (procesamiento de datos vectoriales). Esto implica liberarse de las limitaciones que impone KP a la hora de tratar datos vectoriales, ya que solo renderiza unos pocos símbolos. Así vamos a poder ampliar el conjunto de símbolos que podemos tratar de otras fuentes (IGN, OSM, principalmente) y crear una renderización ad hoc (lo más parecida a la ISOM)
  • 21/11/2020. Manu Jurado estudia más profundamente los parámetros que usa KP para adaptarlos a varias zonas de Canarias. Esto implica que en el procesamiento se va a considerar la introducción de parametrización específica para distintos conjuntos de datos. En un extremo la solución consistiría en tener un único fichero de parámetros para toda España. En el otro extremo estaría la posibilidad de aportar un fichero distinto para cada cuadrícula. Hay que encontrar un equilibrio entre uno y otro
  • 21/11/2020. Primer prototipo de visor para el proyecto Mapant
  • 21/11/2020. El problema del buffer. Estudiar de qué manera se tienen que procesar las cuadrículas para que al fusionar los resultados de varias vecinas no se produzcan disparidades en las zonas de unión. La solución podría estar en bajar varias cuadrículas, fusionar con las herramientas de LAStools, hacer un recorte y procesar
  • 26/11/2020. Reunión telemática con IGN para hablar acerca de un posible visor gestionado por el propio IGN (esta idea iría diluyéndose con el tiempo al ir creciendo el visor desarrollado por Agustín Caballero)
  • 27/11/2020. Intercambio de correos con Jarkko Ryyppo acerca del procesamiento con KP y los sistemas de coordenadas. Hay que tener en cuenta que, en proyección UTM, España se encuadra en 4 zonas distintas
  • 29/11/2020. Prototipo más avanzado de visor y cliente, y flujo de proceso entre ambos para procesar cuadrículas y comprobar su avance

  • 02/12/2020. Después de estudiar otras posibles fuentes de datos, como SIOSE o CORINE, se implementa la extracción de la información de la extensión de mar de toda España de SIOSE y se incorpora al visor
  • 02/12/2020. Realizar pruebas de renderización de caminos del OpenStreetMap y/o BTN25; seleccionados 12 mapas de Galicia para realizar tests; listos los parámetros para Canarias
  • 06/12/2020. Todo El Hierro en el visor. Así se podrán estudiar problemáticas como uso de verde oliva privado residencial, caminos que están en OSM y también BTN25, idem con otros símbolos, ¿de dónde coger, de uno, del otro, de los dos?, ¿algo de inteligencia artificial para buscar duplicados?. También, algunos problemas de catalogación en la BTN25 que hace que terrenos privados aparezcan como edificios, edificios como terrenos privados, y otros
  • 07/12/2020. Procesar depresiones de manera diferente a como lo hace KP. Incorporar símbolos de depresiones pero también introducir las líneas perpendiculares en las curvas que indican el sentido de la pendiente
  • 07/12/2020. En base al caso gallego y también a la forma en que KP representa los rayados verdes (vegetación baja) comienza a tomar forma la decisión de no incorporar la información de vegetación baja por el momento
  • 10/12/2020. Reunión con IGN para tratar de cerrar el tema de la descarga de datos
  • 14/12/2020. Gomera procesada e incorporada al visor
  • 15/12/2020. Primeras pruebas de generación de GeoTiff como medio para enviar el material para su publicación en visor del IGN o también para componer un servicio WMS propio
  • 16/12/2020. Reunión con más gente de cartografía de orientación para ayudar a decidir acerca de la mejor manera de renderizar los elementos (por ejemplo, cortados que se pisan con edificios o carreteras, elementos que quedan por encima o por debajo del verde oliva privado, puentes o túneles, etc). Mario Vidal, Juan Pedro Valente, Paula Gil, Mamen Morillas, Juan Francisco Sánchez
  • 18/12/2020. Incorporación de un "renderizador" ad hoc para que un colaborador pueda hacer sus propios retoques sobre la simbología, comprobar el resultado en el visor y así estar en disposición de avanzar en la concreción de esta parte
  • 20/12/2020. Incorporación al visor de una pequeña parte del SW de Galicia, para seguir comprobando cosas relacionadas con el procesamiento y la renderización
  • 21/12/2020. Preparación de otro servidor contratado que reemplace al inicial usado para las primeras pruebas, con el objetivo de que sea el que soporte el procesamiento de la primera versión del Mapant de toda España
  • 22/12/2020. Apertura de un Github para organizar los temas de estudio, información pública del proyecto, contacto con primeros usuarios/colaboradores/probadores
  • 29/12/2020. Primeros estudios sobre la problemática de las superposiciones entre lotes y las diferencias entre las zonas correspondientes a vuelos de distintas CCAA. Necesitará de una atención especial para conseguir un producto homogéneo en las fronteras
  • 31/12/2020. Servidor operativo y nueva versión del cliente

  • 01/01/2021. Se comienza a procesar Lanzarote. Se empiezan a recopilar algunas estadísticas para poder estimar el esfuerzo necesario para todo el conjunto
  • 02/01/2021. Se estudia un poco más a fondo la problemática ya conocida de la mejor forma de superponer vegetación procedente del KP con parcelas como cultivos o frutales procedentes de los datos vectoriales. También acerca de los ríos (datos vectoriales) que puede que no sigan correctamente las vaguadas obtenidas del LiDAR
  • 03/01/2021. Finalizado Lanzarote, también La Gomera y reprocesadas cosas pendientes de El Hierro
  • 06/01/2021. Coto Maravillas, Murcia
  • 12/01/2021. Objetivo finalizar Canarias y procesar zonas donde existen mapas de orientación interesantes, como Navaleno, Urbasa o los pinares de Valladolid
  • 13/01/2021. El IGN termina de mandar la información (fichero Shapefile con los datos necesarios) correspondiente a toda España, de manera que ya se puede usar para procesar las cuadrículas
  • 19/01/2021. Ok de la FEDO para apoyo presupuestario consistente en hacerse cargo del alquiler del servidor
  • 24/01/2021. Disponible el nuevo y definitivo dominio para el proyecto: https://mapant.es
  • 25/01/2021. Procesando más cuadrículas ya con el cliente y servidor que se utilizaría de forma masiva en modo colaborativo. Inclusión de una página de estadísticas para ver la evolución del procesamiento
  • 26/01/2021. Primeras estimaciones acerca de la duración del procesamiento de toda España, en 4-5 meses (abril/mayo - octubre de 2021)
  • 27/01/2021. Utilización del sistema de reporte de errores del visor para estudiar casos observados teniendo en cuenta que vamos teniendo ya una cantidad de superficie y datos considerable
  • 28/01/2021. El problema de los cortados ficticios en forma de cruceta que se observan en algunas zonas, probablemente por el corte de las cuadrículas vecinas y el tamaño de buffer, o bien por defectos de clasificación de suelo
  • 29/01/2021. Preparación de lotes de segunda cobertura para pruebas, con ficheros de configuración del KP adaptados por Manu Jurado a cada casuística
  • 30/01/2021. Manu Jurado compone un documento con una previsión del orden de procesamiento de los lotes de toda España y sus parámetros de configuración (se dice muy pronto pero detrás hay una cantidad de tiempo enorme necesaria para componer todo ese conjunto)

  • 04/02/2021. Reunión con más gente de cartografía de orientación para compartir resultados actuales y tratar de concretar de entre las opciones de renderizado. Mario Vidal, Juan Pedro Valente, Paula Gil, Mamen Morillas, Juan Francisco Sánchez
  • 03/02/2021. Aplicación de la idea del "halo" en caminos para que en el visor se vean bien cuando tocan con elementos como cortados. También un proceso para tratar de distinguir qué caminos dibujar del OSM y del BTN25 para evitar duplicados
  • 05/02/2021. Se vuelve a renderizar lo existente, a través del cliente, para homogeneizar según las decisiones tomadas
  • 07/02/2021. Se estudia más en profundidad la necesidad de eliminar ruido como parte del procesamiento en cliente con las herramientas de Lastools, en base a resultados observados en zonas de segunda cobertura. Contacto con Martin Isenburg, el creador de LAStools para no tener problema con el uso de sus ficheros, ya que algunos son de uso libre y otros bajo licencia. Este tema del ruido impacta directamente en una decisión para utilizar datos de primera o de segunda cobertura en función de que el resultado sea mejor o peor. Es decir, la ventaja de utilizar unos datos más modernos e incluso con más resolución quedaría oscurecida por el hecho de obtener un peor resultado
  • 12/02/2021. Mejoras en el visor, por ejemplo para poder seleccionar de entre varias capas disponibles
  • 16/02/2021. Petición de primeros voluntarios para prueba del cliente
  • 18/02/2021. Manu Jurado invitado a hablar de la evolución del proyecto en el canal de Youtube de Alberto Mínguez

Cronología detallada de la fase de procesamiento colaborativo

  • 19/02/2021. Comienzo del procesamiento con Canarias y Galicia Oeste
  • 19/02/2021. Sitio web de estadísticas de procesamiento (activa solo durante periodos de procesamiento): https://mapant.es/Estadisticas.aspx

  • 12/03/2021. Galicia Este
  • 13/03/2021. Prueba de la función GPS con lo procesado de Galicia
  • 14/03/2021. Baleares (9h) y Galicia (60h) terminado
  • 23/03/2021. Servicio WMS disponible
  • 27/03/2021. Puesta en público oficial del visor con Canarias, Galicia y Baleares
  • 31/03/2021. Puesta en marcha con más cuadrículas. Cataluña

  • 01/04/2021. CLM NE, Murcia, Alicante, Madrid
  • 02/04/2021. Extremadura S, Aragón Centro N, Andalucía W y C, La Rioja
  • 04/04/2021. CyL
  • 05/04/2021. Superado el 33% de toda España. Potenciar renderización dejando de hacer KP
  • 08/04/2021. Parada técnica para revisar unos errores que obligarán a renderizar de nuevo parte de lo realizado
  • 09/04/2021. Vuelta a procesar. Los datos de OpenStreetMap se cogen ahora de overpass.kumi,systems
  • 11/04/2021. Alcanzado el 45%, tanto en KP como en renderizado de datos vectoriales. Parada en el procesamiento
  • 15/04/2021. Unas pocas cuadrículas de prueba para testar unos cambios
  • 16/04/2021. Prueba de zonas fronterizas con 1800 cuadrículas
  • 21/04/2021. Otra prueba rápida
  • 24/04/2021. Se retoma el procesamiento masivo. Fronteras, Andalucía NE, Extremadura S

  • 02/05/2021. Sin más cuadrículas, se vuelven a renderizar algunas zonas (Murcia y Alicante). Parada técnica. Procesado el 75%
  • 14/05/2021. 4000 cuadrículas más. Luego, más CyL y Extremadura
  • 16/05/2021. Resto de Extremadura, CyL, Asturias y Navarra S
  • 23/05/2021. Completado el 95%. Se reprocesan unas 7000 cuadrículas
  • 24/05/2021. Prueba con Navarra N (pesa mucho más), para continuar a tope
  • 28/05/2021. Cantabria
  • 29/05/2021. Parada (mientras se sigue preparando la info para que aparezca en el visor). Solo queda País Vasco

  • 04/06/2021. País Vasco
  • 06/06/2021. Terminado País Vasco. Alcanzado el 100%
  • 11/06/2021. Reprocesamiento de algunas cuadriculas
  • 12/06/2021. Cuadrículas reprocesadas
  • 18/06/2021. Renderizado de algunas cuadrículas, mar de Baleares y mediterráneo

  • 24/07/2021. Reprocesamiento de algunas cuadrículas con ruido

  • 09/09/2021. Muere Martin Isenburg, creador de LAStools, conjunto de programas mundialmente utilizado para el procesamiento LiDAR y también clave en este proyecto

  • 11/10/2021. OCAD incluye Mapant España en su lista de WMS predefinidos
  • 15/10/2021. Planteamos la posibilidad de un Mapant 2.0, con el objetivo de vectorizar todos los datos
  • 15/10/2021. Disponible una primera versión de descarga de fichero OOM

  • 07/11/2021. Primeras pruebas de vectorización con el cliente
  • 12/11/2021. Incorporada la herramienta de descarga de PDF al visor
  • 18/11/2021. Recuadro para selección de zona de descarga, en base a escala y tamaño de papel. Descarga de GeoTiff
  • 22/11/2021. Adaptación del cliente para autoservicio de vectorización, en tanto no se vectorice todo de forma masiva
  • 26/11/2021. Incorporación de la funcionalidad de activación/desactivación de símbolos en el visor

  • 16/12/2021. Capa de toponimia importada desde el IGN
  • 17/12/2021. Mapant España en la Conferencia Internacional de Cartografía, en Florencia
  • 29/12/2021. Prueba de renderizado masivo, aprox. 11000 Km2
  • 30/12/2021. Fin de la prueba

  • 01/02/2022. Traspaso a servidor nuevo finalizado y en funcionamiento
  • 04/02/2022. Incorporación de funcionalidad para arrastrar GPX o KML al visor para dibujar el track en él
  • 05/02/2022. Reconocimiento FEDO al proyecto Mapant durante la Gala FEDO 2021

ReconocimientoFEDO.jpg

  • 21/02/2022. Comienzo de vectorización masiva en el nuevo servidor
  • 25/02/2022. Parada técnica para revisar unos errores y se continúa el mismo día

  • 01/03/2022. Finalizada la tarea de vectorización en los clientes, continúa la tarea posterior en el servidor
  • 03/03/2022. Incorporación de funcionalidad para medir distancias en el visor
  • 11/03/2022. Vectorización finalizada

  • 08/06/2022. Mapant ES en las Jornadas de SIG Libre en Girona. Presentación general del proyecto
  • 15/06/2022. OCAD incluye Mapant España en su asistente de creación de mapas nuevos

  • 01/08/2022. Contacto con OpenStreetMap España sobre la posibilidad de colaboración

Preparando los siguientes movimientos

  • 24/10/2022. Nuevo Servicio WMS de Mapant. https://mapant.es/wms
  • 25/10/2022. Reunión para seguimiento del proyecto y pasos siguientes:
    • Manu Jurado está estudiando en profundidad la mejor parametrización por zonas para poder realizar la vectorización de la vegetación baja
    • Preparación del entorno para reprocesamiento colaborativo de la segunda cobertura en las zonas donde solo había primera cobertura, con mejora de la resolución LiDAR e inclusión de la información de vegetación baja

  • 01/11/2022. Wiki de Mapant
  • 24/11/2022. Después de estudiar y probar datos de segunda cobertura de zonas que inicialmente se procesaron con primera cobertura, se lanza un nuevo proceso colaborativo sobre unas zonas de test. Ceuta, Melilla, Andalucía, CLM-NW y Aragón (Huesca S). Este nuevo proceso incluye la generación de vegetación baja, lo cual no se había realizado hasta ahora en ninguna parte de España

  • 08/12/2022. Comienza el proceso colaborativo para el reprocesado de toda España. Algunas zonas con segunda cobertura en lugar de primera. El resto, para generación de vegetación baja y datos vectoriales. Se empieza por la provincia de Huelva