Diferencia entre revisiones de «Cronología»

Revisión del 07:37 16 nov 2023

Surge la idea

Anterior a Septiembre de 2020. Manu Jurado concibe la idea de hacer un Mapant España siguiendo la estela del primer Mapant en Finlandia (2016) y el segundo en Noruega (junio de 2020)

Hitos principales

Septiembre, 2020

Manu Jurado se pone en contacto con los creadores del primer Mapant, con personas relacionadas con la cartografía en España a través del comité de cartografía de la FEDO y con personas del IGN
Primeras tareas de exploración y pruebas

Octubre, 2020

Idea del procesamiento colaborativo y forma de procesar con Karttapullautin (KP) de forma sucesiva y automática
Se crea un grupo de whatsapp para ir reuniendo gente interesada en colaborar con el proyecto

Noviembre, 2020

Se une Agustín Caballero e impulsa la implementación de la solución de trabajo colaborativo
Primer prototipo de visor y cliente para procesar algunas cuadrículas y ver los resultados

Diciembre, 2020

Exploración más en profundidad de diferentes fuentes de datos vectoriales al haber decidido procesarlos por fuera del KP
El Hierro procesado y en el visor. La Gomera procesada y en el visor
Se empiezan a estudiar maneras de establecer el mejor renderizado posible
Se contrata un servidor específico para soportar todo el procesamiento. Se pone operativo y se pone a punto una nueva versión del cliente

Enero, 2021

Lanzarote procesado y en el visor. También algunas zonas con mapas de orientación interesantes para establecer comparativas
Dominio definitivo del proyecto https://mapant.es
Apoyo de la FEDO para soportar los gastos de alquiler del servidor
Datos a punto desde el IGN para poder gestionar la petición y procesamiento de cuadrículas

Febrero, 2021

Mejoras en el visor. Mejoras en el sistema de renderizado. Página de estadísticas para ver evolución del procesamiento
19/02/2021. Comienzo del procesamiento colaborativo con Canarias y Galicia Oeste. Parada para evaluación de los resultados

Marzo, 2021

Galicia E y Baleares
Puesta en público oficial del visor con Canarias, Galicia y Baleares
Se continúa con Cataluña

Abril, 2021

Alcanzado el 45% del total
Algunas paradas técnicas para revisiones, retoques y reprocesamientos

Mayo, 2021

Alcanzado el 95% del total. Solo queda Euskadi

Junio, 2021

06/06/2021. Alcanzado el 100%

Julio, 2021

Reprocesamiento de algunas cuadrículas con ruido

Octubre, 2021

Se plantea la posibilidad de un Mapant 2.0 que supondría la vectorización de todos los datos

Noviembre, 2021

Incorporación de más funcionalidades al visor, como recuadro de descarga, obtención de PDF, descarga en formato OpenOrienteering Mapper, activación/desactivación de símbolos en el visor y otras

Diciembre, 2021

Pruebas masivas de vectorización y renderizado

Febrero, 2022

Nuevo servidor contratado y en funcionamiento para soportar el vectorizado de toda España
21/02/2022. Comienza la vectorización masiva (parte en los clientes, parte en el servidor)

Marzo, 2022

01/03/2022. Finaliza la parte en los clientes. Continúa en el servidor
11/03/2022. Vectorización finalizada

Noviembre, 2022

Preparación para procesamiento de zonas que ahora cuentan con segunda cobertura LiDAR, vegetación baja en toda España y datos vectoriales en toda España

Diciembre, 2022

08/12/2022. Comienza el proceso colaborativo de esta nueva fase
11/12/2022. Hacia un Mapant USA. Reunión por videoconferencia con personas de los EEUU que están interesadas en comenzar este proyecto y tomar referencias de Mapant España como proyecto ya consolidado que es

Enero, 2023

05/01/2023. Completado el proceso colaborativo de segunda cobertura LiDAR, vegetación baja y datos vectoriales en Andalucía, CLM NW, Aragón Norte 1 (Sur de Huesca), Murcia y Alicante

Noviembre, 2023

13/11/2023. Se continúa con el proceso para completar la segunda cobertura en todo el territorio

Cronología detallada de la fase inicial

14/09/2020. Manu Jurado se pone en contacto con Terje Mathisen, Jan Kocbach y Henning Spjelkavik para solicitar una reunión telemática. También se pone en contacto con Mario Vidal para buscar colaboradores dentro de la FEDO. Mario Vidal contacta con Javier Arufe y Juan Pedro Valente
21/09/2020. Reunión telemática con los anteriores y 2 personas más del IGN, Jesús Moreno y Jesús Garrido
22/09/2020. Asignación de primeras tareas, labores de exploración y pruebas. Comienzo de tests con Karttapullautin y la isla de El Hierro (268 Km2); estudio del posible equipamiento a utilizar para el procesamiento (un servidor potente vs trabajo colaborativo); estudio de datos IGN a utilizar (LAS + vectoriales) y forma de ponerlos a disposición; estudio de la forma en que se haría visible el resultado, ¿a través de visor del IGN?

05/10/2020. Reunión Manu Jurado, Javier Arufe y Gerardo Moreno (IGN) para hablar específicamente de los datos vectoriales de la BTN25
11/10/2020. Primer contacto con Jarkko Ryppo de Karttapullautin, para dudas y posibles modificaciones del programa de forma que se adapte a necesidades particulares de nuestro procesamiento
18/10/2020. Javier Arufe lanza la idea y primer boceto de un programa de uso colaborativo (lenguaje Java) que se alimente de los datos proporcionados por el IGN, escuche las peticiones de los clientes, asigne tareas a los clientes y reciba los resultados del procesamiento. Solo contempla el uso de KP, sin otras herramientas, tanto para LiDAR como para vectorial, obteniendo un resultado en forma de fichero ráster. Se prueba con 5 municipios de A Coruña (270 Km2) equivalente a la superficie de El Hierro
19/10/2020. Se crea grupo en wasap "Mapant ES - procesamiento" para dar a conocer el proyecto de elaboración colaborativo

18/11/2020. Agustín Caballero impulsa la idea del procesamiento del trabajo colaborativo y se pone a trabajar en el desarrollo de un cliente (programado en .Net) y un servidor (mapserver y BD PostgreSQL con PostGIS) para ponerlo en marcha cuanto antes, replanteando la forma en la que el IGN pondrá los datos a disposición del proyecto
21/11/2020. Agustín introduce la idea de separar lo que hace bien KP (procesamiento de LiDAR para curva, vegetación, cortados) y lo que se puede hacer bien externamente (procesamiento de datos vectoriales). Esto implica liberarse de las limitaciones que impone KP a la hora de tratar datos vectoriales, ya que solo renderiza unos pocos símbolos. Así vamos a poder ampliar el conjunto de símbolos que podemos tratar de otras fuentes (IGN, OSM, principalmente) y crear una renderización ad hoc (lo más parecida a la ISOM)
21/11/2020. Manu Jurado estudia más profundamente los parámetros que usa KP para adaptarlos a varias zonas de Canarias. Esto implica que en el procesamiento se va a considerar la introducción de parametrización específica para distintos conjuntos de datos. En un extremo la solución consistiría en tener un único fichero de parámetros para toda España. En el otro extremo estaría la posibilidad de aportar un fichero distinto para cada cuadrícula. Hay que encontrar un equilibrio entre uno y otro
21/11/2020. Primer prototipo de visor para el proyecto Mapant
21/11/2020. El problema del buffer. Estudiar de qué manera se tienen que procesar las cuadrículas para que al fusionar los resultados de varias vecinas no se produzcan disparidades en las zonas de unión. La solución podría estar en bajar varias cuadrículas, fusionar con las herramientas de LAStools, hacer un recorte y procesar
26/11/2020. Reunión telemática con IGN para hablar acerca de un posible visor gestionado por el propio IGN (esta idea iría diluyéndose con el tiempo al ir creciendo el visor desarrollado por Agustín Caballero)
27/11/2020. Intercambio de correos con Jarkko Ryyppo acerca del procesamiento con KP y los sistemas de coordenadas. Hay que tener en cuenta que, en proyección UTM, España se encuadra en 4 zonas distintas
29/11/2020. Prototipo más avanzado de visor y cliente, y flujo de proceso entre ambos para procesar cuadrículas y comprobar su avance

02/12/2020. Después de estudiar otras posibles fuentes de datos, como SIOSE o CORINE, se implementa la extracción de la información de la extensión de mar de toda España de SIOSE y se incorpora al visor
02/12/2020. Realizar pruebas de renderización de caminos del OpenStreetMap y/o BTN25; seleccionados 12 mapas de Galicia para realizar tests; listos los parámetros para Canarias
06/12/2020. Todo El Hierro en el visor. Así se podrán estudiar problemáticas como uso de verde oliva privado residencial, caminos que están en OSM y también BTN25, idem con otros símbolos, ¿de dónde coger, de uno, del otro, de los dos?, ¿algo de inteligencia artificial para buscar duplicados?. También, algunos problemas de catalogación en la BTN25 que hace que terrenos privados aparezcan como edificios, edificios como terrenos privados, y otros
07/12/2020. Procesar depresiones de manera diferente a como lo hace KP. Incorporar símbolos de depresiones pero también introducir las líneas perpendiculares en las curvas que indican el sentido de la pendiente
07/12/2020. En base al caso gallego y también a la forma en que KP representa los rayados verdes (vegetación baja) comienza a tomar forma la decisión de no incorporar la información de vegetación baja por el momento
10/12/2020. Reunión con IGN para tratar de cerrar el tema de la descarga de datos
14/12/2020. Gomera procesada e incorporada al visor
15/12/2020. Primeras pruebas de generación de GeoTiff como medio para enviar el material para su publicación en visor del IGN o también para componer un servicio WMS propio
16/12/2020. Reunión con más gente de cartografía de orientación para ayudar a decidir acerca de la mejor manera de renderizar los elementos (por ejemplo, cortados que se pisan con edificios o carreteras, elementos que quedan por encima o por debajo del verde oliva privado, puentes o túneles, etc). Mario Vidal, Juan Pedro Valente, Paula Gil, Mamen Morillas, Juan Francisco Sánchez
18/12/2020. Incorporación de un "renderizador" ad hoc para que un colaborador pueda hacer sus propios retoques sobre la simbología, comprobar el resultado en el visor y así estar en disposición de avanzar en la concreción de esta parte
20/12/2020. Incorporación al visor de una pequeña parte del SW de Galicia, para seguir comprobando cosas relacionadas con el procesamiento y la renderización
21/12/2020. Preparación de otro servidor contratado que reemplace al inicial usado para las primeras pruebas, con el objetivo de que sea el que soporte el procesamiento de la primera versión del Mapant de toda España
22/12/2020. Apertura de un Github para organizar los temas de estudio, información pública del proyecto, contacto con primeros usuarios/colaboradores/probadores
29/12/2020. Primeros estudios sobre la problemática de las superposiciones entre lotes y las diferencias entre las zonas correspondientes a vuelos de distintas CCAA. Necesitará de una atención especial para conseguir un producto homogéneo en las fronteras
31/12/2020. Servidor operativo y nueva versión del cliente

01/01/2021. Se comienza a procesar Lanzarote. Se empiezan a recopilar algunas estadísticas para poder estimar el esfuerzo necesario para todo el conjunto
02/01/2021. Se estudia un poco más a fondo la problemática ya conocida de la mejor forma de superponer vegetación procedente del KP con parcelas como cultivos o frutales procedentes de los datos vectoriales. También acerca de los ríos (datos vectoriales) que puede que no sigan correctamente las vaguadas obtenidas del LiDAR
03/01/2021. Finalizado Lanzarote, también La Gomera y reprocesadas cosas pendientes de El Hierro
06/01/2021. Coto Maravillas, Murcia
12/01/2021. Objetivo finalizar Canarias y procesar zonas donde existen mapas de orientación interesantes, como Navaleno, Urbasa o los pinares de Valladolid
13/01/2021. El IGN termina de mandar la información (fichero Shapefile con los datos necesarios) correspondiente a toda España, de manera que ya se puede usar para procesar las cuadrículas
19/01/2021. Ok de la FEDO para apoyo presupuestario consistente en hacerse cargo del alquiler del servidor
24/01/2021. Disponible el nuevo y definitivo dominio para el proyecto: https://mapant.es
25/01/2021. Procesando más cuadrículas ya con el cliente y servidor que se utilizaría de forma masiva en modo colaborativo. Inclusión de una página de estadísticas para ver la evolución del procesamiento
26/01/2021. Primeras estimaciones acerca de la duración del procesamiento de toda España, en 4-5 meses (abril/mayo - octubre de 2021)
27/01/2021. Utilización del sistema de reporte de errores del visor para estudiar casos observados teniendo en cuenta que vamos teniendo ya una cantidad de superficie y datos considerable
28/01/2021. El problema de los cortados ficticios en forma de cruceta que se observan en algunas zonas, probablemente por el corte de las cuadrículas vecinas y el tamaño de buffer, o bien por defectos de clasificación de suelo
29/01/2021. Preparación de lotes de segunda cobertura para pruebas, con ficheros de configuración del KP adaptados por Manu Jurado a cada casuística
30/01/2021. Manu Jurado compone un documento con una previsión del orden de procesamiento de los lotes de toda España y sus parámetros de configuración (se dice muy pronto pero detrás hay una cantidad de tiempo enorme necesaria para componer todo ese conjunto)

04/02/2021. Reunión con más gente de cartografía de orientación para compartir resultados actuales y tratar de concretar de entre las opciones de renderizado. Mario Vidal, Juan Pedro Valente, Paula Gil, Mamen Morillas, Juan Francisco Sánchez
03/02/2021. Aplicación de la idea del "halo" en caminos para que en el visor se vean bien cuando tocan con elementos como cortados. También un proceso para tratar de distinguir qué caminos dibujar del OSM y del BTN25 para evitar duplicados
05/02/2021. Se vuelve a renderizar lo existente, a través del cliente, para homogeneizar según las decisiones tomadas
07/02/2021. Se estudia más en profundidad la necesidad de eliminar ruido como parte del procesamiento en cliente con las herramientas de Lastools, en base a resultados observados en zonas de segunda cobertura. Contacto con Martin Isenburg, el creador de LAStools para no tener problema con el uso de sus ficheros, ya que algunos son de uso libre y otros bajo licencia. Este tema del ruido impacta directamente en una decisión para utilizar datos de primera o de segunda cobertura en función de que el resultado sea mejor o peor. Es decir, la ventaja de utilizar unos datos más modernos e incluso con más resolución quedaría oscurecida por el hecho de obtener un peor resultado
12/02/2021. Mejoras en el visor, por ejemplo para poder seleccionar de entre varias capas disponibles
16/02/2021. Petición de primeros voluntarios para prueba del cliente
18/02/2021. Manu Jurado invitado a hablar de la evolución del proyecto en el canal de Youtube de Alberto Mínguez

Cronología detallada de la fase de procesamiento colaborativo

19/02/2021. Comienzo del procesamiento con Canarias y Galicia Oeste
19/02/2021. Sitio web de estadísticas de procesamiento (activa solo durante periodos de procesamiento): https://mapant.es/Estadisticas.aspx

12/03/2021. Galicia Este
13/03/2021. Prueba de la función GPS con lo procesado de Galicia
14/03/2021. Baleares (9h) y Galicia (60h) terminado
23/03/2021. Servicio WMS disponible
27/03/2021. Puesta en público oficial del visor con Canarias, Galicia y Baleares
31/03/2021. Puesta en marcha con más cuadrículas. Cataluña

01/04/2021. CLM NE, Murcia, Alicante, Madrid
02/04/2021. Extremadura S, Aragón Centro N, Andalucía W y C, La Rioja
04/04/2021. CyL
05/04/2021. Superado el 33% de toda España. Potenciar renderización dejando de hacer KP
08/04/2021. Parada técnica para revisar unos errores que obligarán a renderizar de nuevo parte de lo realizado
09/04/2021. Vuelta a procesar. Los datos de OpenStreetMap se cogen ahora de overpass.kumi,systems
11/04/2021. Alcanzado el 45%, tanto en KP como en renderizado de datos vectoriales. Parada en el procesamiento
15/04/2021. Unas pocas cuadrículas de prueba para testar unos cambios
16/04/2021. Prueba de zonas fronterizas con 1800 cuadrículas
21/04/2021. Otra prueba rápida
24/04/2021. Se retoma el procesamiento masivo. Fronteras, Andalucía NE, Extremadura S

02/05/2021. Sin más cuadrículas, se vuelven a renderizar algunas zonas (Murcia y Alicante). Parada técnica. Procesado el 75%
14/05/2021. 4000 cuadrículas más. Luego, más CyL y Extremadura
16/05/2021. Resto de Extremadura, CyL, Asturias y Navarra S
23/05/2021. Completado el 95%. Se reprocesan unas 7000 cuadrículas
24/05/2021. Prueba con Navarra N (pesa mucho más), para continuar a tope
28/05/2021. Cantabria
29/05/2021. Parada (mientras se sigue preparando la info para que aparezca en el visor). Solo queda País Vasco

04/06/2021. País Vasco
06/06/2021. Terminado País Vasco. Alcanzado el 100%
11/06/2021. Reprocesamiento de algunas cuadriculas
12/06/2021. Cuadrículas reprocesadas
18/06/2021. Renderizado de algunas cuadrículas, mar de Baleares y mediterráneo

24/07/2021. Reprocesamiento de algunas cuadrículas con ruido

09/09/2021. Muere Martin Isenburg, creador de LAStools, conjunto de programas mundialmente utilizado para el procesamiento LiDAR y también clave en este proyecto

11/10/2021. OCAD incluye Mapant España en su lista de WMS predefinidos
15/10/2021. Planteamos la posibilidad de un Mapant 2.0, con el objetivo de vectorizar todos los datos
15/10/2021. Disponible una primera versión de descarga de fichero OOM

07/11/2021. Primeras pruebas de vectorización con el cliente
12/11/2021. Incorporada la herramienta de descarga de PDF al visor
18/11/2021. Recuadro para selección de zona de descarga, en base a escala y tamaño de papel. Descarga de GeoTiff
22/11/2021. Adaptación del cliente para autoservicio de vectorización, en tanto no se vectorice todo de forma masiva
26/11/2021. Incorporación de la funcionalidad de activación/desactivación de símbolos en el visor

16/12/2021. Capa de toponimia importada desde el IGN
17/12/2021. Mapant España en la Conferencia Internacional de Cartografía, en Florencia
29/12/2021. Prueba de renderizado masivo, aprox. 11000 Km2
30/12/2021. Fin de la prueba

01/02/2022. Traspaso a servidor nuevo finalizado y en funcionamiento
04/02/2022. Incorporación de funcionalidad para arrastrar GPX o KML al visor para dibujar el track en él
05/02/2022. Reconocimiento FEDO al proyecto Mapant durante la Gala FEDO 2021

21/02/2022. Comienzo de vectorización masiva en el nuevo servidor
25/02/2022. Parada técnica para revisar unos errores y se continúa el mismo día

01/03/2022. Finalizada la tarea de vectorización en los clientes, continúa la tarea posterior en el servidor
03/03/2022. Incorporación de funcionalidad para medir distancias en el visor
11/03/2022. Vectorización finalizada

08/06/2022. Mapant ES en las Jornadas de SIG Libre en Girona. Presentación general del proyecto
15/06/2022. OCAD incluye Mapant España en su asistente de creación de mapas nuevos

01/08/2022. Contacto con OpenStreetMap España sobre la posibilidad de colaboración

Completar nuevas zonas con segunda cobertura; vegetación baja y datos vectoriales de toda España

24/10/2022. Nuevo Servicio WMS de Mapant. https://mapant.es/wms
25/10/2022. Reunión para seguimiento del proyecto y pasos siguientes:
- Manu Jurado está estudiando en profundidad la mejor parametrización por zonas para poder realizar la vectorización de la vegetación baja
- Preparación del entorno para reprocesamiento colaborativo de la segunda cobertura en las zonas donde solo había primera cobertura, con mejora de la resolución LiDAR e inclusión de la información de vegetación baja

01/11/2022. Wiki de Mapant
24/11/2022. Después de estudiar y probar datos de segunda cobertura de zonas que inicialmente se procesaron con primera cobertura, se lanza un nuevo proceso colaborativo sobre unas zonas de test. Ceuta, Melilla, Andalucía, CLM-NW y Aragón (Huesca S). Este nuevo proceso incluye la generación de vegetación baja, lo cual no se había realizado hasta ahora en ninguna parte de España

08/12/2022. Comienza el proceso colaborativo para el reprocesado de toda España. Algunas zonas con segunda cobertura en lugar de primera. El resto, para generación de vegetación baja y datos vectoriales. Se empieza por la provincia de Huelva
11/12/2022. Hacia un Mapant USA. Al igual que los noruegos se reunieron con nosotros al principio de este proyecto, esta vez somos nosotros los que nos reunimos por videoconferencia con Greg Ahlswede y colaboradores, de los EEUU, para que ellos tengan referencias y ayuda para empezar con el tremendo desafío que va a suponer realizar un mapa de orientación automático de un país que es del orden de 20 veces más extenso que España.
05/01/2022. Completado el procesado de segunda cobertura, vegetación baja y datos vectoriales de: Andalucía, CLM NW, Aragón Norte 1 (Sur de Huesca), Murcia y Alicante
- En la siguiente imagen, color naranja para las zonas recién procesadas
- Rosa: anteriormente en 1ª cobertura; para procesar 2ª cobertura incluyendo vegetación baja; para procesar de nuevo los datos vectoriales
- Verde: ya procesadas anteriormente en 2ª cobertura; para reprocesar vegetación baja; para procesar de nuevo los datos vectoriales

@@ Línea 75: / Línea 75: @@
 <strong>Enero, 2023</strong>
 *05/01/2023. <strong>Completado el proceso colaborativo de segunda cobertura LiDAR, vegetación baja y datos vectoriales en Andalucía, CLM NW, Aragón Norte 1 (Sur de Huesca), Murcia y Alicante</strong>
+<strong>Noviembre, 2023</strong>
+*13/11/2023. Se continúa con el proceso para completar la segunda cobertura en todo el territorio
 == Cronología detallada de la fase inicial ==