Query interminabile

classic Classic list List threaded Threaded
5 messages Options
Reply | Threaded
Open this post in threaded view
|

Query interminabile

Massimiliano Moraca
Salve a tutti,
ho importato in PostGIS le regioni italiane dal sito dell'ISTAT e la CLC2000
dal sito del progetto Copernicus dopo averla clippata con il vettore
dell'Italia. Successivamente ho fatto un dissolve sulla CLC usando come
termine di dissolvenza i codici.

Stamattina, intorno alle 10 mi pare, ho lanciato una query che deve crearmi
una tabella dall'intersezione tra le regioni italiane e la CLC post
dissolvenza. Alle 18.13 sono ancora in attesa di risposta, PgAdmin4 non pare
essersi bloccato ma intanto "Waiting for the query execution to complete..."

E' normale? E' successo anche a voi?

-----
Ingegnere, consulente GIS e ciclista urbano
--
Sent from: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/
_______________________________________________
[hidden email]
http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss
Questa e' una lista di discussione pubblica aperta a tutti.
I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it.
796 iscritti al 28/12/2017
Ingegnere, consulente GIS e ciclista urbano
Reply | Threaded
Open this post in threaded view
|

Re: Query interminabile

Andrea Peri
La mia esperienza è sull' uso del suolo di RT, ma penso che il clc sia
analogo.
Quando dissolvi il clc sul codice devi stare attento alle strade.
Sono una continuità che si propaga come un ragno gigant scorso su tutto il
dataset.
Scommetto che li dentro hai un uno record strade che ha qualche milione di
vertici. In cui lnindice spaziale non ti aiuta per niente perché è grande
come l' intero dataset e quando fai lninteraezione con i comuni tutte l
volte deve smazzarsi tutti i vertici.
Poi anche i boschi penso che saranno una gigantesca geometria.
Ricorda che quello che conta per valutare il peso elaborativo non è la
copertura del territorio, ma il numero di vertici.
Prova a contarli con una query SQL e vedi un po'.
In definitiva penso che questi tempi che hai siano normali per l approccio
che hai avuto al problema.
Magari un altro approccio poteva essere più efficace.
Purtroppo sono anni che non seguo più l uso del suolo. E non ricordo più
niente di come si faceva per tagliuzzato sui comuni.

A.


Il Gio 5 Apr 2018, 18:15 Massimiliano Moraca <[hidden email]>
ha scritto:

> Salve a tutti,
> ho importato in PostGIS le regioni italiane dal sito dell'ISTAT e la
> CLC2000
> dal sito del progetto Copernicus dopo averla clippata con il vettore
> dell'Italia. Successivamente ho fatto un dissolve sulla CLC usando come
> termine di dissolvenza i codici.
>
> Stamattina, intorno alle 10 mi pare, ho lanciato una query che deve crearmi
> una tabella dall'intersezione tra le regioni italiane e la CLC post
> dissolvenza. Alle 18.13 sono ancora in attesa di risposta, PgAdmin4 non
> pare
> essersi bloccato ma intanto "Waiting for the query execution to
> complete..."
>
> E' normale? E' successo anche a voi?
>
> -----
> Ingegnere, consulente GIS e ciclista urbano
> --
> Sent from:
> http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/
> _______________________________________________
> [hidden email]
> http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss
> Questa e' una lista di discussione pubblica aperta a tutti.
> I messaggi di questa lista non hanno relazione diretta con le posizioni
> dell'Associazione GFOSS.it.
> 796 iscritti al 28/12/2017
_______________________________________________
[hidden email]
http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss
Questa e' una lista di discussione pubblica aperta a tutti.
I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it.
796 iscritti al 28/12/2017
Reply | Threaded
Open this post in threaded view
|

Re: Query interminabile

Massimiliano Moraca
Quindi dipende dai vertici. Devo verificare quanti sono quando fiisce di
elaborare. Quello che vedo però è che la CPU è occupata al 20%, la RAM al
28% e l'HD oscilla tra 0-6%....

Il giorno 5 aprile 2018 18:38, Andrea Peri <[hidden email]> ha scritto:

> La mia esperienza è sull' uso del suolo di RT, ma penso che il clc sia
> analogo.
> Quando dissolvi il clc sul codice devi stare attento alle strade.
> Sono una continuità che si propaga come un ragno gigant scorso su tutto il
> dataset.
> Scommetto che li dentro hai un uno record strade che ha qualche milione di
> vertici. In cui lnindice spaziale non ti aiuta per niente perché è grande
> come l' intero dataset e quando fai lninteraezione con i comuni tutte l
> volte deve smazzarsi tutti i vertici.
> Poi anche i boschi penso che saranno una gigantesca geometria.
> Ricorda che quello che conta per valutare il peso elaborativo non è la
> copertura del territorio, ma il numero di vertici.
> Prova a contarli con una query SQL e vedi un po'.
> In definitiva penso che questi tempi che hai siano normali per l approccio
> che hai avuto al problema.
> Magari un altro approccio poteva essere più efficace.
> Purtroppo sono anni che non seguo più l uso del suolo. E non ricordo più
> niente di come si faceva per tagliuzzato sui comuni.
>
> A.
>
>
> Il Gio 5 Apr 2018, 18:15 Massimiliano Moraca <[hidden email]>
> ha scritto:
>
>> Salve a tutti,
>> ho importato in PostGIS le regioni italiane dal sito dell'ISTAT e la
>> CLC2000
>> dal sito del progetto Copernicus dopo averla clippata con il vettore
>> dell'Italia. Successivamente ho fatto un dissolve sulla CLC usando come
>> termine di dissolvenza i codici.
>>
>> Stamattina, intorno alle 10 mi pare, ho lanciato una query che deve
>> crearmi
>> una tabella dall'intersezione tra le regioni italiane e la CLC post
>> dissolvenza. Alle 18.13 sono ancora in attesa di risposta, PgAdmin4 non
>> pare
>> essersi bloccato ma intanto "Waiting for the query execution to
>> complete..."
>>
>> E' normale? E' successo anche a voi?
>>
>> -----
>> Ingegnere, consulente GIS e ciclista urbano
>> --
>> Sent from: http://gfoss-geographic-free-and-open-source-software-
>> italian-mailing.3056002.n2.nabble.com/
>> _______________________________________________
>> [hidden email]
>> http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss
>> Questa e' una lista di discussione pubblica aperta a tutti.
>> I messaggi di questa lista non hanno relazione diretta con le posizioni
>> dell'Associazione GFOSS.it.
>> 796 iscritti al 28/12/2017
>
>
_______________________________________________
[hidden email]
http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss
Questa e' una lista di discussione pubblica aperta a tutti.
I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it.
796 iscritti al 28/12/2017
Ingegnere, consulente GIS e ciclista urbano
Reply | Threaded
Open this post in threaded view
|

Re: Query interminabile

Andrea Peri
Su questo non posso aiutarti io lavoro su spatialite che usa diversamente
CPU e memoria rispetto a postgis.
A livello di query SQL spaziali i ragionamenti che ti ho scritto valgono
per entrambi.

Il Gio 5 Apr 2018, 18:49 Massimiliano Moraca <[hidden email]>
ha scritto:

> Quindi dipende dai vertici. Devo verificare quanti sono quando fiisce di
> elaborare. Quello che vedo però è che la CPU è occupata al 20%, la RAM al
> 28% e l'HD oscilla tra 0-6%....
>
> Il giorno 5 aprile 2018 18:38, Andrea Peri <[hidden email]> ha
> scritto:
>
>> La mia esperienza è sull' uso del suolo di RT, ma penso che il clc sia
>> analogo.
>> Quando dissolvi il clc sul codice devi stare attento alle strade.
>> Sono una continuità che si propaga come un ragno gigant scorso su tutto
>> il dataset.
>> Scommetto che li dentro hai un uno record strade che ha qualche milione
>> di vertici. In cui lnindice spaziale non ti aiuta per niente perché è
>> grande come l' intero dataset e quando fai lninteraezione con i comuni
>> tutte l volte deve smazzarsi tutti i vertici.
>> Poi anche i boschi penso che saranno una gigantesca geometria.
>> Ricorda che quello che conta per valutare il peso elaborativo non è la
>> copertura del territorio, ma il numero di vertici.
>> Prova a contarli con una query SQL e vedi un po'.
>> In definitiva penso che questi tempi che hai siano normali per l
>> approccio che hai avuto al problema.
>> Magari un altro approccio poteva essere più efficace.
>> Purtroppo sono anni che non seguo più l uso del suolo. E non ricordo più
>> niente di come si faceva per tagliuzzato sui comuni.
>>
>> A.
>>
>>
>> Il Gio 5 Apr 2018, 18:15 Massimiliano Moraca <
>> [hidden email]> ha scritto:
>>
>>> Salve a tutti,
>>> ho importato in PostGIS le regioni italiane dal sito dell'ISTAT e la
>>> CLC2000
>>> dal sito del progetto Copernicus dopo averla clippata con il vettore
>>> dell'Italia. Successivamente ho fatto un dissolve sulla CLC usando come
>>> termine di dissolvenza i codici.
>>>
>>> Stamattina, intorno alle 10 mi pare, ho lanciato una query che deve
>>> crearmi
>>> una tabella dall'intersezione tra le regioni italiane e la CLC post
>>> dissolvenza. Alle 18.13 sono ancora in attesa di risposta, PgAdmin4 non
>>> pare
>>> essersi bloccato ma intanto "Waiting for the query execution to
>>> complete..."
>>>
>>> E' normale? E' successo anche a voi?
>>>
>>> -----
>>> Ingegnere, consulente GIS e ciclista urbano
>>> --
>>> Sent from:
>>> http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/
>>> _______________________________________________
>>> [hidden email]
>>> http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss
>>> Questa e' una lista di discussione pubblica aperta a tutti.
>>> I messaggi di questa lista non hanno relazione diretta con le posizioni
>>> dell'Associazione GFOSS.it.
>>> 796 iscritti al 28/12/2017
>>
>>
>
_______________________________________________
[hidden email]
http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss
Questa e' una lista di discussione pubblica aperta a tutti.
I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it.
796 iscritti al 28/12/2017
Reply | Threaded
Open this post in threaded view
|

Re: Query interminabile

Massimiliano Moraca
Capito, grazie mille per le indicazioni.

PS: ancora non ha finito!!

Il giorno 5 aprile 2018 19:24, Andrea Peri <[hidden email]> ha scritto:

> Su questo non posso aiutarti io lavoro su spatialite che usa diversamente
> CPU e memoria rispetto a postgis.
> A livello di query SQL spaziali i ragionamenti che ti ho scritto valgono
> per entrambi.
>
> Il Gio 5 Apr 2018, 18:49 Massimiliano Moraca <[hidden email]>
> ha scritto:
>
>> Quindi dipende dai vertici. Devo verificare quanti sono quando fiisce di
>> elaborare. Quello che vedo però è che la CPU è occupata al 20%, la RAM al
>> 28% e l'HD oscilla tra 0-6%....
>>
>> Il giorno 5 aprile 2018 18:38, Andrea Peri <[hidden email]> ha
>> scritto:
>>
>>> La mia esperienza è sull' uso del suolo di RT, ma penso che il clc sia
>>> analogo.
>>> Quando dissolvi il clc sul codice devi stare attento alle strade.
>>> Sono una continuità che si propaga come un ragno gigant scorso su tutto
>>> il dataset.
>>> Scommetto che li dentro hai un uno record strade che ha qualche milione
>>> di vertici. In cui lnindice spaziale non ti aiuta per niente perché è
>>> grande come l' intero dataset e quando fai lninteraezione con i comuni
>>> tutte l volte deve smazzarsi tutti i vertici.
>>> Poi anche i boschi penso che saranno una gigantesca geometria.
>>> Ricorda che quello che conta per valutare il peso elaborativo non è la
>>> copertura del territorio, ma il numero di vertici.
>>> Prova a contarli con una query SQL e vedi un po'.
>>> In definitiva penso che questi tempi che hai siano normali per l
>>> approccio che hai avuto al problema.
>>> Magari un altro approccio poteva essere più efficace.
>>> Purtroppo sono anni che non seguo più l uso del suolo. E non ricordo più
>>> niente di come si faceva per tagliuzzato sui comuni.
>>>
>>> A.
>>>
>>>
>>> Il Gio 5 Apr 2018, 18:15 Massimiliano Moraca <
>>> [hidden email]> ha scritto:
>>>
>>>> Salve a tutti,
>>>> ho importato in PostGIS le regioni italiane dal sito dell'ISTAT e la
>>>> CLC2000
>>>> dal sito del progetto Copernicus dopo averla clippata con il vettore
>>>> dell'Italia. Successivamente ho fatto un dissolve sulla CLC usando come
>>>> termine di dissolvenza i codici.
>>>>
>>>> Stamattina, intorno alle 10 mi pare, ho lanciato una query che deve
>>>> crearmi
>>>> una tabella dall'intersezione tra le regioni italiane e la CLC post
>>>> dissolvenza. Alle 18.13 sono ancora in attesa di risposta, PgAdmin4 non
>>>> pare
>>>> essersi bloccato ma intanto "Waiting for the query execution to
>>>> complete..."
>>>>
>>>> E' normale? E' successo anche a voi?
>>>>
>>>> -----
>>>> Ingegnere, consulente GIS e ciclista urbano
>>>> --
>>>> Sent from: http://gfoss-geographic-free-and-open-source-software-
>>>> italian-mailing.3056002.n2.nabble.com/
>>>> _______________________________________________
>>>> [hidden email]
>>>> http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss
>>>> Questa e' una lista di discussione pubblica aperta a tutti.
>>>> I messaggi di questa lista non hanno relazione diretta con le posizioni
>>>> dell'Associazione GFOSS.it.
>>>> 796 iscritti al 28/12/2017
>>>
>>>
>>
_______________________________________________
[hidden email]
http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss
Questa e' una lista di discussione pubblica aperta a tutti.
I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it.
796 iscritti al 28/12/2017
Ingegnere, consulente GIS e ciclista urbano