Bugfixes. Updates to effect diagnostics plot.

lesmeg.txt

+
+Kort oversikt over prosessen her.
+
+
+1. Klargjering av kovariater
+
+   Klargjer kovariatfilene. Dette treng me berre gjera unntaksvis, dersom me vil byta ut
+   WORLDCLIM2 som me brukar no (http://worldclim.org/version2), eller anvenda data på
+   anna område enn Norsk fastland.
+
+   Evt. todo-ar her er å laga eit kovariatdatasett for marine arter, og evt. laga til
+   støtte for Svalbard. 
+
+   Filer:
+   
+   Input her er WORLDCLIM-datasettet, som må lastast ned og pakkast ut.
+
+   WCD.tmp/*                          Nedlasta og utpakka filer 
+   scripts/clipWORLDCLIMData.R        Script for klipping av WORLDCLIM
+   data/norway/borders.shp	      Norgesgrenser for klipping
+   data/data/WORLDCLIMData            Ferdig klippa klimafiler
+   
+   Innanfor  data/data/WORLDCLIMData	
+       template.tif                   Maske for klipping av Occurrences(1bit tiff)
+       *.tif			      Kovariatene
+       layers.txt		      Beskrivelse av kovariatene (for grafar etc).
+
+   For å leggja til nytt sett av kovariater treng ein berre leggja til ein ny katalog 
+   her som følger denne strukturen. Modellen bryr seg ikkje om kva kovariatene er,
+   dei kan erstattast av andre data dersom det trengs. Modelldelen av programmet
+   vil standardisera filene, og bruka ein kvadratisk modell på desse, så data må
+   transformerast før lagring i tiff-filene  dersom ein ønsker å bruka annan modell.
+
+2. Lag jobb-fil
+   
+   Døme:
+
+   {
+   "outputLocation": "refspecies.10m",
+   "species": [
+    "Bombus bohemicus",
+    "Ischnura elegans"
+   ],
+   "resolution": "10m"
+  }
+
+  Scriptet utils/makejob.php dumper lager ei jobb-fil ut frå ein nøkkel i artsapp-databasen.
+
+3. Last ned data frå GBIF
+
+   Kommando:
+	artsappsdm --download=all|missing jobfile.json 
+ 
+   Laster ned alle data innanfor BBOX-en til klimadata og lagra desse som CSV-filer i
+   data/occurrences.cache
+
+
+4. Køyring av modell
+
+   Kommando:
+	artsappsdm --runmodel=all|missing jobfile.json
+
+   Køyr SDM-modellen på alle nedlasta data. Det kan vera at nokon artar ikkje blir ferdige
+   innan rimeleg tid og blir drept av  out of memory killeren til Linux. I så fall, fjern
+   arten frå jobfila *og* frå  specieslist.tsv sidan arter som mangler i jobfile ikkje
+   automatisk blir sletta frå denne. Restart jobben med --runmodel=missing for å fortsetja.
+   
+	 
+
+5. Generer ekstra-filer til webgrensesnittet
+
+   Modell-scriptet genererer eit R-objekt med alle data og geotiff-filene. Web-grensesnittet
+   treng litt ekstrafiler i tillegg til desse:
+
+   5.1 Lagra occurrences som er brukt i modellen. 
+
+   Dette blir gjort av eigen kommando heller enn implisitt av modellkøyring slik at den kan køyrast før
+   modellkøyringa, slik at filene blir synlege på web, og brukast òg dersom ein ikkje
+   skal køyra sjølve modellen.
+   
+   Kommando:
+      artsappsdm --saveocc jobfile.json
+   
+   Filer:
+      Occurrences.tif     Gridda occurrences, inputdata til modellen
+      occurrences.shp     Occurrences brukt i modellen
+
+    5.2 Statistikk for rasterfilene
+
+    Generer grunnleggande statistikk for rasterfilene (mean, min, max, count). Denne blir brukt 
+    til å finna felles skala for Main/Climate/Spatial effect på webgrensesnittet og antall
+    occurrences som inngår i modellen.
+    
+    Kommando:
+	artsappsdm --saverasterstats
+
+    Filer:
+	rasterstats.tsv   
+
+    5.3 Responsplots
+
+    Generer responsplot for klimavariablane ut i frå modellobjektet.
+
+    Kommando:
+	artsappsdm --saveplots
+
+    Filer:
+        *.svg
+       
+6. Køyring
+
+   Alle desse delane kan i teorien køyrast i eitt, td.
+
+   Rscript artsappsdm --download=missing --saveocc --runmodel=missing --saverasterstats --saveplots jobfile.json
+
+   Ettersom ting kan krasja på ulike stadier, er det nok best å køyra
+   ting i fleire omgangar, slik at ein ser at forrige trinn prosessen har
+   fungert slik det skal. 
+   Avhengighetane er
+   
+   Anbefalt rekkefølge:
+
+   Rscript artsappsdm --download=missing  jobfile.json
+   Rscript artsappsdm --saveocc --runmodel=missing jobfile.json
+   Rscript artsappsdm --saverasterstats --saveplots jobfile.json
+
+
+
+--
+
+rasterize to grid
+
+write rasterized data output directories
+
+load covariates
+--
+Todo:
+
+ - Testing!
+ - Skriv ut mesh-objektet som er brukt
+ - Lagra model-summary
+ - Få fram litt meir om modellen som er brukt
+      - Summary frå INLA
+      - Antall punkt
+ - Fleire modellar?
+
+ 
+