AMO-Icastat

Ontwikkeling nieuwe versie Trendanalist

Eit — Sun, 19 Feb 2012 13:23:24 +0000

Afgelopen jaar hebben we verschillende trendanalyses uitgevoerd op waterkwaliteitsmetingen en biologische gegevens. We hebben daarbij veel ervaring opgedaan met meetreeksen met veel missende waarden (gaten) of gecensureerde waarden met verschillende rapportagegrenzen. Op basis van onze ervaringen, theoretisch en empirisch onderzoek hebben we Trendanalist robuuster gemaakt.

Enkele specificaties Trendanalist

Het kan trendanalyses van grote aantallen meetreeksen – zoals van een milieumeetnet – uitvoeren en daarbij optimaal rekening houden met de karakteristieken van elke afzonderlijke meetreeks, zoals een niet-normale kansverdeling, seizoenseffecten, autocorrelatie, ontbrekende en gecensureerde waarden.
Het interne expertsysteem van het programma maakt daartoe per meetreeks een keuze uit verschillende lineaire modellen (LR*) met seizoen- en ruismodelleringen en verschillende vormen van de Mann-Kendall-toets (MK*). De toetsvormen verschillen voor wat betreft het verdisconteren van seizoenseffecten en/of autocorrelatie.
De keuze is zodanig dat de toets op trend niet alleen statistisch verantwoord is voor de betreffende reeks, maar ook het hoogste onderscheidend vermogen heeft van alle trendtoetsen die statistisch verantwoord zijn voor de reeks.
Het kan volledig automatisch honderden meetreeksen sequentieel analyseren.
Dankzij het interne expertsysteem is statististische kennis geen vereiste meer bij de trendanalyse.

Schroomschema

Hoofdlijnen van de procedure om de meest geschikte trendtoets voor een meetreeks te selecteren.

Tijdreeksanalyse

Eit — Sun, 15 Jan 2012 11:45:58 +0000

Wij voeren tijdreeksanalyses uit met Tijdreeksanalist. De belangrijkste toepassing is de statistische reconstructie van invloeden op de grondwaterstanden. Statistisch onderbouwde tijdreeksanalyses voeren we uit op grondwaterstanden, waterkwaliteit- en verkeersgegevens. Een elegante toepassing van tijdreeksanalyse is de interventie-analyse om te onderzoeken of een maatregel (significant) effect heeft gehad. Wij hebben tijdreeksanalyses uitgevoerd voor waterleidingbedrijven, waterschappen en Rijkswaterstaat.

Na de trendanalyse wordt vaak de vraag gesteld: wat zijn de onderliggende oorzaken van de trends? Voor het beantwoorden van die vraag passen wij tijdreeksanalyse toe met interventie-analyse.

Zie verder Tijdreeksanalist en Trendanalist

Schatgraven in een tijdreeks

Eit — Thu, 12 Jan 2012 12:59:27 +0000

Nieuwe versie Tijdreeksanalist

Eit — Wed, 11 Jan 2012 21:51:18 +0000

Sinds december van vorig jaar is een nieuwe versie beschikbaar. Inmiddels versie 5.1.

Een nieuwe functionaliteit van Tijdreeksanalist is om tijdreeksanalyseresultaten ruimtelijk te presenteren. Per meetpunt kan informatie over de modellering opgevraagd worden. Niet onbelangrijk is daarbij de ‘gain’ met de bijbehorende standaard fout die aangeven of een invloed significant is. Bij een goed tijdreeksmodel, waarbij de residuen normaal verdeeld zijn en geen autocorrelatie bevatten, is de ‘gain’ normaal verdeeld. In het onderstaande voorbeeld mogen we met 95% betrouwbaarheid aannemen dat de invloed van zowel het neerslagoverschot als de winning significant is.

Dataverwerking

Eit — Tue, 10 Jan 2012 08:34:17 +0000

Een essentieel onderdeel van onze data-georiënteerde analyses, zoals tijdreeks-, trend-, correlatie- en statistische analyses is de uitgebreide controle op mogelijke fouten in de data. De kwaliteit van de analyses is immers direct gerelateerd aan de kwaliteit van de data. Voor deze dataverwerking hebben inmiddels vele tools ontwikkeld, zo controleren wij o.a. op:

afwijkende meetwaarden
dubbele meetwaarden, zelfde tijdstip verschillende waarden of zelfde tijdstip verschillende waarden
uitschieters, waarbij een uitschieter een mogelijke maar niet noodzakelijk een fout is
zelfde parameternaam verschillende eenheid of compartiment of .. of een andere entiteit
onmogelijk waarden, zoals gecensureerde (waarden onder de rapportagegrens) nulwaarden.

Na het toepassen van bovenstaande gaan we altijd na, op basis van visuele inspectie van grafische presentaties, of de data voldoet aan onze kwaliteitseisen om de analyses goed te kunnen uitvoeren.

Tijdreeksanalyse – tijdreeksmodellen

Eit — Tue, 10 Jan 2012 06:42:28 +0000

Tijdreeksanalist (TRG 5.1) heeft een uitgebreide toolbox om een scala van mogelijke tijdreeksmodellen te analyseren om het beste model te kunnen selecteren. Belangrijke vragen die bij een goed tijdreeksmodel gesteld moeten worden zijn:

Hoe beschrijft het tijdreeksmodel de meetwaarden
Zijn alle invloedsfactoren in de modellering meegenomen
Is de te onderzoeken invloedsfactor voldoende veranderd
Zijn de invloedsfactoren voldoende niet onderling gecorreleerd
Wat is de bijdrage van de afzonderlijke invloedsfactoren in de modellering
Zijn de residuen normaal verdeeld
Is er geen autocorrelatie tussen de residuen
Wat zijn de betrouwbaarheidsintervallen van de modelparameters
Zijn de modelparameters significant
Hoe goed zijn de modelsimulaties
Hoe goed zijn de modelvoorspellingen
Wat zijn de verschillen tussen de verschillende mogelijke tijdreeksmodellen in het beschrijven van de meetwaarden
Zijn de statistische relaties en zijn de modelparameters ook causaal te interpreteren

Wij vinden dat een uitgebreide toolbox nodig is en behulpzaam moet zijn om bovenstaande vragen te beantwoorden en om de onderzoeker te behoeden voor de vele valkuilen van de tijdreeksanalyse.

Een goede residuenanalyse is onontbeerlijk om objectief statistische uitspraken te doen over de significantie van de statistische relaties.

Zoals Paul het altijd stelt:

De reden om tijdreeksanalyse toe te passen is om de data te laten spreken
Houd van de data en wantrouw je modellen!

Handleiding Trendanalist

Eit — Sun, 01 Jan 2012 13:53:49 +0000

Neurale Netwerken

Eit — Wed, 11 May 2011 18:36:13 +0000

Op basis van de tijdreeksanalyse ontwikkelen wij ook Neurale Netwerken, om nog enige winst te behalen in het modelleren en het voorspellen. Wij beschouwen de tijdreeksanalyse daarbij als een belangrijke stap om inzicht te krijgen in de informatie in de meetreeksen en het onderliggende proces. De tijdreeksanalyse heeft daarbij wel het voordeel, tenminste als de residuen aan de voorwaarden voldoen van normaliteit en geen autocorrelatie, er objectieve statistische uitspraken mogelijk zijn.

Nieuw in Trendanalist

Eit — Wed, 11 May 2011 17:07:48 +0000

Januari 2010 is een nieuwe versie van Trendanalist beschikbaar gekomen met nieuwe functionaliteit voor de uitvoer van resultaten:

Meetdichtheidsmatrix. De meetdichtheidsmatrix met het aantal metingen per jaar van alle meetpunten en parameters exporteren we naar een Excel-bestand
Kengetallenmatrix. De kengetallenmatrix met verschillende kengetallen (minimum, maximum, percentielwaarden, ..) van de meetreeksen exporteren we naar een Excel-bestand
Meetlocatie- en trendkaart. Trendanalist presenteert de trendanalyseresultaten in Google Earth

Trendanalyses op meetpunt 00599 van waterschap Zuiderzeeland. De oordelen over de trends zijn weergegeven in de pictogrammen.

Trendpalet

Eit — Wed, 11 May 2011 17:05:40 +0000

Recent is de uitvoer van Trendanalist uitgebreid met mogelijkheden om de trendanalyseresultaten te exporteren naar Excel-bestanden voor o.a. het maken van een trendpalet.

Voorbeeld van een (deel van een) trendpalet, vervaardigd op basis van de resultaten van Trendanalist. Elke cel geeft met een kleur de richting van de trend, per combinatie van meetlocatie (vermeld in de kolommen) en stof (vermeld in de rijen). Als er geen statistisch significante trend is gedetecteerd (hier met 95% betrouwbaarheid), dan is de cel geel gekleurd. Een statistisch significante daling is groen gekleurd en een statistisch significante stijging is oranje gekleurd. Een statistisch significante trend is relatief uitgedrukt als percentage verandering per jaar ten opzichte van de mediaan van de meetreeks.