Nieuwe versie Tijdreeksanalist

De nieuwste versie is van 29 april 2021, versie 6.0.10.

De gebruiksvriendelijkheid is verbeterd in verband met de ontwikkeling van de  handleiding tijdreeksanalyse (STOWA).

Met onderstaande dowloadmogelijkheid stellen we de probeer- of oefenversie van Tijdreeksanalist beschikbaar. Deze versie heeft de volledige functionaliteit. Voorbeeldbestanden met instructies zijn meegeleverd. Verschillende modelleringen van de STOWA-handleiding kunnen nagespeeld worden.

Download probeer- of oefenversie Tijdreeksanalist (voor de toegang leveren we een wachtwoord).

De export van modelresultaten is uitgebreid met de mogelijk een rapport van de tijdreeksanalyse van een sessie te genereren. Voorbeeld van een rapportage van een modellering met grafieken van de residuen- en ruisanalyse, simulaties en voorspellingen:

rapport_B16D_14dag_PNO

Versie 6 is ontwikkeld met de Matlab Compiler van augustus 2017.

In versie 5 is de modelresiduenanalyse uitgebreid met toetsen voor geen heteroscedasticiteit, met de Engle-toets en de Breusch-Pagan-toets. De Engle-toets toetst of de variantie van de modelresiduen constant is in de tijd. De Breusch-Pagan-toets toetst of de variantie van de modelresiduen onafhankelijk is van modelwaarden. Beide toetsen zijn extra belangrijke analysemogelijkheden voor het ontwikkelen van een betrouwbaar tijdreeksmodel.

Een nieuwe functionaliteit van Tijdreeksanalist is ook het ruimtelijk presenteren van tijdreeksanalyseresultaten. Per meetpunt kan informatie over de modellering opgevraagd worden. Niet onbelangrijk is daarbij de ‘gain’ of evenwichtsrelatie (de verandering van de uitvoervariabele bij een verhoging met een eenheid van de invoervariabele) met de bijbehorende standaardfout die aangeeft of een bijdrage van een invoervariabele significant is. Bij een betrouwbaar tijdreeksmodel, waarbij de modelresiduen normaal verdeeld zijn en geen autocorrelatie bevatten, is ook de evenwichtsrelatie normaal verdeeld. In het onderstaande voorbeeld mogen we met 95% betrouwbaarheid aannemen dat de bijdrage van zowel het neerslagoverschot als de winning significant is.

Als er sprake is van autocorrelatie van modelresiduen dan wordt de standaardfout van de evenwichtsrelatie onderschat. Wij stellen dat zonder een goed ruismodel afgeleide betrouwbaarheden onbruikbaar zijn. Zie ook voor de ontwikkeling van een betrouwbaar tijdreeksmodel Interactieve tijdreeksmodelontwikkeling.

Tijdreeksanalist (TRG) is een programma in ontwikkeling sinds 2005.

Geplaatst in Alle categorieen, Download, Tijdreeksanalist | Getagged , | Reacties uitgeschakeld voor Nieuwe versie Tijdreeksanalist

Valkuil hoogfrequente tijdreeksmodellering

Modellering van relatief hoog frequente metingen met een eenvoudig ruismodel

Door de introductie van automatische loggers kunnen op uurbasis al grondwaterstanden gemeten worden. We zien veelal dat tijdreeksanalyse wordt uitgevoerd op grondwaterstanden, neerslag- en verdampinggegevens op dagbasis. We beschouwen de tijdreeksmodellering van grondwaterstanden op een relatief kleine tijdsbasis in vergelijking met het grondwaterproces. Bij relatief hoog frequente  grondwaterstandmetingen in vergelijking met de processnelheid is er sprake van een hoge autocorrelatie van bijna één. In het onderstaande bespreken we het fenomeen ‘unit-root’, de valkuil bij hoogfrequente tijdreeksmodellering met een eenvoudig ruismodel.

In de softwarepakketten Pastas en Menyanthes voor het uitvoeren van de continue tijdreeksanalyse volgens de methode Pirfict wordt het volgende algemene model toegepast:

(1)   \begin{equation*}\begin{align} Z(t) = detmodel(t;p)+N(t) \\N(t) = \phi(\Delta t).N(t-\Delta t)+ a(t) \end{align}\end{equation*}

in Pastas en Menyanthes geldt voor de ruisfactor \phi als functie van \Delta t en \alpha:

(2)   \begin{equation*} \phi(\Delta t) = exp(-\frac 1\alpha.\Delta t )\end{equation*}

waarin Z(t) de grondwaterstand is op tijdstip t , model(t;p) het hydrologische deterministische model, N(t) het ruismodel, a(t) de innovatie en \Delta t het meetinterval tussen opeenvolgende metingen op tijdstip t-1 en t. Het deterministische model is een superpositie van transferfuncties van variabelen, zoals de neerslag, verdamping en onttrekking.    

 ‘Unit root’-probleem

Bij een modellering van grondwaterstanden op een kleine tijdsbasis, met een autocorrelatie van bijna één is bij de Pirfict-modellering de (afgeleide) modelparameter \phi(\Delta t) ook bijna één. Als we stellen dat \phi(dt) gelijk is aan één dan geldt voor bovenstaande vergelijking [1]:

(3)   \begin{equation*}\begin{align} Z(t) = detmodel(t;p)+N(t)  \\N(t) = N(t-\Delta t)+ a(t) \end{align}\end{equation*}

Dan geldt:

(4)   \begin{equation*}\begin{align} Z(t) = detmodel(t;p)+\sum _{i=1}^{t}  {a(i)}\end{align}\end{equation*}

We mogen veronderstellen dat de innovaties a(t) voor verschillende waarden voor t niet negatief gecorreleerd zijn en dan geldt: 

(5)   \begin{equation*}\begin{align} var(\sum_{i=1}^{t}{a(i)}) >= \sum _{i=1}^{t} {var(a(i))} = t.var(a)\end{align}\end{equation*}

Dit soort modellen hebben een oneindig grote variantie voor t naar oneindig en genereren dus niet-stationaire voorspellingen. Het is een bekend fenomeen in de tijdreeksanalyse en wordt het ‘unit root’-probleem genoemd en men spreekt daarbij over random-walk modellen. Vanwege de autocorrelatie van de innovaties (het ‘>=’-teken in vergelijking [5]) speelt ook bij een ruisfactor van bijna één het ‘unit-root’-probleem.   

Figuur 1: Voorbeeld van een random-walk proces met 10 simulatie met een tijdreeksmodel voor GWS met neerslag (N) en verdamping (V), beide op dagbasis en met een ruisfactor van bijna één

De ruis is gecorreleerd met de grondwaterstanden

Bij grote autocorrelatie van de grondwaterstanden en een ruisfactor \phi(\Delta t) van bijna 1 is de ruis N(t) gecorreleerd met de grondwaterstanden Z(t). De ruis beschrijft dan voornamelijk het hoogfrequente grondwaterproces en het deterministische model beschrijft een onderliggend grondwaterproces. Dit betekent dat de deterministische modelkeuze bepalend is voor de uitkomsten van de tijdreeksmodellering. Relaties tussen de grondwaterstanden en de invoervariabelen worden bepaald door de modelvorm met daarin voorgedefinieerde transferfuncties voor de relaties. De modelfit wordt voornamelijk bepaald door het ruismodel, het model lijkt daarmee plausibel, maar het is zeer de vraag of het model bruikbaar is voor het doel van de modellering.

Figuur 2: Voorbeeld van hetzelfde tijdreeksmodel als in figuur 1. De tijdreeks van de ruis lijkt op die van de grondwaterstanden met een correlatie van 0.8. Het ogenschijnlijk plausibele model kan sterk verbeterd worden
Figuur 3: Bijbehorende decompositie van de effecten van de neerslag en de verdamping van het model.

Samenvattend

Bij hoogfrequente tijdreeksmodellering met een eenvoudig ruismodel met een ruisfactor van bijna één speelt het ‘unit root’-probleem en is de ruis gecorreleerd met de uitvoervariabele. De modelresultaten lijken plausibel, maar ze geven een beschrijving van de werkelijkheid die bepaald wordt door de deterministische modelkeuze. Een voorbeeld van een Pastas-modellering waar een unit-root probleem speelt, is issue152. Tevens wordt aangetoond dat bij een modellering op dagbasis met een noise_alpha>=10 er al sprake is van onzuivere schattingen.

Vanwege de grootte van de correlatie van de ruis met de grondwaterstanden voldoen de modelresiduen of innovaties niet aan de voorwaarden van witte ruis en daarmee kunnen met deze hoogfrequente tijdreeksmodellen geen betrouwbaarheden van de parameters en relaties en onzekerheden van voorspellingen goed geschat worden.

Ons advies is kies een uitgebreid ruismodel of een tijdsbasis in de tijdreeksmodellen die past bij de processnelheid en voer modelverificatie uit op innovaties en ruis (met toetsen op normaliteit en autocorrelatie), zie de voorgestelde werkprocedure voor het verbeteren van de zeggingskracht van de hydrologische tijdreeksanalyse.

Geplaatst in Tijdreeksanalist | Reacties uitgeschakeld voor Valkuil hoogfrequente tijdreeksmodellering

Tijdreeksanalyse – tijdreeksmodellen

Tijdreeksanalist (TRG) heeft een uitgebreide toolbox om een scala van mogelijke tijdreeksmodellen te analyseren om het beste model te kunnen selecteren uit de klasse van Box-Jenkins en ‘hydrologische’ modellen. Belangrijke vragen die bij een goed tijdreeksmodel gesteld moeten worden zijn:

  • Hoe beschrijft het tijdreeksmodel de meetwaarden
  • Zijn alle invloedsfactoren in de modellering meegenomen
  • Is de te onderzoeken invloedsfactor voldoende veranderd
  • Zijn de invloedsfactoren voldoende niet onderling gecorreleerd
  • Wat is de bijdrage van de afzonderlijke invloedsfactoren in de modellering
  • Wat is de bijdrage van het ruismodel
  • Is er geen correlatie van de ruis met het model
  • Is er geen correlatie van de ruis met de invloedsfactoren
  • Zijn de residuen\innovaties normaal verdeeld
  • Is er geen autocorrelatie tussen de residuen
  • Is er geen correlatie tussen de residuen en het model
  • Is er geen correlatie tussen de residuen en de invloedsfactoren
  • Is er geen heteroscedasticiteit
  • Wat zijn de onzekerheden van de modelparameters
  • Zijn de modelparameters significant
  • Hoe goed zijn de modelsimulaties en wat is de onzekerheid
  • Wat zijn de verschillen tussen de verschillende mogelijke tijdreeksmodellen in het beschrijven van de meetwaarden
  • Hoe goed zijn de modelvoorspellingen en wat is de onzekerheid
  • Zijn de statistische relaties en zijn de modelparameters ook causaal te interpreteren

Wij vinden dat een uitgebreide toolbox nodig is en behulpzaam moet zijn om bovenstaande vragen te beantwoorden en om de onderzoeker te behoeden voor de vele valkuilen van de tijdreeksanalyse.

Een residuenanalyse, met toetsen op normaliteit en geen autocorrelatie, is onontbeerlijk om objectief statistische uitspraken te doen over de significantie van de statistische relaties. Als er niet wordt voldaan aan alle randvoorwaarden dan kunnen op basis van het afgeleide tijdreeksmodel er geen goede schattingen gegeven worden van betrouwbaarheidsintervallen van modelparameters, relaties en voorspellingen. Tegenwoordig wordt er veelal op dagbasis gemodelleerd en dan is het vrijwel onmogelijk om aan de randvoorwaarden te voldoen, zie ook hoogfrequente tijdsreeksmodellering.

Wij stellen:

  1. De reden om tijdreeksanalyse toe te passen is om de data te laten spreken
  2. Houd van de data en wantrouw je modellen!

Zie verder Tijdreeksanalist (TRG)

Geplaatst in Alle categorieen, Tijdreeksanalist | Getagged | Reacties uitgeschakeld voor Tijdreeksanalyse – tijdreeksmodellen

Naar betere tijdreeksmodellering met Pastas

Bij de toepassing van hydrologische tijdreeksanalyse, in softwarepakketten zoals Pastas en Menyanthes, worden in toenemende mate resultaten gegeven met gekwantificeerde betrouwbaarheden van modelparameters, statistische significanties van de relaties tussen de grondwaterstand en invloedsfactoren en toekomstige grondwaterstanden. Dergelijke statistische toepassingen zijn in principe pas te verantwoorden als er ook aan een aantal randvoorwaarden wordt voldaan, zoals de innovaties zijn op te vatten als onafhankelijke trekkingen uit dezelfde normale kansverdeling (aangeduid als witte ruis). Aangezien er doorgaans wordt gemodelleerd met hoogfrequente meetreeksen van grondwaterstanden is er veelal sprake van een dusdanige autocorrelatie dat er niet aan deze voorwaarde wordt voldaan.

De onderstaande voorgestelde werkprocedure geeft de stappen om te verzorgen dat hydrologische tijdreeksanalyse ook daadwerkelijk statistisch verantwoorde tijdreeksanalyse wordt.


Stroomschema voorgestelde werkprocedure om met Pastas te modelleren

Het verifiëren van een tijdreeksmodel is een belangrijk onderdeel van de werkprocedure. Voor Pastas hebben we een verificatie-module ontwikkeld om ook voor Pastas-gebruikers de gewenste statistische toetsen (zoals een normaliteitstoets en de Portmanteau-toets), die ook toepasbaar zijn op niet-equidistante tijdreeksen, beschikbaar te stellen om de voorgestelde werkprocedure uit te kunnen voeren:

Test of innovationsTest (confidence)ResultDetail
D’Agostino-K2    normality    (99%)Yes p=0.29
Portmanteau      no autocorr. (95%)Yes 15.35<23.68
Engle            homosced.    (95%)Yes p=0.61

Uit ons onderzoek, zie ons rapport Naar betere tijdreeksmodellering met Pastas, blijkt tevens dat de onzuiverheid van geschatte grootheden, zoals de evenwichtsrelatie, flink kan oplopen zodra een gesimuleerde werkelijkheid iets verschilt met een verdelingsfunctie (gamma, exponentieel, ..), waar Pastas van uit gaat. Die onzuiverheid neemt toe bij toepassingen van het ruismodel én naarmate de ruisfactor/noise_alpha groter wordt, zie bijvoorbeeld issue 235 (met schattingsfouten van de werkelijke evenwichtsrelatie van meer dan 50%!).

In een vervolgonderzoek is naar voren gekomen dat die onzuiverheid wordt veroorzaakt door bugs in de parameterschattingsmethode van Pastas. Deze bugs veroorzaken ook dat toepassing van het ruismodel van Pastas schade oplevert voor de pasvorm of modelfit en de EVP (de verklaarde variantie van het deterministische model). De parameterschattingen van de modelleringen van Pastas met een ruismodel zijn dus niet optimaal en dit is de eerste randvoorwaarde waar een goede tijdreeksmodellering aan moet voldoen.

Zie ook Tijdreeksanalist, onze applicatie met Box-Jenkins en modelleringen op basis van verdelingsfuncties, met ARMA-ruismodellering en met uitgebreide identificatie-, verificatie- en modelanalysemogelijkheden.

Geplaatst in Tijdreeksanalist | Reacties uitgeschakeld voor Naar betere tijdreeksmodellering met Pastas

Nieuwe versie Trendanalist

Versie 6.0.08, 5 november 2020

Trendanalist is ontwikkeld in de programmeeromgeving van Matlab en een standalone versie 6.0 is beschikbaar voor de 64-bits versie van Windows 7, 8 en 10.

Download Trendanalist (voor de toegang leveren we een wachtwoord)

De afgelopen jaren hebben we verschillende (statistische) trendanalyses uitgevoerd op waterkwaliteitsmetingen en biologische gegevens. We hebben daarbij veel ervaring opgedaan met meetreeksen met veel missende waarden (gaten) of gecensureerde waarden met verschillende rapportagegrenzen. Op basis van onze ervaringen, theoretisch en empirisch onderzoek hebben we Trendanalist robuuster, efficiënter en gebruiksvriendelijker gemaakt. Zie ook Waarom trendanalyses met Trendanalist? en Vernieuwingen in Trendanalist.

Enkele specificaties Trendanalist

  •  Het kan trendanalyses van grote aantallen meetreeksen – zoals van een milieumeetnet – uitvoeren en daarbij optimaal rekening houden met de karakteristieken van elke afzonderlijke meetreeks, zoals een niet-normale kansverdeling, seizoenseffecten, autocorrelatie, ontbrekende en gecensureerde waarden.
  • Het interne expertsysteem van het programma maakt daartoe per meetreeks een keuze uit verschillende lineaire modellen (LR*) met seizoen- en ruismodelleringen en verschillende vormen van de Mann-Kendall-toets (MK*). De toetsvormen verschillen voor wat betreft het verdisconteren van seizoenseffecten en/of autocorrelatie.
  • De keuze is zodanig dat de toets op trend niet alleen statistisch verantwoord is voor de betreffende reeks, maar ook het hoogste onderscheidend vermogen heeft van alle trendtoetsen die statistisch verantwoord zijn voor de reeks.
  • Het kan volledig automatisch honderden meetreeksen sequentieel analyseren.
  • Dankzij het interne expertsysteem is statistische kennis geen vereiste meer bij de trendanalyse.

Stroomschema

Hoofdlijnen van de procedure om de meest geschikte trendtoets voor een meetreeks te selecteren.

Geplaatst in Alle categorieen, Download, Trendanalist | Getagged , , | Reacties uitgeschakeld voor Nieuwe versie Trendanalist

Trendanalistbatch

Er is ook een batch versie van Trendanalist beschikbaar, Trendanalistbatch.exe. Deze versie is vooral interessant voor netwerkbeheerders die trends van parameters willen bepalen in hun meetnet. Met slechts één aanroep van Trendanalistbatch in een programmeeromgeving  (zoals Matlab, R, Python of Access) kan van een invoerbestand met meetreeksen van een meetnet de trends bepaald worden. Trendanalistbatch levert resultaatbestanden die weer verder verwerkt kunnen worden in de betreffende programmeeromgeving.

Geplaatst in Diensten | Reacties uitgeschakeld voor Trendanalistbatch

Stroomlijnen meetnet

Een meetnet kan een krachtig en efficiënt instrument zijn bij het ondersteunen van de taken van een organisatie. Bij ons advieswerk hebben we inmiddels ruim ervaring opgedaan met allerlei deelaspecten van het meetnet, zoals ontwerpen en inrichten (wat, waar, wanneer en hoe meten), opstellen en beoordelen van meetprocedures, valideren en zonodig corrigeren van meetdata, verwerken van meetdata tot gewenste informatie en het rapporteren daarvan. Wij stellen daarbij vast dat de meetnetpotentie vaak niet ten volle beschikbaar is of niet volledig benut wordt. We hebben verschillende technieken ontwikkeld om een meetnet beter te stroomlijnen en beter te benutten …

Geplaatst in Diensten, Tijdreeksanalist, Trendanalist | Een reactie plaatsen

Samenwerkingsverband tijdreeksanalyses

Bij een samenwerkingsverband leveren we een gratis licentie van Tijdreeksanalist. U levert ons een dataset en wij leveren u de (verwerkte) dataset met de uitgevoerde tijdreeksanalyses. Met Tijdreeksanalist kunt u de tijdreeksanalyses naspelen en eventueel betere tijdreeksmodellen ontwikkelen.

Geplaatst in Tijdreeksanalist | Reacties uitgeschakeld voor Samenwerkingsverband tijdreeksanalyses

Download probeerversie Trendanalist

Download probeerversie Trendanalist (voor de toegang leveren we een wachtwoord)

Trendanalist is een softwarepakket om trendanalyses mee uit te voeren. Op de downloadpagina stellen we de standalone versie van Trendanalist ontwikkeld met de Matlab Compiler van 2017 voor Windows (64 bits) beschikbaar.

Geplaatst in Trendanalist | Reacties uitgeschakeld voor Download probeerversie Trendanalist

Waarom trendanalyses met Trendanalist

  1. Trendanalist is een uniek programma, omdat het trendanalyses optimaal uitvoert en daarbij rekening houdt met de karakteristieken van de meetreeksen, zoals het niet-normaal verdeeld zijn, seizoenseffecten, autocorrelatie, ontbrekende en gecensureerde waarden
  2. Trendanalist bevat daarvoor vier verschillende lineaire modelleringen en drie verschillende vormen van de parametervrije Mann-Kendall toets
  3. Trendanalist kiest daarbij de optimale trendtoets met de kleinste kans op verkeerde conclusies
  4. Trendanalist kan volledig automatisch honderden meetreeksen sequentieel analyseren
  5. Statististische kennis is geen vereiste meer
  6. Trendanalist kan verschillende bestandsformaten inlezen, zoals het csv-dataformaat van iBever of van Aquo-kit
  7. Trendanalist genereert resultaten in grafische, spreadsheet en tekst-bestanden
  8. Trendanalist presenteert de resultaten rechtstreeks in Word, Excel en Google Earth
  9. Trendanalist levert tijds- en kostenbesparingen op met meer kwaliteit
  10. Geen onverantwoorde trendanalyses meer (op basis van een subjectieve interpretatie of met een enkele trendtoets) die leiden tot dure maatregelen
  11. Geen dagen, weken of soms maanden ‘ploeteren’, terwijl het met een ‘druk op de knop’ (van de automatische mode) van Trendanalist kan
  12. Eindelijk tijd om trendanalyseresultaten te interpreteren, te verwerken en te rapporteren.

Zie ook Trendanalist

Geplaatst in Trendanalist | Getagged , | Reacties uitgeschakeld voor Waarom trendanalyses met Trendanalist