Gleitende Durchschnittliche Kovarianz Stationär

Eine kurze Einführung in die moderne Zeitreihe Definition Eine Zeitreihe ist eine Zufallsfunktion x t eines Arguments t in einer Menge T. Mit anderen Worten, eine Zeitreihe ist eine Familie von Zufallsvariablen. X t-1. X t. X t1. Die allen Elementen in der Menge T entsprechen, wobei T eine abzählbare unendliche Menge sein soll. Definition Eine beobachtete Zeitreihe t t e T o T gilt als Teil einer Realisierung einer Zufallsfunktion x t. Eine unendliche Menge möglicher Verwirklichungen, die beobachtet werden könnten, wird Ensemble genannt. Um die Dinge strenger zu formulieren, ist die Zeitreihe (oder zufällige Funktion) eine reelle Funktion x (w, t) der beiden Variablen w und t mit ww und t T. Wenn wir den Wert von w festlegen. Haben wir eine reelle Funktion x (t w) der Zeit t, die eine Realisierung der Zeitreihen ist. Wenn wir den Wert von t festlegen, haben wir eine Zufallsvariable x (wt). Für einen gegebenen Zeitpunkt gibt es eine Wahrscheinlichkeitsverteilung über x. Somit kann eine Zufallsfunktion x (w, t) entweder als eine Familie von Zufallsvariablen oder als eine Familie von Realisierungen betrachtet werden. Definition Wir definieren die Verteilungsfunktion der Zufallsvariablen w mit t 0 als P o) x (x). Ähnlich können wir die gemeinsame Verteilung für n Zufallsvariablen definieren. Die Punkte, die die Zeitreihenanalyse von gewöhnlichen statistischen Analysen unterscheiden, sind folgende: (1) Die Abhängigkeit von Beobachtungen zu verschiedenen Zeitpunkten spielt eine wesentliche Rolle. Mit anderen Worten, die Reihenfolge der Beobachtungen ist wichtig. In der gewöhnlichen statistischen Analyse wird davon ausgegangen, daß die Beobachtungen voneinander unabhängig sind. (2) Die Domäne von t ist unendlich. (3) Wir müssen eine Schlussfolgerung aus einer Erkenntnis machen. Die Realisierung der Zufallsgröße kann nur einmal zu jedem Zeitpunkt beobachtet werden. In der multivariaten Analyse haben wir viele Beobachtungen über eine endliche Anzahl von Variablen. Dieser kritische Unterschied erfordert die Annahme der Stationarität. Definition Die Zufallsfunktion x t ist streng stationär, wenn alle endlichen Dimensionsverteilungsfunktionen x t gleich bleiben, auch wenn die ganze Gruppe von Punkten t 1. T 2. T n entlang der Zeitachse verschoben wird. Das heißt, wenn für irgendwelche ganzen Zahlen t & sub1; T 2. T n und k. Grafisch könnte man die Realisierung einer streng stationären Reihe als mit nicht nur dem gleichen Pegel in zwei verschiedenen Intervallen abbilden, sondern auch die gleiche Verteilungsfunktion bis hin zu den Parametern, die sie definieren. Die Annahme der Stationarität macht unser Leben einfacher und weniger kostspielig. Ohne Stationarität müssten wir den Prozeß häufig zu jedem Zeitpunkt abtasten, um eine Charakterisierung der Verteilungsfunktionen in der früheren Definition aufzubauen. Stationarität bedeutet, dass wir unsere Aufmerksamkeit auf einige der einfachsten numerischen Funktionen, d. H. Auf die Momente der Verteilungen, beschränken können. Die zentralen Momente sind gegeben durch Definition (i) Der Mittelwert der Zeitreihe t ist d. h. das Moment erster Ordnung. (Ii) Die Autokovarianzfunktion von t ist d. h. das zweite Moment um den Mittelwert. Wenn ts, dann haben Sie die Varianz von x t. Wir wollen die Autokovarianz einer stationären Reihe bezeichnen, wobei k die Differenz zwischen t und s bezeichnet. (Iii) Die Autokorrelationsfunktion (ACF) von t wird verwendet, um die Autokorrelation einer stationären Reihe zu bezeichnen, wobei k die Differenz zwischen t und s bezeichnet. (Iv) Die partielle Autokorrelation (PACF). F kk. Ist die Korrelation zwischen z t und z tk nach Entfernung ihrer gegenseitigen linearen Abhängigkeit von den dazwischenliegenden Variablen z t1. Z t2. Z tk-1. Ein einfacher Weg, die partielle Autokorrelation zwischen z t und z tk zu berechnen, besteht darin, die beiden Regressionen auszuführen und dann die Korrelation zwischen den beiden Restvektoren zu berechnen. Oder, nachdem die Variablen als Abweichung von ihren Mitteln gemessen wurden, kann die partielle Autokorrelation als der LS-Regressionskoeffizient auf zt in dem Modell gefunden werden, wo der Punkt über der Variablen anzeigt, dass er als eine Abweichung von seinem Mittel gemessen wird. (V) Die Yule-Walker-Gleichungen liefern eine wichtige Beziehung zwischen den partiellen Autokorrelationen und den Autokorrelationen. Multiplizieren Sie beide Seiten der Gleichung 10 mit z tk-j und nehmen Sie Erwartungen. Dieser Vorgang ergibt die folgende Differenzengleichung in den Autokovarianzen bzw. in den Autokorrelationen. Diese scheinbar einfache Darstellung ist wirklich ein mächtiges Ergebnis. Für j1,2. K können wir das vollständige System von Gleichungen schreiben, bekannt als die Yule-Walker-Gleichungen. Aus der linearen Algebra wissen Sie, dass die Matrix von r s von vollem Rang ist. Daher ist es möglich, die Cramers-Regel sukzessive für k1,2 anzuwenden. Um das System für die partiellen Autokorrelationen zu lösen. Die ersten drei sind Wir haben drei wichtige Ergebnisse auf streng stationäre Serien. Die Implikation ist, dass wir jede endliche Realisierung der Sequenz verwenden können, um den Mittelwert zu schätzen. Zweite . Wenn t streng stationär ist und E t 2 lt dann die Implikation ist, dass die Autokovarianz nur von der Differenz zwischen t und s abhängt, nicht von ihrem chronologischen Zeitpunkt. Wir könnten jedes Paar von Intervallen bei der Berechnung der Autokovarianz verwenden, solange die Zeit zwischen ihnen konstant war. Und wir können jede endliche Realisierung der Daten verwenden, um die Autokovarianzen abzuschätzen. Drittens ist die Autokorrelationsfunktion im Falle einer strengen Stationarität gegeben durch Die Implikation ist, daß die Autokorrelation auch nur von der Differenz zwischen t und s abhängt und wiederum durch eine endliche Realisierung der Daten abgeschätzt werden kann. Wenn unser Ziel darin besteht, Parameter zu schätzen, die die möglichen Realisierungen der Zeitreihen beschreiben, dann ist vielleicht eine strenge Stationarität zu restriktiv. Wenn zum Beispiel der Mittelwert und die Kovarianz von xt konstant sind und unabhängig vom chronologischen Zeitpunkt sind, dann ist es vielleicht nicht wichtig, dass die Verteilungsfunktion für verschiedene Zeitintervalle gleich ist. Definition Eine zufällige Funktion ist im weiten Sinne stationär oder schwach stationär oder stationär im Khinchins-Sinne oder Kovarianz stationär, wenn m 1 (t) m und m 11 (t, s) stationär ist. Strenge Stationarität bedeutet für sich genommen keine schwache Stationarität. Eine schwache Stationarität bedeutet keine strenge Stationarität. Strenge Stationarität mit E t 2 lt bedeutet schwache Stationarität. Ergodische Theoreme beschäftigen sich mit der Frage nach den notwendigen und hinreichenden Bedingungen, um aus einer einzigen Realisierung einer Zeitreihe Schlußfolgerungen zu ziehen. Grundsätzlich geht es darum, schwache Stationarität vorauszusetzen. Theorem Ist t schwach stationär mit mittlerer m und Kovarianzfunktion, so existiert für jedes gegebene e gt 0 und h gt 0 eine Anzahl T o, so dass für alle T gt T o. Wenn und nur wenn diese notwendige und hinreichende Bedingung ist, dass die Autokovarianzen aussterben, wobei in diesem Fall die Stichprobe ein konsistenter Schätzer für das Bevölkerungsmittel ist. Korollar Wenn t mit E tk xt 2 lt für jedes t schwach stationär ist und E tk xtx tsk x ts unabhängig von t für irgendeine ganze Zahl s ist, dann genau dann, wenn A eine Konsequenz der Korollarfolge die Annahme ist, dass xtx tk ist Schwach stationär. Das Ergodische Theorem ist nicht mehr als ein Gesetz von großer Zahl, wenn die Beobachtungen korreliert werden. Man könnte an dieser Stelle über die praktischen Implikationen der Stationarität fragen. Die häufigste Anwendung der Verwendung von Zeitreihen-Techniken ist die Modellierung makroökonomischer Daten, sowohl theoretische als auch atheoretische. Als Beispiel für das erstere könnte man ein Multiplikator-Beschleuniger-Modell haben. Damit das Modell stationär ist, müssen die Parameter bestimmte Werte haben. Ein Test des Modells soll dann die relevanten Daten sammeln und die Parameter abschätzen. Wenn die Schätzungen nicht mit der Stationarität übereinstimmen, muss man entweder das theoretische Modell oder das statistische Modell oder beide überdenken. Wir haben jetzt genügend Maschinen, um über die Modellierung von univariaten Zeitreihendaten zu sprechen. Es gibt vier Schritte in dem Prozess. 1. Modellmodelle aus theoretischen und Erfahrungswissen 2. Identifizierung der Modelle anhand der Daten (beobachtete Reihen) 3. Modellierung der Modelle (Schätzung der Modellparameter) 4. Modellprüfung Im vierten Schritt sind wir nicht Zufrieden sind wir wieder zu Schritt eins. Der Prozess ist iterativ, bis eine weitere Überprüfung und Anpassung keine weitere Ergebnisverbesserung ergibt. Schematische Darstellung Einige einfache Operationen umfassen die folgenden: Der Rückschaltoperator Bx tx t-1 Der Vorwärtsoperator Fx tx t1 Der Differenzoperator 1 - B xtxt - x t-1 Der Differenzoperator verhält sich in einer Weise, die mit der Konstanten in einer unendlichen Reihe übereinstimmt . Das heißt, sein Inverses ist die Grenze einer unendlichen Summe. Das heißt, -1 (1-B) -1 1 (1-B) 1BB 2. Der Integrationsoperator S -1 Da es der Inverse des Differenzoperators ist, dient der Integrationsoperator der Konstruktion der Summe. MODELLBAU In diesem Abschnitt bieten wir einen kurzen Überblick über die häufigsten Arten von Zeitreihenmodellen. Ausgehend von den Kenntnissen des Datenerzeugungsprozesses greift eine Klasse von Modellen zur Identifikation und Schätzung aus den folgenden Möglichkeiten auf. Definition Angenommen, Ex t m ist unabhängig von t. Ein Modell wie mit den Merkmalen wird das autoregressive Modell der Ordnung p, AR (p) genannt. Definition Wenn eine zeitabhängige Variable (stochastischer Prozeß) t genügt, dann heißt t die Eigenschaft von Markov. Auf der LHS ist die Erwartung auf die unendliche Geschichte von x t bedingt. Auf der RHS ist es nur auf einen Teil der Geschichte bedingt. Aus den Definitionen wird ein AR (p) - Modell gesehen, um die Markov-Eigenschaft zu erfüllen. Mit Hilfe des Backshift-Operators können wir unser AR-Modell als Theorem schreiben. Eine notwendige und hinreichende Bedingung für das stationäre AR (p) - Modell ist, dass alle Wurzeln des Polynoms außerhalb des Einheitskreises liegen. Beispiel 1 Betrachten Sie die AR (1) Die einzige Wurzel von 1 - f 1 B 0 ist B 1 f 1. Voraussetzung für die Stationarität ist die. Wenn dann die beobachtete Reihe sehr frenetisch erscheinen wird. Z. B. Wobei der weiße Rauschterm eine Normalverteilung mit einem Nullmittelwert und einer Varianz von Eins aufweist. Die Beobachtungen wechseln Schild mit fast jeder Beobachtung. Wenn auf der anderen Seite, dann wird die beobachtete Reihe viel glatter sein. In dieser Reihe neigt eine Beobachtung dazu, über 0 zu sein, wenn ihr Vorgänger über Null war. Die Varianz von e t ist s e 2 für alle t. Die Varianz von xt. Wenn es null bedeutet, ist gegeben durch Da die Reihe stationär ist, können wir schreiben. Die Autokovarianzfunktion einer AR (1) - Serie ist also ohne Verlust der Allgemeingültigkeit m 0. Um zu sehen, wie das in den AR-Parametern aussieht, machen wir von der Tatsache Gebrauch, daß wir xt wie folgt schreiben können: Multiplizieren mit x Tk und nehmen Erwartungen Beachten Sie, dass die Autokovarianzen sterben, wie k wächst. Die Autokorrelationsfunktion ist die Autokovarianz geteilt durch die Varianz des weißen Rauschterms. Oder, . Mit Hilfe der früheren Yule-Walker-Formeln für die partiellen Autokorrelationen haben wir für ein AR (1) die Autokorrelationen exponentiell abgestorben und die partiellen Autokorrelationen weisen eine Spike bei einer Verzögerung auf und sind danach null. Beispiel 2 Betrachten Sie das AR (2) Das zugehörige Polynom im Lag-Operator. Die Wurzeln konnten unter Verwendung der quadratischen Formel gefunden werden. Die Wurzeln sind Wenn die Wurzeln real sind und als Folge wird die Serie exponentiell in Reaktion auf einen Schock abnehmen. Wenn die Wurzeln komplex sind und die Reihe als gedämpfte Vorzeichenwelle erscheinen wird. Der Stationaritätssatz legt die folgenden Bedingungen für die AR-Koeffizienten fest Die Autokovarianz für einen AR (2) - Prozeß mit Nullmittelwert wird durch die Varianz von xt dividiert Durch die Varianz von xt ergibt sich die Autokorrelationsfunktion Da wir schreiben können Ähnlich für die zweite und dritte Autokorrelation Die andere Autokorrelationen werden rekursiv gelöst. Ihr Muster wird durch die Wurzeln der linearen Differenzgleichung zweiter Ordnung geregelt. Wenn die Wurzeln reell sind, werden die Autokorrelationen exponentiell abnehmen. Wenn die Wurzeln komplex sind, erscheinen die Autokorrelationen als gedämpfte Sinuswelle. Unter Verwendung der Yule-Walker-Gleichungen sind die partiellen Autokorrelationen wieder, die Autokorrelationen sterben langsam ab. Die partielle Autokorrelation hingegen ist sehr charakteristisch. Es hat Spikes an ein und zwei Lags und ist danach null. Theorem Ist x t ein stationärer AR (p) - Prozeß, so kann er äquivalent als lineares Filtermodell geschrieben werden. Das heißt, das Polynom im Rückschaltoperator kann invertiert werden und das AR (p) als ein gleitender Durchschnitt von unendlicher Ordnung stattdessen geschrieben werden. Beispiel Angenommen, z t ist ein AR (1) Prozess mit Null-Mittelwert. Was für die aktuelle Periode gilt, muss auch für vorherige Perioden gelten. Durch rekursive Substitution können wir quadratisch beide Seiten schreiben und Erwartungen nehmen, die rechte Seite verschwindet als k seit f lt 1. Daher konvergiert die Summe zu zt im quadratischen Mittel. Wir können das AR (p) - Modell als linearen Filter umschreiben, den wir als stationär kennen. Die Autokorrelationsfunktion und die partielle Autokorrelation allgemein Angenommen, dass eine stationäre Reihe z t mit mittlerem Nullpunkt als autoregressiv bekannt ist. Die Autokorrelationsfunktion eines AR (p) wird gefunden, indem die Erwartungen und die Durchdringung durch die Varianz von zt erfüllt werden. Dies besagt, daß rk eine Linearkombination der vorherigen Autokorrelationen ist. Wir können dies bei der Anwendung der Cramers-Regel auf (i) beim Lösen von fkk verwenden. Insbesondere können wir sehen, dass diese lineare Abhängigkeit f kk 0 für k gt p bewirkt. Diese Besonderheit der Autoregressive-Serie wird sehr nützlich sein, wenn es um die Identifizierung einer unbekannten Serie kommt. Wenn Sie entweder MathCAD oder MathCAD Explorer haben, dann können Sie experimentieren interactivley mit einigen der AR (p) Ideen präsentiert hier. Moving Average Models Betrachten Sie ein dynamisches Modell, in dem die Reihe von Interesse hängt nur von einem Teil der Geschichte des weißen Rausch Begriff. Schematisch kann dies als Definition dargestellt werden Definition Angenommen, t ist eine unkorrelierte Folge von i. i.d. Zufallsvariablen mit null Mittelwert und endlicher Varianz. Dann ist ein gleitender Durchschnittsprozess der Ordnung q, MA (q) gegeben durch Theorem: Ein gleitender Durchschnittsprozess ist immer stationär. Beweis: Anstatt mit einem allgemeinen Beweis zu beginnen, machen wir es für einen bestimmten Fall. Angenommen, z t ist MA (1). Dann. Natürlich hat ein t null mittlere und endliche Varianz. Der Mittelwert von zt ist stets Null. Die Autokovarianzen werden gegeben durch Sie können sehen, dass der Mittelwert der Zufallsvariablen nicht von der Zeit in irgendeiner Weise abhängt. Sie können auch sehen, dass die Autokovarianz hängt nur von den Offset s, nicht auf, wo in der Reihe, die wir beginnen. Wir können das gleiche Resultat allgemeiner mit dem beginnen, das die alternierende gleitende mittlere Darstellung hat. Man betrachte zunächst die Varianz von zt. Durch rekursive Substitution können Sie zeigen, dass dies gleich der Summe ist, die wir kennen, um eine konvergente Reihe zu sein, so dass die Varianz endlich ist und von der Zeit unabhängig ist. Die Kovarianzen sind z. B. Sie können auch sehen, dass die Auto-Kovarianzen nur von den relativen Zeitpunkten abhängen, nicht vom chronologischen Zeitpunkt. Unsere Schlussfolgerung ist, dass ein MA () - Prozess stationär ist. Für den allgemeinen MA (q) - Prozeß ist die Autokorrelationsfunktion gegeben durch Die partielle Autokorrelationsfunktion stirbt glatt ab. Sie können dies sehen, indem Sie den Prozess invertieren, um einen AR () - Prozess zu erhalten. Wenn Sie entweder MathCAD oder MathCAD Explorer haben, können Sie interaktiv mit einigen der hier vorgestellten MA (q) Ideen experimentieren. Mixed Autoregressive - Moving Average Models Definition Eine t ist eine unkorrelierte Folge von i. i.d. Zufallsvariablen mit null Mittelwert und endlicher Varianz. Dann ist ein autoregressiver, gleitender Durchschnittsprozess der Ordnung (p, q), ARMA (p, q) gegeben. Die Wurzeln des autoregressiven Operators müssen alle außerhalb des Einheitskreises liegen. Die Anzahl der Unbekannten ist pq2. Die p und q sind offensichtlich. Die 2 enthält die Ebene des Prozesses, m. Und die Varianz des weißen Rauschterms sa 2. Angenommen, wir kombinieren unsere AR - und MA-Darstellungen so, dass das Modell und die Koeffizienten so normiert sind, dass bo1. Dann wird diese Darstellung als ARMA (p, q) bezeichnet Wurzeln von (1) liegen alle außerhalb des Einheitskreises. Angenommen, die y t werden als Abweichungen vom Mittelwert gemessen, so dass wir ein o fallen lassen können. Dann wird die Autokovarianz-Funktion abgeleitet, wenn jgtq dann die MA-Begriffe ausfallen in Erwartung zu geben, Das ist, die Autokovarianz-Funktion sieht aus wie eine typische AR für Lags nach q sie sterben glatt nach q, aber wir können nicht sagen, wie 1,2,133, Q aussehen wird. Wir können auch die PACF für diese Klasse von Modell zu untersuchen. Das Modell kann geschrieben werden. Wir können dies als MA (inf) - Prozeß schreiben, der nahelegt, daß die PACFs langsam aussterben. Mit einiger Arithmetik konnten wir zeigen, dass dies nur nach den ersten p Spikes des AR-Teils geschieht. Empirisches Gesetz Tatsächlich kann eine stationäre Zeitreihe durch p 2 und q 2 repräsentiert werden. Wenn Ihr Unternehmen eine gute Annäherung an die Realität und die Güte der Anpassung liefern soll, ist Ihr Kriterium dann ein verschwenderisches Modell bevorzugt. Wenn Ihr Interesse prädiktive Effizienz ist, dann ist das sparsame Modell bevorzugt. Experimentieren Sie mit den ARMA Ideen, die oben mit einem MathCAD Arbeitsblatt. Autoregressive Integrate Moving Average Modelle MA Filter AR Filter Filter integrieren Manchmal ist der Prozess oder die Serie, die wir zu modellieren versuchen, nicht stationär in Ebenen. Aber es könnte stationär sein in, sagen wir, erste Unterschiede. Das heißt, in seiner ursprünglichen Form sind die Autokovarianzen für die Reihe nicht unabhängig vom chronologischen Zeitpunkt. Wenn wir jedoch eine neue Serie konstruieren, die die ersten Unterschiede der ursprünglichen Reihe ist, so erfüllt diese neue Reihe die Definition der Stationarität. Dies ist oft der Fall mit wirtschaftlichen Daten, die sehr trendorientiert ist. Definition Nehmen wir an, daß zt nicht stationär ist, aber zt - zt-1 die Definition der Stationarität erfüllt. Auch bei, das weiße Rauschen Begriff hat endlichen Mittelwert und Varianz. Wir können das Modell als Dies ist ein ARIMA (p, d, q) - Modell zu schreiben. P identifiziert die Reihenfolge des AR-Operators, d identifiziert das Einschalten. Q identifiziert die Reihenfolge des MA-Operators. Liegen die Wurzeln von f (B) außerhalb des Einheitskreises, so können wir ARIMA (p, d, q) als lineares Filter umschreiben. D. h. Kann er als MA () geschrieben werden. Wir behalten uns die Diskussion über die Erkennung von Einheitswurzeln für einen anderen Teil der Vorlesungsunterlagen vor. Man betrachte ein dynamisches System mit x t als Eingangsreihe und y t als Ausgangsreihe. Schematisch haben wir Diese Modelle sind eine diskrete Analogie der linearen Differentialgleichungen. Wir nehmen die folgende Beziehung an, wobei b eine reine Verzögerung anzeigt. Denken Sie daran, dass (1-B). Wenn das Koeffizientenpolynom auf yt invertiert werden kann, dann kann das Modell geschrieben werden, da V (B) als Impulsantwortfunktion bekannt ist. Wir werden diese Terminologie wieder in unserer späteren Diskussion der Vektor autoregressive kommen. Kointegrations - und Fehlerkorrekturmodellen. MODEL-IDENTIFIKATION Nachdem man sich für eine Klasse von Modellen entschieden hat, muss man nun die Reihenfolge der Prozesse identifizieren, die die Daten erzeugen. Das heißt, man muss die Vermutungen hinsichtlich der Reihenfolge der AR - und MA-Prozesse, die die stationäre Serie treiben, gut abschätzen. Eine stationäre Serie ist vollständig durch ihre Mittelwerte und Autokovarianzen charakterisiert. Aus analytischen Gründen arbeiten wir meistens mit Autokorrelationen und partiellen Autokorrelationen. Diese beiden grundlegenden Werkzeuge haben einzigartige Muster für stationäre AR - und MA-Prozesse. Man könnte Beispielabschätzungen der Autokorrelation und partiellen Autokorrelationsfunktionen berechnen und sie mit den tabellierten Ergebnissen für Standardmodelle vergleichen. Beispiel Autokovarianz Funktion Stichprobe Autokorrelationsfunktion Die Beispielteilautokorrelationen werden die Autokorrelationen verwenden und partielle Autokorrelationen sind im Prinzip einfach. Angenommen, wir haben eine Folge zt. Mit Nullmittelwert, der AR (1) ist. Wenn wir die Regression von z t2 auf z t1 und z t ausführen würden, würden wir erwarten, daß der Koeffizient auf zt nicht von Null verschieden ist, da diese partielle Autokorrelation Null sein sollte. Andererseits sollten die Autokorrelationen für diese Reihe exponentiell abnehmen, um die Verzögerungen zu erhöhen (siehe das obige Beispiel AR (1)). Angenommen, die Serie ist wirklich ein gleitender Durchschnitt. Die Autokorrelation sollte überall null sein, aber bei der ersten Verzögerung. Die partielle Autokorrelation sollte exponentiell absterben. Sogar von unserem sehr flüchtigen Rummel durch die Grundlagen der Zeitreihenanalyse wird deutlich, dass es eine Dualität zwischen AR - und MA-Prozessen gibt. Diese Dualität kann in der folgenden Tabelle zusammengefasst werden.2.1 Gleitende Durchschnittsmodelle (MA-Modelle) Zeitreihenmodelle, die als ARIMA-Modelle bekannt sind, können autoregressive Begriffe und gleitende Durchschnittsterme enthalten. In Woche 1 erlernten wir einen autoregressiven Term in einem Zeitreihenmodell für die Variable x t ist ein verzögerter Wert von x t. Beispielsweise ist ein autoregressiver Term der Verzögerung 1 x t-1 (multipliziert mit einem Koeffizienten). Diese Lektion definiert gleitende Durchschnittsterme. Ein gleitender Durchschnittsterm in einem Zeitreihenmodell ist ein vergangener Fehler (multipliziert mit einem Koeffizienten). Es sei n (0, sigma2w) überschritten, was bedeutet, daß die wt identisch unabhängig voneinander verteilt sind, jeweils mit einer Normalverteilung mit dem Mittelwert 0 und der gleichen Varianz. Das durch MA (1) bezeichnete gleitende Durchschnittsmodell der 1. Ordnung ist (xt mu wt theta1w) Das durch MA (2) bezeichnete gleitende Durchschnittsmodell der zweiten Ordnung ist (xt mu wt theta1w theta2w) Das gleitende Mittelmodell der q-ten Ordnung , Mit MA (q) bezeichnet, ist (xt mu wt theta1w theta2w dots thetaqw) Hinweis. Viele Lehrbücher und Softwareprogramme definieren das Modell mit negativen Vorzeichen vor den Begriffen. Dies ändert nicht die allgemeinen theoretischen Eigenschaften des Modells, obwohl es die algebraischen Zeichen der geschätzten Koeffizientenwerte und (nicht quadrierten) Ausdrücke in Formeln für ACFs und Abweichungen umwandelt. Sie müssen Ihre Software überprüfen, um zu überprüfen, ob negative oder positive Vorzeichen verwendet worden sind, um das geschätzte Modell korrekt zu schreiben. R verwendet positive Vorzeichen in seinem zugrunde liegenden Modell, wie wir hier tun. Theoretische Eigenschaften einer Zeitreihe mit einem MA (1) Modell Beachten Sie, dass der einzige Wert ungleich Null im theoretischen ACF für Verzögerung 1 ist. Alle anderen Autokorrelationen sind 0. Somit ist ein Proben-ACF mit einer signifikanten Autokorrelation nur bei Verzögerung 1 ein Indikator für ein mögliches MA (1) - Modell. Für interessierte Studierende, Beweise dieser Eigenschaften sind ein Anhang zu diesem Handout. Beispiel 1 Angenommen, dass ein MA (1) - Modell x t 10 w t .7 w t-1 ist. Wobei (wt overset N (0,1)). Somit ist der Koeffizient 1 0,7. Die theoretische ACF wird durch eine Plot dieser ACF folgt folgt. Die graphische Darstellung ist die theoretische ACF für eine MA (1) mit 1 0,7. In der Praxis liefert eine Probe gewöhnlich ein solches klares Muster. Unter Verwendung von R simulierten wir n 100 Abtastwerte unter Verwendung des Modells x t 10 w t .7 w t-1, wobei w t iid N (0,1) war. Für diese Simulation folgt ein Zeitreihen-Diagramm der Probendaten. Wir können nicht viel von dieser Handlung erzählen. Die Proben-ACF für die simulierten Daten folgt. Wir sehen eine Spitze bei Verzögerung 1, gefolgt von im Allgemeinen nicht signifikanten Werten für Verzögerungen nach 1. Es ist zu beachten, dass das Beispiel-ACF nicht mit dem theoretischen Muster des zugrunde liegenden MA (1) übereinstimmt, was bedeutet, dass alle Autokorrelationen für Verzögerungen nach 1 0 sein werden Eine andere Probe hätte eine geringfügig unterschiedliche Probe ACF wie unten gezeigt, hätte aber wahrscheinlich die gleichen breiten Merkmale. Theroretische Eigenschaften einer Zeitreihe mit einem MA (2) - Modell Für das MA (2) - Modell sind die theoretischen Eigenschaften die folgenden: Die einzigen Werte ungleich Null im theoretischen ACF sind für die Lags 1 und 2. Autokorrelationen für höhere Lags sind 0 , So zeigt ein Beispiel-ACF mit signifikanten Autokorrelationen bei Lags 1 und 2, aber nicht signifikante Autokorrelationen für höhere Lags ein mögliches MA (2) - Modell. Iid N (0,1). Die Koeffizienten betragen 1 0,5 und 2 0,3. Da es sich hierbei um ein MA (2) handelt, wird der theoretische ACF nur bei den Verzögerungen 1 und 2 Werte ungleich Null aufweisen. Werte der beiden Nicht-Autokorrelationen sind A-Kurve des theoretischen ACF. Wie fast immer der Fall ist, verhalten sich Musterdaten nicht ganz so perfekt wie die Theorie. Wir simulierten n 150 Beispielwerte für das Modell x t 10 w t .5 w t-1 .3 w t-2. Wobei wt iid N (0,1) ist. Die Zeitreihenfolge der Daten folgt. Wie bei dem Zeitreihenplot für die MA (1) Beispieldaten können Sie nicht viel davon erzählen. Die Proben-ACF für die simulierten Daten folgt. Das Muster ist typisch für Situationen, in denen ein MA (2) - Modell nützlich sein kann. Es gibt zwei statistisch signifikante Spikes bei Lags 1 und 2, gefolgt von nicht signifikanten Werten für andere Lags. Beachten Sie, dass aufgrund des Stichprobenfehlers das Muster ACF nicht genau dem theoretischen Muster entsprach. ACF für allgemeine MA (q) - Modelle Eine Eigenschaft von MA (q) - Modellen besteht im Allgemeinen darin, dass Autokorrelationen ungleich Null für die ersten q-Verzögerungen und Autokorrelationen 0 für alle Verzögerungen gt q existieren. Nicht-Eindeutigkeit der Verbindung zwischen Werten von 1 und (rho1) in MA (1) Modell. Im MA (1) - Modell für einen Wert von 1. Die reziproke 1 1 gibt den gleichen Wert für Als Beispiel, verwenden Sie 0.5 für 1. Und dann 1 (0,5) 2 für 1 verwenden. Youll erhalten (rho1) 0,4 in beiden Fällen. Um eine theoretische Einschränkung als Invertibilität zu befriedigen. Wir beschränken MA (1) - Modelle auf Werte mit einem Absolutwert von weniger als 1. In dem gerade angegebenen Beispiel ist 1 0,5 ein zulässiger Parameterwert, während 1 10,5 2 nicht. Invertibilität von MA-Modellen Ein MA-Modell soll invertierbar sein, wenn es algebraisch äquivalent zu einem konvergierenden unendlichen Ordnungs-AR-Modell ist. Durch Konvergenz meinen wir, dass die AR-Koeffizienten auf 0 sinken, wenn wir in der Zeit zurückgehen. Invertibilität ist eine Einschränkung, die in Zeitreihensoftware programmiert ist, die verwendet wird, um die Koeffizienten von Modellen mit MA-Begriffen abzuschätzen. Sein nicht etwas, das wir in der Datenanalyse überprüfen. Zusätzliche Informationen über die Invertibilitätsbeschränkung für MA (1) - Modelle finden Sie im Anhang. Fortgeschrittene Theorie Anmerkung. Für ein MA (q) - Modell mit einem angegebenen ACF gibt es nur ein invertierbares Modell. Die notwendige Bedingung für die Invertierbarkeit ist, daß die Koeffizienten solche Werte haben, daß die Gleichung 1- 1 y-. - q y q 0 hat Lösungen für y, die außerhalb des Einheitskreises liegen. R-Code für die Beispiele In Beispiel 1 wurde der theoretische ACF des Modells x t 10 w t aufgetragen. 7w t-1. Und dann n 150 Werte aus diesem Modell simuliert und die Abtastzeitreihen und die Abtast-ACF für die simulierten Daten aufgetragen. Die R-Befehle, die verwendet wurden, um den theoretischen ACF aufzuzeichnen, waren: acfma1ARMAacf (mac (0,7), lag. max10) 10 Verzögerungen von ACF für MA (1) mit theta1 0,7 lags0: 10 erzeugt eine Variable namens lags, die im Bereich von 0 bis 10 liegt (H0) fügt dem Diagramm eine horizontale Achse hinzu Der erste Befehl bestimmt den ACF und speichert ihn in einem Objekt Genannt acfma1 (unsere Wahl des Namens). Der Plotbefehl (der dritte Befehl) verläuft gegen die ACF-Werte für die Verzögerungen 1 bis 10. Der ylab-Parameter bezeichnet die y-Achse und der Hauptparameter einen Titel auf dem Plot. Um die Zahlenwerte der ACF zu sehen, benutzen Sie einfach den Befehl acfma1. Die Simulation und Diagramme wurden mit den folgenden Befehlen durchgeführt. (N150, list (mac (0.7))) Simuliert n 150 Werte aus MA (1) xxc10 addiert 10, um Mittelwert 10. Simulationsvorgaben bedeuten 0. Plot (x, typeb, mainSimulated MA (1) Acf (x, xlimc (1,10), mainACF für simulierte Probendaten) In Beispiel 2 wurde der theoretische ACF des Modells xt 10 wt. 5 w t-1 .3 w t-2 aufgetragen. Und dann n 150 Werte aus diesem Modell simuliert und die Abtastzeitreihen und die Abtast-ACF für die simulierten Daten aufgetragen. Die verwendeten R-Befehle waren acfma2ARMAacf (mac (0,5,0,3), lag. max10) acfma2 lags0: 10 Plot (lags, acfma2, xlimc (1,10), ylabr, typh, main ACF für MA (2) mit theta1 0,5, (X, x) (x, x) (x, x, x, y) (1) Für interessierte Studierende sind hier Beweise für die theoretischen Eigenschaften des MA (1) - Modells. Variante: (Text (xt) Text (mu wt theta1 w) 0 Text (wt) Text (theta1w) sigma2w theta21sigma2w (1theta21) sigma2w) Wenn h 1 der vorhergehende Ausdruck 1 w 2. Für irgendeinen h 2 ist der vorhergehende Ausdruck 0 Der Grund dafür ist, dass, durch Definition der Unabhängigkeit der wt. E (w k w j) 0 für beliebige k j. Da w w die Mittelwerte 0, E (w j w j) E (w j 2) w 2 haben. Für eine Zeitreihe, Wenden Sie dieses Ergebnis an, um den oben angegebenen ACF zu erhalten. Ein invertierbares MA-Modell ist eines, das als unendliches Ordnungs-AR-Modell geschrieben werden kann, das konvergiert, so daß die AR-Koeffizienten gegen 0 konvergieren, wenn wir unendlich zurück in der Zeit bewegen. Gut zeigen Invertibilität für die MA (1) - Modell. Dann setzen wir die Beziehung (2) für wt-1 in Gleichung (1) (3) ein (zt wt theta1 (z-therma1w) wt theta1z - theta2w) Zum Zeitpunkt t-2. Gleichung (2) wird dann in Gleichung (3) die Gleichung (4) für wt-2 ersetzen (zt wt theta1 z - theta21w wt theta1z - theta21 (z - theta1w) wt theta1z - theta12z theta31w) Unendlich), erhalten wir das unendliche Ordnungsmodell (zt wt theta1 z - theta21z theta31z - theta41z Punkte) Beachten Sie jedoch, dass bei 1 1 die Koeffizienten, die die Verzögerungen von z vervielfachen (unendlich) in der Größe zunehmen, Zeit. Um dies zu verhindern, benötigen wir 1 lt1. Dies ist die Bedingung für ein invertierbares MA (1) - Modell. Unendlich Ordnung MA Modell In Woche 3, gut sehen, dass ein AR (1) Modell in ein unendliches order MA Modell umgewandelt werden kann: (xt - mu wt phi1w phi21w Punkte phik1 w Punkte sum phij1w) Diese Summation der Vergangenheit weißer Rauschbegriffe ist bekannt Als die kausale Darstellung eines AR (1). Mit anderen Worten, x t ist eine spezielle Art von MA mit einer unendlichen Anzahl von Begriffen, die in der Zeit zurückgehen. Dies wird als unendliche Ordnung MA oder MA () bezeichnet. Eine endliche Ordnung MA ist eine unendliche Ordnung AR und jede endliche Ordnung AR ist eine unendliche Ordnung MA. Rückruf in Woche 1, stellten wir fest, dass eine Anforderung für eine stationäre AR (1) ist, dass 1 lt1. Berechnen Sie die Var (x t) mit der kausalen Darstellung. Dieser letzte Schritt verwendet eine Grundtatsache über geometrische Reihen, die (phi1lt1) erforderlich sind, ansonsten divergiert die Reihe. Navigation In dieser Vorlesung studieren wir Kovarianz stationäre lineare stochastische Prozesse, eine Klasse von Modellen routinemäßig verwendet, um ökonomische und finanzielle Zeitreihen Studie Diese Klasse hat den Vorteil, einfach genug, um durch eine elegante und umfassende Theorie relativ breit in Bezug auf die Arten von beschrieben werden Dynamik, die es darstellen kann Wir betrachten diese Modelle sowohl im Zeit - als auch im Frequenzbereich ARMA-Prozesse Wir legen großen Wert auf lineare Kovarianz-stationäre Modelle mit einer endlichen Anzahl von Parametern Insbesondere werden wir stationäre ARMA-Prozesse untersuchen, die einen Eckpfeiler bilden Die Standardtheorie der Zeitreihenanalyse Es ist bekannt, dass alle ARMA-Prozesse in Form eines linearen Zustandsraums dargestellt werden können. Jedoch besitzt ARMA eine wichtige Struktur, die es wertvoll macht, sie separat zu untersuchen. Die Spektralanalyse im Frequenzbereich wird auch als Spektralanalyse bezeichnet Essenz bietet die Spektralanalyse eine alternative Repräsentation der Autokovarianz eines Kovarianz-stationären Prozesses. Eine zweite Repräsentation dieses wichtigen Objekts leuchtet ein neues Licht auf die Dynamik des betreffenden Prozesses, ermöglicht eine einfachere, leichtere Darstellung in bestimmten wichtigen Fällen Das berühmte Fourier Transformation und ihre Inversen werden verwendet, um zwischen den beiden Darstellungen zuzuordnen. Anderes Lesen Lesen Sie hierzu eine Sequenz von Zufallsvariablen (), die durch (t in mathbb Z) indiziert werden und Werte in (mathbb R) aufnehmen Unendliche Vergangenheit und erstreckt sich auf die unendliche Zukunft 8212 eine bequeme und standardmäßige Annahme Wie in anderen Bereichen erfordert die erfolgreiche ökonomische Modellierung typischerweise die Identifizierung einer tiefen Struktur in diesem Prozess, die relativ konstant über die Zeit ist Wenn eine solche Struktur gefunden werden kann, dann jede neue Beobachtung (Xt , X, ldots) liefert zusätzliche Informationen darüber 8212, wie wir aus Daten lernen Aus diesem Grund werden wir im folgenden auf Prozesse fokussieren, die stationär 8212 sind oder nach einigen Transformationen (Differencing, Cointegration etc.) so werden (Mu: mathbb E Xt) nicht von (t) abhängt. Für alle (k) in (mathbb Z) ist das reellwertige stochastische Verfahren () Kovarianz stationär genannt. Ist die (k) - te Autokovarianz (gamma (k): mathbb E (Xt - mu) (X - mu)) endlich und hängt nur von (k) ab. Die Funktion (Gammakolon mathbb Z bis mathbb R) wird Autokovarianz genannt Funktion des Prozesses In dieser Vorlesung arbeiten wir ausschließlich mit Null-Mittelwert (dh (mu 0)) Kovarianz stationären Prozessen Die Null-Mittel-Annahme kostet nichts in der Allgemeinheit, da die Arbeit mit Prozessen ohne Null-Null-Mittel nicht mehr geht Als eine Konstante addieren Beispiel 1: Weißes Rauschen Vielleicht ist die einfachste Klasse von kovarianz stationären Prozessen die weißen Rauschenprozesse Ein Prozess () wird ein weißes Rauschen prozess genannt, wenn (mathbb E epsilont 0) (gamma (k) sigma2 mathbf 1) für einige Beispiel 2: Allgemeine lineare Prozesse Aus dem einfachen Baustein, der durch weißes Rauschen zur Verfügung gestellt wird, können wir eine sehr flexible Kovarianzfamilie konstruieren (sigma gt 0) (Hier ist mathbf 1 als 1 definiert, wenn (k 0) Stationäre Prozesse 8212 die allgemeinen linearen Prozesse (1) Xt sum psij epsilon, qquad t in mathbb Z Die Sequenz () wird oft als linearer Filter bezeichnet. Manipulationen lassen sich bestätigen, dass die Autokovarianzfunktion für (1) bei Cauchy liegt - Schwartz-Ungleichung kann man zeigen, dass der letzte Ausdruck endlich ist. Es ist klar, dass es nicht von (t) abhängt. Wold8217s Zerlegung Bemerkenswert ist, dass die Klasse der allgemeinen linearen Prozesse einen langen Weg zur Beschreibung der gesamten Klasse der Null-Mittel-Kovarianz-stationären Prozesse bringt. Insbesondere sagt der Satz von Wold8217, dass jeder Null-Mittelwert-Kovarianz - ) Kann als Xt sum geschrieben werden psij epsilon etat () ist weißes Rauschen () ist quadratisch summierbar (etat) kann als lineare Funktion von (X, X, ldots) ausgedrückt werden und ist vollkommen vorhersehbar über willkürlich lange Horizonte Für Intuition und weiter Diskussion, s. Sar87. P. 286 AR und MA Allgemeine lineare Prozesse sind eine sehr breite Klasse von Prozessen, und es zahlt sich oft aus, auf diejenigen zu spezialisieren, für die es eine Repräsentation mit nur endlich vielen Parametern gibt (In der Tat zeigt die Erfahrung, dass Modelle mit einer relativ geringen Anzahl von Parametern typischerweise Ein sehr einfaches Beispiel für ein solches Modell ist das AR (1) - Prozeß. Durch direkte Substitution ist es leicht zu verifizieren, daß (Xt sum phij epsilon) Hence () ein allgemeiner linearer Prozeß ist (2) zum vorherigen Ausdruck für (Xt). (Sigma 1) Ein weiteres sehr einfaches Verfahren ist das MA (1) - Verfahren Xt epsilont theta epsilon Sie werden in der Lage sein, diese Funktion für (phi 0.8) und (phi -0.8) (0) sigma2 (1 theta2), quad gamma (1) sigma2 theta, quad text quad gamma (k) 0 quad forall, k gt 1end Das AR (1) kann zu einem AR verallgemeinert werden (p )) Und ebenso für das MA (1) Setzt man dies alles zusammen, erhalten wir die ARMA-Prozesse Ein stochastischer Prozess () wird als autoregressiver gleitender Durchschnittsprozess bezeichnet. Oder ARMA ((p, q)), wenn es geschrieben werden kann als (5) Xt phi1 X cdots phip X epsilont theta1 epsilon cdots thetaq epsilon wobei () ist weißes Rauschen Es gibt eine alternative Schreibweise für ARMA-Prozesse in der gemeinsamen Verwendung Um den Lag-Operator (L) Def. Bei beliebiger Variable (Yt). (Lk Yt: Y) Es stellt sich heraus, dass LAG-Operatoren zu sehr prägnanten Ausdrücken für lineare stochastische Prozesse führen können. Algebraische Manipulationen, die den Lag-Operator als gewöhnlichen Skalar behandeln, sind häufig legitim. Können wir die Polynome (phi (z)) und (theta (z)) zulassen (5), da (6) L0 Xt - phi1 L1 Xt - cdots - phip Lp Xt L0 epsilont theta1 L1 epsilont cdots thetaq Lq epsilont (7) phi (z): 1 - phi1 z - cdots - phip zp Quadtext quad theta (z): 1 theta1 z cdots thetaq zq Dann ist (6) Epsilont Im Folgenden gehen wir immer davon aus, dass die Wurzeln des Polynoms (phi (z)) außerhalb des Einheitskreises in der komplexen Ebene liegen. Diese Bedingung genügt, um sicherzustellen, dass der ARMA ((p, q)) - Prozess eine Konvarianz ist Das bedeutet, dass bei Vorliegen eines ARMA ((p, q)) - Prozesses (), der die Einheitskreisbedingung erfüllt, eine quadratische summierbare Folge () mit (Xt sum psij) existiert Epsilon) für alle (t) Die Sequenz () kann durch eine rekursive Prozedur erhalten werden, die auf Seite 79 von CC08 umrissen wird. In diesem Zusammenhang wird die Funktion (t mapsto psit) oft als Impulsantwortfunktion bezeichnet. Autokovarianzfunktionen bieten eine Vielzahl von Informationen Über Kovarianz-stationäre Prozesse Tatsächlich charakterisiert die Autokovarianz-Funktion für Null-Mittel-Gaußsche Prozesse die gesamte gemeinsame Verteilung. Auch für nicht-Gaußsche Prozesse liefert sie eine signifikante Menge an Informationen. Es zeigt sich, dass es eine alternative Repräsentation der Autokovarianz-Funktion von Ein Kovarianz-stationärer Vorgang, die so genannte Spektraldichte. Manchmal ist die Spektraldichte leichter ableitbar, einfacher zu manipulieren und bietet zusätzliche Intuition. Komplexe Zahlen Bevor wir die Spektraldichte diskutieren, laden wir Sie ein, die Haupteigenschaften komplexer Zahlen zu erinnern (oder überspringen zu (X, y) in mathbb R2), die mit einem spezifischen Begriff der Multiplikation ausgestattet sind, wenn ((x, y)) als betrachtet wird Eine komplexe Zahl, (x) heißt Realteil und (y) heißt Imaginärteil. Der Modul oder Absolutwert einer komplexen Zahl (z (x, y)) ist nur seine euklidische Norm in (mathbb R2). Sondern wird gewöhnlich als (z) anstelle von (z) geschrieben. Das Produkt zweier komplexer Zahlen ((x, y)) und ((u, v)) wird als (xu - vy, xv yu) definiert. Während Addition mit standardmäßigen punktartigen Vektoradditionen Wenn mit diesen Vorstellungen von Multiplikation und Addition begabt wird, bildet die Menge der komplexen Zahlen ein Feld 8212 Addition und Multiplikation gut zusammen, genau wie sie in (mathbb R) Die komplexe Zahl ((x, y )) Wird oft als (xiy) geschrieben. Wobei (i) die imaginäre Einheit genannt wird. (Xiy) (uiv) xu - yv i (xv yu) (xiy) (xiy) (xiy) (xiy) (xiy) ) Konvertiert zurück zu unserer ersten Notation, wird dies ((xu - vy, xv yu)). ((X, y)) und ((u, v)) aus unserer vorherigen Definition. Die komplexen Zahlen werden auch manchmal in ihrer polaren Form (r e) ausgedrückt. (K) 2 lt infty) Die spektrale Dichte (f) von () ist definiert als die diskrete Zeit-Fourier-Transformation von (Gamma), die als spektrale Dichte interpretiert werden soll Seine Autokovarianz-Funktion (gamma) (Einige Autoren normalisieren den Ausdruck auf der rechten Seite durch Konstanten wie (1pi) 8212 die gewählte Konvention macht wenig Unterschied, sofern Sie konsistent sind) Mit der Tatsache, dass (Gamma) gerade ist. In dem Sinne, dass (gamma (t) gamma (-t)) für alle (t). (F (omega) gamma (k) cos (omega k)) Es ist nicht schwer zu bestätigen, daß (f) F (omega)) für alle (omega) Daraus folgt, daß die Werte von (f) auf (0, pi) Bestimmen Sie die Werte von (f) auf allen (mathbb R) 8212 Der Beweis ist eine Übung Aus diesem Grund ist es üblich, die Spektraldichte nur im Intervall (0, pi) aufzuzeichnen. Beispiel 1: Weißes Rauschen Betrachten wir ein Weißrauschverfahren () Mit Standardabweichung (sigma) Es ist einfach zu prüfen, dass wir in diesem Fall (f (omega) sigma2) haben. Insbesondere ist (f) eine konstante Funktion. Wie wir sehen werden, kann dies so interpretiert werden, dass 8220all Frequenzen gleichermaßen vorhanden sind8221 (Weißes Licht hat diese Eigenschaft, wenn sich die Frequenz auf das sichtbare Spektrum bezieht, eine Verbindung, die die Ursprünge des Begriffs liefert Beispiel 2: AR und MA und ARMA Es ist eine Aufgabe, zu zeigen, daß das MA (1) - Verfahren (Xt theta epsilon epsilont) eine spektrale Dichte (10) f (omega) sigma2 (1 2 theta cos (omega) theta2 aufweist ) Mit etwas mehr Anstrengung ist es möglich, die spektrale Dichte des AR (1) - Verfahrens (Xt phi X epsilont) zu zeigen (s. S. 261 von Sar87). Allgemeiner lässt sich zeigen, dass die spektrale Dichte der ARMA process (5) is (sigma) is the standard deviation of the white noise process ( ) the polynomials (phi(cdot)) and (theta(cdot)) are as defined in (7) The derivation of (12) uses the fact that convolutions become products under Fourier transformations The proof is elegant and can be found in many places 8212 see, for example, Sar87. chapter 11, section 4 It8217s a nice exercise to verify that (10) and (11) are indeed special cases of (12) Interpreting the Spectral Density Plotting (11) reveals the shape of the spectral density for the AR(1) model when (phi) takes the values 0.8 and -0.8 respectively These spectral densities correspond to the autocovariance functions for the AR(1) process shown above Informally, we think of the spectral density as being large at those (omega in 0, pi) such that the autocovariance function exhibits significant cycles at this 8220frequency8221 To see the idea, let8217s consider why, in the lower panel of the preceding figure, the spectral density for the case (phi -0.8) is large at (omega pi) Recall that the spectral density can be expressed as (13) f(omega) gamma(0) 2 sum gamma(k) cos(omega k) gamma(0) 2 sum (-0.8)k cos(omega k) When we evaluate this at (omega pi). we get a large number because (cos(pi k)) is large and positive when ((-0.8)k) is positive, and large in absolute value and negative when ((-0.8)k) is negative Hence the product is always large and positive, and hence the sum of the products on the right-hand side of (13) is large These ideas are illustrated in the next figure, which has (k) on the horizontal axis (click to enlarge) On the other hand, if we evaluate (f(omega)) at (omega pi 3). then the cycles are not matched, the sequence (gamma(k) cos(omega k)) contains both positive and negative terms, and hence the sum of these terms is much smaller In summary, the spectral density is large at frequencies (omega) where the autocovariance function exhibits cycles Inverting the Transformation We have just seen that the spectral density is useful in the sense that it provides a frequency-based perspective on the autocovariance structure of a covariance stationary process Another reason that the spectral density is useful is that it can be 8220inverted8221 to recover the autocovariance function via the inverse Fourier transform In particular, for all (k in mathbb Z). we have This is convenient in situations where the spectral density is easier to calculate and manipulate than the autocovariance function (For example, the expression (12) for the ARMA spectral density is much easier to work with than the expression for the ARMA autocovariance) Mathematical Theory This section is loosely based on Sar87. P. 249-253, and included for those who would like a bit more insight into spectral densities and have at least some background in Hilbert space theory Others should feel free to skip to the next section 8212 none of this material is necessary to progress to computation Recall that every separable Hilbert space (H) has a countable orthonormal basis ( ) The nice thing about such a basis is that every (f in H) satisfies (15) f sumk alphak hk quad text quad alphak : langle f, hk rangle where (langle cdot, cdot rangle) denotes the inner product in (H) Thus, (f) can be represented to any degree of precision by linearly combining basis vectors The scalar sequence (alpha ) is called the Fourier coefficients of (f). and satisfies (sumk alphak2 lt infty) In other words, (alpha) is in (ell2). the set of square summable sequences Consider an operator (T) that maps (alpha in ell2) into its expansion (sumk alphak hk in H) The Fourier coefficients of (Talpha) are just (alpha ). as you can verify by confirming that (langle T alpha, hk rangle alphak) Using elementary results from Hilbert space theory, it can be shown that (T) is one-to-one 8212 if (alpha) and (beta) are distinct in (ell2). then so are their expansions in (H) (T) is onto 8212 if (f in H) then its preimage in (ell2) is the sequence (alpha) given by (alphak langle f, hk rangle) (T) is a linear isometry 8212 in particular (langle alpha, beta rangle langle Talpha, Tbeta rangle) Summarizing these results, we say that any separable Hilbert space is isometrically isomorphic to (ell2) In essence, this says that each separable Hilbert space we consider is just a different way of looking at the fundamental space (ell2) With this in mind, let8217s specialize to a setting where (gamma in ell2) is the autocovariance function of a covariance stationary process, and (f) is the spectral density (H L2). where (L2) is the set of square summable functions on the interval (-pi, pi). with inner product (langle g, h rangle int g(omega) h(omega) d omega) ( ) the orthonormal basis for (L2) given by the set of trigonometric functions hk(omega) frac , quad k in mathbb Z, quad omega in - pi, pi Using the definition of (T) from above and the fact that (f) is even, we now have In other words, apart from a scalar multiple, the spectral density is just an transformation of (gamma in ell2) under a certain linear isometry 8212 a different way to view (gamma) In particular, it is an expansion of the autocovariance function with respect to the trigonometric basis functions in (L2) As discussed above, the Fourier coefficients of (T gamma) are given by the sequence (gamma). and, in particular, (gamma(k) langle T gamma, hk rangle) Transforming this inner product into its integral expression and using (16) gives (14). justifying our earlier expression for the inverse transform Most code for working with covariance stationary models deals with ARMA models Julia code for studying ARMA models can be found in the DSP. jl package Since this code doesn8217t quite cover our needs 8212 particularly vis-a-vis spectral analysis 8212 we8217ve put together the module arma. jl. which is part of QuantEcon. jl package. The module provides functions for mapping ARMA( (p, q) ) models into their impulse response function simulated time series autocovariance function spectral density In additional to individual plots of these entities, we provide functionality to generate 2x2 plots containing all this information In other words, we want to replicate the plots on pages 68821169 of LS12 Here8217s an example corresponding to the model (Xt 0.5 X epsilont - 0.8 epsilon ) For interest8217s sake, arma. jl is printed below creates an instance lp that represents the ARMA( (p, q) ) model Xt phi1 X . phip X epsilont theta1 epsilon . thetaq epsilon If phi and theta are arrays or sequences, then the interpretation will be phi holds the vector of parameters ((phi1, phi2. phip)) theta holds the vector of parameters ((theta1, theta2. thetaq)) The parameter sigma is always a scalar, the standard deviation of the white noise We also permit phi and theta to be scalars, in which case the model will be interpreted as Xt phi X epsilont theta epsilon The two numerical packages most useful for working with ARMA models are DSP. jl and the fft routine in Julia Computing the Autocovariance Function As discussed above, for ARMA processes the spectral density has a simple representation that is relatively easy to calculate Given this fact, the easiest way to obtain the autocovariance function is to recover it from the spectral density via the inverse Fourier transform Here we use Julia8217s Fourier transform routine fft. which wraps a standard C-based package called FFTW A look at the fft documentation shows that the inverse transform ifft takes a given sequence (A0, A1, ldots, A ) and returns the sequence (a0, a1, ldots, a ) defined by Thus, if we set (At f(omegat)). where (f) is the spectral density and (omegat : 2 pi t n). then For (n) sufficiently large, we then have (You can check the last equality) In view of (14) we have now shown that, for (n) sufficiently large, (ak approx gamma(k)) 8212 which is exactly what we want to compute