Lineare Regression
Es kommt häufig vor, daß man zu gegebenen Wertepaaren (x|y) — z.B. Meßwerten — eine Funktion
Für die Wertepaare (-1|0), (0,4|-0,84) und (2|3) ist dies beispielsweise die um 1 nach unten
verschobene Normalparabel
Nun ist aber Genauigkeit nicht immer die wesentlichste Forderung an die gesuchte Funktion. Oftmals sucht man eine einfache Funktion, deren Graph im Durchschnitt sehr nahe an allen Punkten liegt.
Bei Messungen treten häufig Meßfehler auf. Eine große Zahl leicht gestreuter Meßwerte kann das Auffinden einer möglicherweise sehr einfachen zugrundeliegenden Funktion sehr erschweren, denn hier kann man ja davon ausgehen, daß die gemessenen Werte nicht genau auf der Kurve der eigentlich bzw. möglicherweise zugrundeliegenden, einfachen Funktion liegen werden.
Die Gaußsche Methode der kleinsten Fehlerquadrate ermöglicht das Ermitteln von Funktionen F,
die gegebene Wertepaare optimal, d.h. mit kleinstmöglicher Abweichung annähern. Sie sind vom Typ
Die Variablen a, b, c ... stehen dabei für konstante Koeffizienten, und die Funktionen f(x), g(x),
Polynome sind einfache Beispiele für Funktion, die Linearkombinationen aus Funktionstermen
sind, beispielsweise:
Nun können die Teilfunktionen auch wesentlich komplizierte Terme sein; einzige Bedingung ist, daß die zu findende Funktion F eine sogenannte Linearkombination aus diesen Funktionen ist, also eine Summe aus konstanten Vielfachen der Teilfunktionen.
Diese konstanten Faktoren können mit der erwähnten Methode der kleinsten Fehlerquadrate ermittelt werden, auf deren Herleitung hier nicht weiter eingegangen werden soll. Zur Herleitung siehe →diese Seite. Hier soll die konkrete numerische Anwendung der Methode dargestellt werden, die der Funktionalität dieses Javascripts zugrundeliegt.
Zur Berechnung der Parameter a, b, c usw., die im folgenden k1, k2 usw.
genannt werden, muß eine Koeffizentenmatrix nach folgendem Schema erstellt werden.
Die
Die ganz spezielle Bedeutung der eckigen Klammern wird gleich noch erklärt.
| [f1(x)·f1(x)] | [f1(x)·f2(x)] | [f1(x)·f3(x)] | [f1(x)·f4(x)] | ... | [f1(x)·fn(x)] | [y·f1(x)] |
| [f2(x)·f1(x)] | [f2(x)·f2(x)] | [f2(x)·f3(x)] | [f2(x)·f4(x)] | ... | [f2(x)·fn(x)] | [y·f2(x)] |
| [f3(x)·f1(x)] | [f3(x)·f2(x)] | [f3(x)·f3(x)] | [f3(x)·f4(x)] | ... | [f3(x)·fn(x)] | [y·f3(x)] |
| [f4(x)·f1(x)] | [f4(x)·f2(x)] | [f4(x)·f3(x)] | [f4(x)·f4(x)] | ... | [f4(x)·fn(x)] | [y·f4(x)] |
| ... | ... | ... | ... | ... | ... | ... |
| [fn(x)·f1(x)] | [fn(x)·f2(x)] | [fn(x)·f3(x)] | [fn(x)·f4(x)] | ... | [fn(x)·fn(x)] | [y·fn(x)] |
Die eckigen Klammern symbolisieren die sogenannten Gauß-Summen. Man gewinnt sie, indem man alle gegebenen Werte nacheinander in den eingeklammerten Term einsetzt und die Ergebnisse addiert:
Beispiel: Gegeben seien die Wertepaare (-1|0), (0,4|-0,84) und (2|3).
Außerdem seif1(x):= x2 undf2(x):= x .Dann ist
[f1(x)·f2(x)] = (-1)2·(-1) + 0,42·0,4 + 22·2 = (-1)3 + 0,43 + 23 = 7,064
und [y·f1(x)] = 0·(-1)2 - 0,84·0,42 + 3·22 = 11,8656
Nun muß die Koeffizientenmatrix durch geeignete Zeilenumformungen in die Form
|
gebracht werden. Dann sind k1, k2, k3 ... bis kn die gesuchten Koeffizienten der Teilfunktionen, und
Diesen Fehler gibt man in der Standardabweichung an, die sich berechnet aus der Quadratwurzel aus der Summe der Quadrate der Einzelabweichungen für jedes Wertepaar vom durch die Funktion erzeugten Wert, dividiert durch die Zahl der Messungen:
Beispiel:
Gegeben seien (wie im obigen Bsp.) die Wertepaare (-1|0), (0,4|-0,84) und (2|3).
Es soll eine Funktion
Es sei also
Die erforderliche Matrix hat die Größe 3×4 und stellt sich so dar:
| [f1(x)·f1(x)] | [f1(x)·f2(x)] | [f1(x)·f3(x)] | [y·f1(x)] |
| [f2(x)·f1(x)] | [f2(x)·f2(x)] | [f2(x)·f3(x)] | [y·f2(x)] |
| [f3(x)·f1(x)] | [f3(x)·f2(x)] | [f3(x)·f3(x)] | [y·f3(x)] |
Die fi(x) werden durch die Funktionsterme ersetzt
| [x2·x2] | [x2·x] | [x2·1] | [y·x2] |
| [x·x2] | [x·x] | [x·1] | [y·x] |
| [1·x2] | [1·x] | [1·1] | [y·1] |
... was sich glücklicherweise vereinfacht zu:
| [x4] | [x3] | [x2] | [y·x2] |
| [x3] | [x2] | [x] | [y·x] |
| [x2] | [x] | [1] | [y] |
Nun werden die Gauß-Summen berechnet:
[x4] = (-1)4 + 0,44 + 24 = 17,0256
[x3] = (-1)3 + 0,43 + 23 = 7,064
[x2] = (-1)2 + 0,42 + 22 = 5,16
[x] = -1 + 0,4 + 2 = 1,4
[1] = 1 + 1 + 1 = 3 (für jedes gegebene Wertepaar einen Summanden!)
[y·x2] = 0·(-1)2 - 0,84·0,42 + 3·22 = 11,8656
[y·x] = 0·(-1) - 0,84·0,4 + 3·2 = 5,664
[y] = 0 - 0,84 + 3 = 2,16
Dies ergibt also letztlich diese Matrix:
| 17,0256 | 7,064 | 5,16 | 11,8656 |
| 7,064 | 5,16 | 1,4 | 5,664 |
| 5,16 | 1,4 | 3 | 2,16 |
Nach dem Gaußschen Eliminationsverfahren wird zunächst durch Division aller Zahlen der ersten Zeile durch 17,0256 das Diagonalelement zu 1 gemacht:
| 1 | 0,414904614228 | 0,303073019453 | 0,696926980547 |
| 7,064 | 5,16 | 1,4 | 5,664 |
| 5,16 | 1,4 | 3 | 2,16 |
Dann werden die ersten Spalten der zweiten und dritten Zeile zu 0 gemacht, indem das 7,064- bzw. 5,16-fache der ersten Zeile subtrahiert wird:
| 1 | 0,414904614228 | 0,303073019453 | 0,696926980547 |
| 0 | 2,229113805094 | -0,740907809416 | 0,740907809416 |
| 0 | -0,740907809416 | 1,436143219622 | -1,436143219622 |
Nun wird die zweite Zeile durch den Wert ihres Diagonalelements (2,2911...) dividiert:
| 1 | 0,414904614228 | 0,303073019453 | 0,696926980547 |
| 0 | 1 | -0,332377740304 | 0,332377740304 |
| 0 | -0,740907809416 | 1,436143219622 | -1,436143219622 |
Das zweite Element der ersten und dritten Zeile wird durch Subtraktion des jeweils geeigneten Vielfachen der zweiten Zeile (Faktoren 0,4149... für die erste und -0,7409... für die dritte Zeile) zu 0 gemacht:
| 1 | 0 | 0,440978077572 | 0,559021922428 |
| 0 | 1 | -0,332377740304 | 0,332377740304 |
| 0 | 0 | 1,189881956155 | -1,189881956155 |
Die dritte Zeile wird normalisiert (Division durch 1,18988...):
| 1 | 0 | 0,440978077572 | 0,559021922428 |
| 0 | 1 | -0,332377740304 | 0,332377740304 |
| 0 | 0 | 1 | -1 |
Die dritten Spalten der ersten beiden Zeilen werden durch Subtraktion geeigneter Vielfacher der dritten Zeile eliminiert:
| 1 | 0 | 0 | 1 |
| 0 | 1 | 0 | 0 |
| 0 | 0 | 1 | -1 |
In der letzten Spalte stehen die gesuchten Koeffizienten der Funktionsterme:
k1=1, k2=0 und k3=-1, womit sich die
Funktion
→ Seite zum Gaußschen Eliminationsverfahren mit Erklärungen an interaktiven Beispielen
Das Javascript dieser Seite setzt diesen Algorithmus um. Beliebige Wertepaare können durch eine Linearkombination quasi beliebiger Terme approximiert werden. Es werden die gefundenen Koeffizienten angezeigt sowie die Funktion und die Standardabweichung. In einem eigenen Fenster werden der Graph der Funktion und die gegebenen Wertepaare (rote Punkte) dargestellt. Darüber hinaus können aufgrund der gefundenen Funktion beliebige neue Werte berechnet werden. Unten auf dieser Seite können komplette Wertetabellen, auch zum direkten Exportieren in ein Tabellenverarbeitungsprogramm o.ä., erstellt werden.
Hinweise zur Eingabe
Vorgehensweise
Geben Sie im linken, großen Feld Wertepaare ein und im mittleren Feld zeilenweise die Terme, aus denen sich per Linearkombination die Regressionskurve zusammensetzen soll. Auch aus dem Listenfeld unter dem mittleren Eingabefeld können diverse Standardfunktionen und -terme gewählt werden, was etwa bei Polynomen die Schreibarbeit erspart.
Nach Festlegen von Werten und Funktionen betätigen Sie die Schaltfläche [Regression], um die Analyse zu starten. Das Javascript findet die Linearkombination aus den angegebenen Funktionstermen mit der minimalen Abweichung zwischen den gegebenen y-Werte und den berechneten Funktionswerten. Im rechten, großen Feld wird das Ergebnis angezeigt. Nach der Analyse können im Feld rechts unten beliebige Funktionswerte berechnet werden.
Detailliertere Erläuterungen im folgenden Abschnitt.
Wertepaare
Die Werte können fortlaufend in der Form
x1 y1 x2 y2 x3 y3 ... oder auch zeilenweise eingegeben werden:
x1 y1
x2 y2
x3 y3
...Während der Regressionsanalyse wird das Eingabefeld in diese zeilenweise Form standardisiert, und die Wertepaare werden zusätzlich automatisch nach steigenden x-Werten sortiert.
Als Trennzeichen zwischen den Werten sind zulässig: Leerzeichen, Semikolon, Tabulator, senkrechter Strich |, Schrägstrich / und Zeilenvorschub. Eine sinnvolle Approximierung kann in der Regel nur gefunden werden, wenn mindestens soviele Wertepaare vorliegen, wie Koeffizenten von Teilfunktionen bestimmt werden sollen.
Zum Ausprobieren gibt es die Möglichkeit, per Zufallsgenerator Wertepaare erzeugen und anzeigen zu lassen. Diese liegen zwischen -10 und 10. Da sie wahllos und im Mittel gleichmäßig in diesem Quadrat verteilt liegen, ist diese Funktion eigentlich nur von geringem Nutzen und dient lediglich der Veranschaulichung.
Terme
In das zweite Feld werden zeilenweise die Terme der gewünschten Teilfunktionen mit der Variablen x eingegeben. Einige Standardfunktionen lassen sich auch durch das Listenfeld unterhalb des Eingabefeldes auswählen und automatisch eintragen. "Polynom 5" bedeutet dabei: Polynom vom fünften Grad; also werden hier die Koeffizienten (a, b,d, d, e, f) dieser Funktion bestimmt:
F(x)=ax5+bx4+cx3+dx2+ex+f .Die in das Fenster einzugebenden Teilfunktionen sind dabei x5, x4 usw. Ein linearer Summand, d.h. ein einzelner, konstanter Koeffizient in der Funktion ohne x, wie in diesem Beispiel der letzte Koeffizient f, kann durch den eigegebenen Term "1" berechnet werden. a·x5 ist das a-fache von x5, und f ist das f-fache von 1.
Das Javascript beherrscht die Grundrechenarten + - * /, einschließlich der Potenzierung ^, sowie die Funktionen sin, cos, tan, ln oder log (beides natürlicher Logarithmus), exp, sqr, atan, asin, acos, sinh(x), cosh(x), tanh(x), asinh(x), acosh(x), atanh(x), int (Ganzzahl), abs (Absolutwert).
Die zu verwendende Syntax ist die BASIC-Syntax. Bei der Eingabe die Javascript- oder C-Syntax zu verwenden, führt in der Regel zu einem Fehler, da die Eingaben intern umgewandelt werden, z.B. von x^2 in Math.pow(x,2) oder von sqr(x) in Math.sqrt(x). Die Eingabe Math.sqrt(x) würde umgewandelt werden in Math.Math.sqrtt(x), was natürlich zu einem Fehler führt.
Mit (pi) und (e) stehen auch diese beiden Konstanten zur Verfügung. Klammerung, auch beliebig verschachtelt, wird erkannt. Dabei dürfen allerdings nur runde Klammern, verwendet werden, z.B.:
log(x^(10/(2-sin(x)))+1) .Hinweis:
Die vom Programm zu erzeugende und zu berechnende Matrix hat die Größen × (n+1) . Für jedes Feld der Matrix oberhalb der Diagonale muß eine Gauß-Summe mit allen Werten berechnet werden. (Die unteren Felder sind aufgrund der Symmetrie identisch.) Da Javascript eine interpretierte Sprache ist, müssen dabei jedesmal die Funktionen neu "übersetzt" werden. Das kann erhebliche Rechenzeit kosten!
Regressionskoeffizienten und -funktion
In diesem dritten Feld erscheinen schließlich die Ergebnisse der Regressionsanalyse, die durch den Klick auf die Schaltfläche unterhalb des Feldes gestartet wird. Zuerst werden die Linear-Koeffizienten der Einzelfunktionen aufgelistet, und zwar genau zugehörig den im mittleren Feld gegenüberstehenden Termen. Dann folgt die gefundene Funktion, die zur bequemeren Weiterverarbeitung einzeilig ausgegeben wird, so daß gegebenenfalls gescrollt werden muß, um sie ganz zu sehen. Die Koeffizienten werden auf die Zahl Dezimalstellen gerundet, die im Textfeld unterhalb des Ausgabefensters festgelegt ist. Wenn in der Funktion ein Term mit dem Koeffizienten 0 erscheint, so ist dieser in Wahrheit ungleich 0 und wird nur wegen der Rundung nicht angezeigt. Terme mit Koeffizienten gleich 0 (genauer: mit Betrag kleiner als 10-12) werden ausgelassen. Vorsicht: Bei Termen, die in oberster Priorität Summen oder Differenzen sind, wie x+1 oder sin(x)-1, müssen in manchen Fällen Klammern ergänzt werden, bevor der Ausdruck weiterverwendet werden kann, wenn dieser fehlerhaft, beispielsweise:
3,54 * sin(x)-1, ausgegeben wird. Richtig wäre natürlich3,54 * (sin(x)-1). Das Script erkennt jedoch die allermeisten dieser Fälle selbst und ergänzt die Klammern. Solche Terme dennoch zur Sicherheit am besten schon bei der Eingabe einklammern.Dann folgt die Standardabweichung, also der mittlere Fehler zwischen den gegebenen y-Werten und den berechneten f(x)-Werten, aus technischen Gründen S genannt (für Sigma Σ), da im html-Textfeld leider nicht zwischendurch auf den griechischen Zeichensatz umgeschaltet werden kann. Und schließlich die Liste der berechneten Funktionswerte zu allen gegebenen x-Werten. Zum Vergleich kann das Textfeld so weit gescrollt werden, bis die Funktionswerte auf gleicher Höhe mit den gegebenen Werten stehen.
Die Analyse schlägt fehl, wenn z.B. Funktionen verwendet werden, die für die gegebenen x-Werte nicht definiert sind, beispielsweise asin(2), log(0) oder sqr(-1). In diesem Fall erscheinen statt der Koeffizienten die Kürzel NaN für "Not a Number".
Unterhalb des Ausgabefensters steht ein Feld zur Verfügung, in das nach erfolgter und erfolgreicher Regressionsanalyse x-Werte eingegeben werden kann, um das entsprechende f(x) zu berechnen. Auch hier hängt die Rundung des Ergebnisses von der Angabe der gewünschten Dezimalstellen ab.