Frage:
MAD-Formel zur Erkennung von Ausreißern
synonym
2014-11-13 23:47:15 UTC
view on stackexchange narkive permalink

Weiß jemand, wie diese Formel heißt?

$$ M_i = \ displaystyle \ frac {0.6745 (x_i - \ hat {x})} {\ mathrm {MAD}} $$

wobei $ \ textrm {MAD} $ die mittlere absolute Abweichung und $ \ hat {x} $ der Median von $ x $ ist.

Erscheint es in einer wissenschaftlichen Veröffentlichung? Ich frage mich auch, woher die Konstante kommt (0,6745 ist ungefähr 29/43). Ich verwende es zur Ausreißererkennung.

Wie verwenden Sie dies zur Erkennung von Ausreißern?Vermutlich vergleichen Sie $ M $ mit einem bestimmten Schwellenwert - und es wäre unvernünftig anzunehmen, dass er gleich $ 1 $ ist.Was zählt, ist das Verhältnis zwischen dieser Schwelle und 0,6745 $;Der tatsächliche Wert von 0,6745 US-Dollar an sich ist für diesen Zweck nicht besonders aussagekräftig.
Wenn der absolute Wert von $ M_i $ größer als drei ist, markiere ich die Beobachtung als Ausreißer.
Es wäre praktisch dasselbe, nur $ M_i ^ \ prime = (x_i- \ hat x) / \ text {MAD} $ zu berechnen und mit $ 2 \ ca. 3 \ mal 0,6745 $ zu vergleichen.Das könnte auch etwas einfacher zu erklären und zu interpretieren sein.
B. D. Ripley bezeichnet MAD / 0,6745 als "MAD-Schätzer".Siehe Seite 2 und 3 von http://www.stats.ox.ac.uk/pub/StatMeth/Robust.pdf.Für die normale Verteilung.MAD entspricht ungefähr 0,6745 x der Standardabweichung
Zwei antworten:
Arthur B.
2014-11-14 00:24:08 UTC
view on stackexchange narkive permalink

Angenommen, $ x $ folgt einer Standardnormalverteilung.

Das $ \ mathbf {MAD} $ konvergiert gegen den Median der halben Normalverteilung, der das 75% -Perzentil einer Normalverteilung darstellt. und $ \ mathbf {N} (0.75) \ simeq 0.6745 $

Da Sie mit $ (x- \ hat {x}) $ multiplizieren, bedeutet dies, dass Ihre Formel für jede Normalverteilung verwendet wird Konvergieren Sie gegen 1, um eine ausreichend große Stichprobengröße zu erhalten.

Danke, das war hilfreich.Ich nehme an, die Formel hat keinen bestimmten Namen?
Ich folge deinem letzten Satz nicht.Wie konvergiert $ M_i $ 'gegen 1'?
der Durchschnitt von M_i
Marco Stamazza
2017-04-21 12:47:41 UTC
view on stackexchange narkive permalink

Die Formel wurde von Iglewicz und Hoaglin $ ^ 1 $ angegeben (Referenz unten).

Das mad für einen Vektor $ x $ von $ n $ Beobachtungen sei definiert als $ m (x) = \ text {median} (| x- \ text {median} (x) |) $. Wenn $ x $ normal verteilt ist, kann dies gezeigt werden $$ \ lim_ {n \ rightarrow \ infty} E (m (x)) = \ sigma \ Phi ^ {- 1} (0,75) $$ Dabei ist $ \ Phi ^ {- 1} (0,75) \ ca. 0,6745 $ das $ 0,75 ^ \ text {th} $ Quantil der Standardnormalverteilung und wird aus Gründen der Konsistenz verwendet. Das heißt, so dass $ m (x) /0.6745$ ist ein konsistenter Schätzer der Standardabweichung $ \ sigma $.

Wenn Sie keine Normalität annehmen können, können Sie das 0,75 $ ^ \ text {th} $ -Quantil jeder anderen Verteilung verwenden, die symmetrisch zu einem Wert (nicht unbedingt dem Mittelwert) ist, der standardisiert ist, um den Mittelwert 0 und die Standardabweichung 1 zu haben Typischerweise wird eine t-Verteilung verwendet, wenn ein Fettschwanz angenommen wird.

Iglewicz und Hoaglin schlagen vor, $ \ pm3.5 $ als Grenzwert zu verwenden, dies ist jedoch eine Frage der Wahl ($ \ pm3 $ wird ebenfalls häufig verwendet).

$ ^ 1 $ Boris Iglewicz und David Hoaglin (1993), "Band 16: Erkennen und Behandeln von Ausreißern", Die ASQC-Grundreferenzen zur Qualitätskontrolle: Statistische Techniken, Edward F. Mykytka, Ph.D., Herausgeber .



ⓘ
Diese Fragen und Antworten wurden automatisch aus der englischen Sprache übersetzt.Der ursprüngliche Inhalt ist auf stackexchange verfügbar. Wir danken ihm für die cc by-sa 3.0-Lizenz, unter der er vertrieben wird.
Loading...