Independence bedeutet, dass das Venn-Diagramm auf einfachere Weise gezeichnet werden kann.

Nachdem ich eine einfache Analyse vorgestellt habe, die trivial, aber aufschlussreich ist, biete ich eine Möglichkeit, die Unabhängigkeit zu visualisieren und zu verallgemeinern und dann einige ihrer Verwendungen und Implikationen zu diskutieren.

Analyse

Zwei Ereignisse $ A $ span> und $ B $ span> im selben Wahrscheinlichkeitsraum $ \ Omega $ span> bestimmt insgesamt vier Ereignisse anhand ihrer Komplemente $ {A} ^ \ prime = \ Omega \ setminus A $ span> und $ {B} ^ \ prime = \ Omega \ setminus B $ span>; nämlich die vier möglichen nichttrivialen Schnittpunkte $ A \ cap B $ span>, $ A \ cap B ^ \ prime $ span >, $ A ^ \ prime \ cap B $ span> und $ A ^ \ prime \ cap B ^ \ prime $ . Diese vier Ereignisse schließen sich gegenseitig aus - alle zwei haben einen Nullschnittpunkt - und ihre Vereinigung besteht ausschließlich aus $ \ Omega $ span>. P. >

Im Allgemeinen können die mit diesen vier Schnittpunkten verbundenen Wahrscheinlichkeiten beliebige Werte sein, die mit den Axiomen übereinstimmen: Sie müssen nicht negativ sein und sich zu Eins summieren. (Dies impliziert, dass drei Parameter benötigt werden, um alle diese Wahrscheinlichkeiten zu beschreiben. Die vierte Wahrscheinlichkeit wird durch die Summen-Eins-Einschränkung bestimmt.) Aber wenn $ A $ span> und $ B $ span> sind unabhängig, dies vereinfacht.

Denken Sie daran, dass $ A $ span> und $ B $ span> unabhängig sind, wenn $ \ Pr (A \ cap B) = \ Pr (A) \ Pr (B) $ span>. Beachten Sie, dass dies impliziert, dass $ A $ span> und $ B ^ \ prime $ span> unabhängig sind, weil

$$ \ eqalign {\ Pr (A) & = \ Pr (A \ cap \ Omega) = \ Pr (A \ cap (B \ cup B ^ \ prime) ) = \ Pr ((A \ cap B) \ cup (A \ cap B ^ \ prime)) \\ & = \ Pr (A \ cap B) + \ Pr (A \ cap B ^ \ prime)} $$ span>

impliziert

$$ \ eqalign {\ Pr (A \ cap B ^ \ prime) & = \ Pr (A) - \ Pr (A \ cap B) = \ Pr (A. ) - \ Pr (A) \ Pr (B) = \ Pr (A) \ links (1 - \ Pr (B) \ rechts) \\ & = \ Pr (A) \ Pr (B ^ \ prime).} $$ span>

Das Austauschen der Rollen von $ A $ span> und $ B $ span> in diesem Argument zeigt $ A ^ \ prime $ span> und $ B $ span> sind unabhängig und ersetzen schließlich $ B $ span> mit $ B ^ \ prime $ span> (woher $ B ^ {\ prime \ prime} = B $ span>) zeigt $ A ^ \ prime $ span> und $ B ^ \ prime $ span> sind unabhängig.

Visualisierung

Diese Analyse kann dargestellt werden, indem $ \ Omega $ span> (abstrakt) als Punktintervall auf einer Achse dargestellt wird. $ A $ span> ist eine Teilmenge dieses Intervalls und $ A ^ \ prime $ span> ist der Rest der Teilmenge . Ich werde die Länge dieser Teilintervalle proportional zu ihren Wahrscheinlichkeiten machen.

Lassen Sie uns eine weitere vertikale Achse errichten, die wiederum $ \ Omega $ span> darstellt, auf die wir $ B $ zeichnen können. span>. Es steht uns frei, die Elemente von $ \ Omega $ span> auf dieser Achse neu zu ordnen, sodass $ B $ span> erscheint auch als Subintervall und $ B ^ \ prime $ span> ist der Rest, der wiederum mit Längen gezeichnet wird, die proportional zu ihren Wahrscheinlichkeiten sind.

Diese Intervalle bestimmen wie gezeigt Rechtecke in der Abbildung.Independenz von $ A $ span> und $ B $ span> bedeutet, dass die relativen Bereiche der Rechtecke ihre Wahrscheinlichkeiten sind.

Diskussion

Jetzt werden nur zwei statt drei Parameter benötigt, um alle möglichen Wahrscheinlichkeitsverteilungen zu beschreiben: $ \ Pr (A) $ span> und $ \ Pr (B) $ span> bestimmt alle Rechteckbereiche vollständig.

TDiese Idee verallgemeinert. Sei $ A_1, A_2, \ ldots, A_m $ span> Ereignisse, die $ \ Omega partitionieren $ span>: Das heißt, der Schnittpunkt eines bestimmten Paares von ihnen ist leer und ihre Vereinigung ist $ \ Omega $ span>. Sei $ B_1, B_2, \ ldots, B_n $ span> eine andere Partition. Diese beiden Partitionen sind unabhängig , wenn $ \ Pr (A_i \ cap B_j) = \ Pr (A_i) \ Pr (B_j) $ span> für alle $ i, j $ span>. Wir können eine ähnliche Figur zeichnen, in der der $ A_i $ span> eine Folge nicht überlappender Liniensegmente auf der x-Achse und der $ B_j $ span> sind eine Folge nicht überlappender Liniensegmente auf der y-Achse, deren Länge jeweils proportional zur Wahrscheinlichkeit ist. Diese verallgemeinerte Idee der Unabhängigkeit bedeutet einfach, dass die Wahrscheinlichkeiten aller $ m \ times n $ span> -Rechtecke, die durch diese Sequenzen gebildet werden, durch den bestimmt werden $ m $ span> Wahrscheinlichkeiten für die $ A_i $ span> und die $ n $ span> Wahrscheinlichkeiten für die $ B_j $ span>. Dies ersetzt $ mn $ span> -Zahlen (vorbehaltlich einer einzigen Einschränkung der Summe zu Einheit) durch $ m + n $ span> numbers (vorbehaltlich zweier separater Einschränkungen für die Summe zu Einheit). Die Reduzierung der Parameteranzahl von $ mn-1 $ span> auf $ m + n-2 $ span> quantifiziert, wie viel Vereinfachung ist aufgetreten. Es ist erheblich.

T Diese Art von Diagramm kann Ihrer Intuition auf verschiedene Weise helfen. Wenn Sie an Unabhängigkeit denken, denken Sie an zwei eindimensionale Achsen, die einen zweidimensionalen Bereich ausfüllen, und an Bereiche von Rechtecken, die durch die Länge ihrer Seiten bestimmt werden. Wenn Sie theoretisch weit genug in Ihrem Studium der Wahrscheinlichkeit vorankommen, werden Sie schließlich auf Verallgemeinerungen stoßen, bei denen sich das Konzept der Unabhängigkeit auf "Sub-Sigma-Algebren" erstreckt. (Eine Sub-Sigma-Algebra ist eine Sammlung von Ereignissen mit einigen zusätzlichen Eigenschaften, die hier keine Rolle spielen. Auf diese Weise können die endlichen Partitionen, wie zuvor beschrieben, in unendliche Partitionen verallgemeinert werden.) Wenn Sie sich eine "Sub-Sigma-Algebra" als vorstellen Sammlung von Intervallen auf einer Linie (obwohl sie sich diesmal möglicherweise überlappen), müssen Sie Ihre Intuition nicht ein bisschen vergrößern oder modifizieren: Diese äußerst allgemeine und abstrakte Definition von Unabhängigkeit besagt lediglich, dass jedes Rechteck durch eine Menge auf dem x gebildet wird -Achse und eine Menge auf der y-Achse haben eine Wahrscheinlichkeit proportional zu ihrer Fläche.

Yet eine andere Verallgemeinerung erstreckt sich auf die Unabhängigkeit von drei oder mehr Mengen (oder Sub-Sigma-Algebren). Visualisieren Sie diese, indem Sie dem Bild weitere Achsen hinzufügen: eine dritte Achse in einer dritten Dimension für den dritten Satz (jetzt sind die relevanten Wahrscheinlichkeiten Volumen von Quadern) und so weiter. In der Tat können wir durch Unabhängigkeit einen potenziell komplizierten Wahrscheinlichkeitsraum in einfachere "eindimensionale" Komponenten zerlegen, fast genauso wie wir Vektoren (in Vektorräumen) hinsichtlich ihrer Komponenten analysieren.

Es gibt verschiedene Möglichkeiten, um zu zeigen, dass zwei Ereignisse unabhängig voneinander sind, aber ich werde eines davon durcharbeiten, um Ihre beiden Szenarien zu behandeln.

Scenario 1 - Die Figure Wie Sie hervorheben, sind die Ereignisse $ A $ und $ B $ in der von Ihnen beschriebenen Situation unabhängig. Dies liegt daran, dass:

$$ P (A \ Kappe B) = P (A) P (B) \\ P (x_2) = [P (x_1) + P (x_2)] \ mal [P (x_2) + P (x_3)] \\ 0,25 = [0,25 + 0,25] \ mal [0,25 + 0,25] \\ 0,25 = 0,25 $$

Aber warum bedeutet die Tatsache, dass $ P (A \ cap B) = P (A) P (B) $, dass die Ereignisse $ A $ und $ B $ unabhängig sind? Wir können dies anhand der Bayes-Regel zeigen:

$$ P (A | B) = \ frac {P (A \ cap B)} {P (B)} = \ frac {P (A) P (B)} {P (B)} = P. (A) $$

Oder auf Englisch ist die Wahrscheinlichkeit, dass das Ereignis $ A $ auftritt, wenn das Ereignis $ B $ eintritt, gleich der Wahrscheinlichkeit, dass das Ereignis $ A $ ohne Kenntnis von $ B $ auftritt. Dies bedeutet, dass das Ereignis $ B $ uns keine Informationen über $ A $ liefert (das Gegenteil kann genauso angezeigt werden), und dies bedeutet, dass die beiden Ereignisse unabhängig voneinander auftreten.

Scenario 2 - Ergebnis $ x_5 $ Sie haben uns nicht genügend Informationen gegeben, um dies vollständig durchzuarbeiten, aber wenn wir davon ausgehen, dass das Hinzufügen von $ x_5 $, wie Sie es beschrieben haben, $ P (A) $ oder $ P (B) $ nicht beeinflusst, dann $ A $ und $ B. $ sind nach der oben gezeigten Berechnung immer noch unabhängig.

Wenn wir jetzt annehmen, dass $ P (x_i) = 0,2 $ ist, können wir zeigen:

$$ P (A | B) = \ frac {P (A \ cap B)} {P (B)} \\ P (A | B) = \ frac {P (x_2)} {P (x_2) + P (x_3)} \\ P (A | B) = \ frac {0,2} {0,4} \\ P (A | B) = 0,5 \ ne P (A) = 0,4 $$

Die intuitive Erklärung dieser Zahlen lautet, dass in diesem neuen Szenario die Wahrscheinlichkeit, dass $ A $ aufgetreten ist, beeinflusst wird, ob $ B $ aufgetreten ist oder nicht:

• Ohne Informationen über das Ergebnis wissen wir, dass $ A $ eine Wahrscheinlichkeit von $ 40 \% $ hat;
• Wenn uns jedoch mitgeteilt wird, dass $ B $ aufgetreten ist, wissen wir, dass $ A $ eine Wahrscheinlichkeit von $ 50 \% $ hat; und
• Wenn uns mitgeteilt wird, dass bei $ B $ NOT aufgetreten ist, wissen wir, dass bei $ A $ eine Wahrscheinlichkeit von $ 33 \% $ besteht.

Ereignis $ A $ tritt eher oder weniger wahrscheinlich auf, je nachdem, ob Ereignis $ B $ aufgetreten ist oder nicht. Dies bedeutet, dass die Ereignisse nicht unabhängig und äquivalent davon abhängig sind.

Die Intuition der Unabhängigkeit ist klarer, wenn Sie über die bedingte Wahrscheinlichkeit nachdenken. Definieren wir die bedingte Wahrscheinlichkeit $ P (B \ mid A): = P (A \ cap B) / P (A) $; intuitiv ist dies die Wahrscheinlichkeit, dass $ B $ wahr ist vorausgesetzt , dass Sie wissen, dass $ A $ wahr ist. In Bezug auf das Venn-Diagramm ist dies der Anteil von $ A $, den der Schnittpunkt $ A \ cap B $ einnimmt.

Dann würde Unabhängigkeit bedeuten, dass $$ P (B \ mid A) = \ frac {P (A \ cap B)} {P (A)} = \ frac {P (A) P (B)} {P. (A)} = P (B), $$ was auf Englisch bedeutet, dass sich die Wahrscheinlichkeit von $ B $ nicht "geändert" hat, selbst nachdem das zusätzliche Wissen gewonnen wurde, dass $ A $ wahr ist. Dies ist das Gefühl von "Unabhängigkeit".

In Bezug auf die tatsächlichen Zahlen in Ihrem Beispiel haben wir $ P (B) = 1/2 $, aber auch $ P (B \ mid A) = \ frac {1/4} {1/2} = \ frac {1} {2} $, so dass das Wissen, dass $ A $ wahr ist, die Wahrscheinlichkeit von $ B $ nicht "beeinflusste", daher "Unabhängigkeit".

Bearbeiten: Der Grund, warum, wenn Sie $ x_5 $ hinzufügen und erneut die Gleichmäßigkeit über die Atome annehmen ($ P (x_i) = 0,2 $ für alle $ i $), die Unabhängigkeit bricht, ist $ P (B) = 2 / 5 $, aber wenn Sie jetzt wissen, dass $ A $ wahr ist, ist die Wahrscheinlichkeit, dass $ B $ wahr ist, $ P (B \ mid A) = P (A \ cap B) / P (A) = \ frac {1/5} {2/5} = 1/2 $, da der Anteil von $ A $, der vom Ereignis $ B $ belegt wird, größer ist als der Anteil des gesamten Probenraums, der vom Ereignis $ B belegt wird $.

Nehmen wir an, Sie haben $ n $ Elemente in Ihrem endlichen Probenraum, $ x_1, x_2, \ cdots x_n $, jeweils mit gleicher Wahrscheinlichkeit $ P (x_i) = 1 / n $.

4) Probenräume haben.

Lassen Sie uns Ihr Beispiel mit zwei Münzen im Kommentar durchgehen. Die in der Tabelle aufgeführten Daten sehen wie folgt aus.

$$ \ begin {array} {ccccc} X_1 & X_2 & & & \ text {Prob} \\ t & t & & B & 1/4 \\ t & h & & & 1/4 \\ h & t & & & 1/4 \\ h & h & A & B & 1/4 \ end {array} $$

Sie können beobachten, dass $ P (A) = 0,5 $ und $ P (B) = 0,5 $. Die Ereignisse sind unabhängig, da $ P (A \ cap B) = P (A) \, P (B) = 0,25 $. Sie sagen, dass das Ergebnis "nicht intuitiv" ist, weil

... zu wissen, dass $ B $ aufgetreten ist, schließt die Möglichkeit einer HT aus Ergebnis, das eines der Ergebnisse im Ereignis $ A $ ist. Also intuitiv Das Auftreten von $ B $ wirkt sich auf $ A $ aus ...

Aber schauen Sie noch einmal auf den Tisch. Wenn $ B $ aufgetreten ist (Zeilen 1 & 4), dann tritt nur in der Hälfte der Fälle $ A $ auf (Zeile 4), also ist $ P (A) = P (A | B) = 0,5 $. Gleiches gilt, wenn $ A $ aufgetreten ist (Zeilen 3 & 4), dann ist $ P (B) = P (B | A) = 0,5 $. Sie sind unabhängig. Wenn Sie also wissen, dass eines der Ereignisse aufgetreten ist, wissen Sie nichts über das andere. Dies ist absolut sinnvoll.

In Bezug auf Ihren Kommentar

... Zum Beispiel stimme ich Ihrem Satz nicht zu, "zu wissen, dass einer der Ereignisse, die aufgetreten sind, sagen nichts über die anderen aus. "Weil Sie $ B $ kennen sagt mir etwas über $ A $, nämlich, dass das HT-Ergebnis in $ A $ nicht auftreten kann.

Ich denke, in this hat Ihre Verwirrung ihre Wurzeln. Das Ereignis $ A $ ist definiert als $ X_1 = h $, sodass das Ereignis $ A $ beobachtet wird oder nicht, egal was $ X_2 $ ist. Damit $ A $ passieren kann, spielt es keine Rolle, dass $ ht $ nicht auftreten kann. Offensichtlich hängt das Ereignis $ X_1 = h \ land X_2 = t $ de von $ B $ ab, da $ P (X_1 = h \ land X_2 = t) = 0,25 $, während $ P (X_1 = h \ land X_2 = t \ mid B) = 0 $, das Ereignis $ A $ selbst jedoch nicht.

Stellen Sie sich vor, dass die beiden Münzwürfe hinter einem Vorhang stattfinden und Sie die Ergebnisse der Würfe nicht sehen, aber nur über das Auftreten von $ A $ oder $ B $ informiert sind.Informationen über das Eintreten eines der Ereignisse helfen Ihnen nicht zu erraten, ob das zweite eingetreten ist.

Ändern Sie jetzt einfach die Wahrscheinlichkeiten, sagen Sie $$ P_1 = 1/2 \\ P_2 = 1/4 \\ P_3 = 1/8 $$ $$ P_A = 3/4 \\ P_B = 3/8 $$ Daher ist $$ P (A \ mal B) = 1/4 \\ P (A) \ mal P (B) = 9/32 $$ und $$ P (A \ mal B) \ ne P (A) \ mal P (B) $$

Sie haben also (wenn auch aus Versehen) einen Fall konstruiert, in dem es nur so ist, dass $ P (A \ mal B) = P (A) \ mal P (B) $ für einen speziellen Satz von Wahrscheinlichkeiten $ P_i $.Im Allgemeinen gilt dies für einen anderen Satz von Wahrscheinlichkeiten $ P_i $ nicht.

Ich glaube, die Idee der Unabhängigkeit besteht darin, dass anhand Ihres Venn-Diagramms der Anteil von A in B gleich dem Anteil von A in Ω ist. Das heißt, AB nimmt die Hälfte des Raums von B ein, genau so viel wie A aus Ω herausnimmt.

Wenn wir nun das Venn-Diagramm in Bezug auf Wahrscheinlichkeiten interpretieren, bedeutet dies, dass A bei Auftreten von B die Hälfte des Auftretens (= 0,25 / 0,5) hat, was genau der Wahrscheinlichkeit entspricht, dass A sowieso auftritt (= 0,5 / 1) ), daher ändert die Kenntnis / das Auftreten von B nicht die Wahrscheinlichkeit von A.

Wenn Sie ein fünftes Ereignis hinzufügen, das jetzt jedem Ergebnis eine Wahrscheinlichkeit von 0,2 zuweist, sind diese Anteile nicht mehr gleich.

Wir können anhand Ihres veranschaulichenden Beispiels und dieser geometrischen Intuition verallgemeinern, Unabhängigkeit als gleiche Proportionen zu definieren: P (A | B) = P (A), dh die Wahrscheinlichkeit, dass A (im Allgemeinen) auftritt, entspricht der Wahrscheinlichkeit von Es passiert (speziell), wenn B passiert ist, genau wie in Ihrem Venn-Diagramm. Jetzt ist P (A | B) = P (AB) / P (B), was der Anteil ist, den A in B einnimmt. Wenn wir P (A | B) durch P (A) ersetzen, erhalten wir die formale Definition der Unabhängigkeit für zwei Ereignisse: P (AB) = P (A) P (B)