Frage:
Berechnung der falschen Akzeptanzrate für eine Gaußsche Verteilung der Punktzahlen
rohanbk
2010-10-11 22:21:37 UTC
view on stackexchange narkive permalink

Ich habe ein biometrisches System, das eine Verteilung der Bewertungen ausgibt, die einer Gaußschen Verteilung ähnelt (ähnlich dem Beispieldiagramm im folgenden Link: LINK). Mein Punkt der Verwirrung ist, wie ich die falsche Akzeptanzrate berechne. Wie wirkt sich der Schwellenwert auf das gesamte Problem aus?

Drei antworten:
#1
+12
chl
2010-10-12 13:19:36 UTC
view on stackexchange narkive permalink

Nur um andere Antworten zu ergänzen, hier eine kurze Zusammenfassung der Terminologie.

Für jedes biometrische System oder Klassifizierungssystem ist der Hauptleistungsindikator die Empfängerbetriebscharakteristik ( ROC) -Kurve, die ein Diagramm der wahren Akzeptanzrate (TAR = 1-FRR, die falsche Ablehnungsrate) gegen die falsche Akzeptanzrate (FAR) ist, die als Anzahl falscher Instanzen berechnet wird, die unter allen Eindringlingen als positiv eingestuft wurden und Betrügerfälle . Je näher die Kurve an der oberen linken Ecke liegt, desto besser ist sie (dies entspricht der Maximierung der sogenannten Fläche unter der Kurve oder AUC). Im Allgemeinen werden solche Kurven offline aus einer Datenbank früherer Datensätze generiert. In der biometrischen Literatur wird FAR manchmal so definiert, dass der "Betrüger" keine Anstrengungen unternimmt, um eine Übereinstimmung zu erhalten. Hier zitiere ich grob Biometrics von Boulgouris et al. (Kap. 26).

Sie können Ihren Cutoff also mithilfe von Standard-ROC-Tools auswählen (Suche nach "ROC-Analyse" auf Rseek), um den besten Kompromiss zwischen FAR und TAR zu finden (dies ist nicht unbedingt erforderlich Dieser Grenzwert, der die AUC maximiert, hängt von Ihren Zielen ab.

Nun, wie in anderen Antworten hervorgehoben wurde, führte dieser Kompromiss zwischen FAR und TAR zu einer ähnlichen Interpretation in der Psychophysik, Klassifikation oder biomedizinischen Wissenschaft. Es ist nur eine Frage der Terminologie, und wir sprechen oft von der Trefferquote vs. Falschalarmrate; Sensibilität vs. Spezifität.

Hinweis

Hier sind einige Bilder, die andere Antworten ergänzen, von denen ich hoffe, dass sie Ihnen helfen werden Zeichnen Sie die Parallele zur Entscheidungstheorie und zu statistischen Tests.

Lassen Sie eine Person vor einem Experiment mit zwei Alternativen stehen. Abhängig vom Ort seines internen Kriteriums kann seine Antwort zu einem Treffer oder einem Fehlalarm (Antwort> Kriterium) oder alternativ zu einer korrekten Ablehnung oder einem Fehlschlag (Antwort-<-Kriterium) führen. Die entsprechende probabilistische Antwortkurve ähnelt Ihrer Situation.

alt text

Die meisten klassischen Lehrbücher zur Statistik enthalten eine Tabelle ähnlich der folgenden, in der wir die Wahrscheinlichkeiten beschreiben, mit denen eine Nullhypothese ($ \ alpha $) falsch abgelehnt wird, während die Null ($ \ beta $) fälschlicherweise „akzeptiert“ wird Tatsache ist, dass die Alternative wahr ist.

alt text

Dies führt zu einem ziemlich gleichen Bild wie beim psychophysischen Schwellenwertmodell: alt text

Die beigefügten Bilder waren mein erster Versuch, Asymptote (http://j.mp/c8XUGq) anstelle von Metapost zu verwenden :-) Sehr traurige Idee, aber ich kann den Code teilen, wenn Sie möchten.
Das ist beeindruckend; bitte teilen. :) :)
@ars Hier ist es (als Gist): http://gist.github.com/629642, http://gist.github.com/629644, http://gist.github.com/629645.
#2
+5
M. Tibbits
2010-10-11 22:33:17 UTC
view on stackexchange narkive permalink

Ich bin nicht sicher. Ich bin gespannt auf die anderen Antworten, die Sie erhalten. Ich denke jedoch, dass Sie ein wenig klarstellen müssen:

Stellt Ihre Gaußsche Verteilung die Werte für eine Population von Personen dar, die von Ihrem biometrischen System abgelehnt werden sollten?

Wenn ja Dann müssen Sie einfach eine kumulative Wahrscheinlichkeit berechnen - dh den Prozentsatz der Personen, die abgelehnt werden sollten, die aber zufällig über Ihre Schwelle fallen und von Ihrem biometrischen Gerät "fälschlicherweise akzeptiert" werden.

Es könnte also so einfach sein, wie die Anzahl der Personen zu berechnen, die zufällig über Ihren Schwellenwert fallen, geteilt durch die Gesamtzahl der Personen, die abgelehnt werden sollten.

Aber auch hier bin ich mir nicht sicher Antwort und ich denke, Sie müssen klären, was Ihre Annahmen sind, was Ihre Schwelle ist und wie Sie Personen als "fälschlicherweise abgelehnt" klassifizieren möchten.

Danke für deine Antwort. Ja, die Verteilung stellt die Werte für die Bevölkerung dar, die von meinem biometrischen System abgelehnt werden sollten, aber stattdessen authentifiziert werden. Ich bin mir jedoch nicht sicher, wie ich in diesem Fall meinen Schwellenwert auswählen soll. Daher muss ich diesen bestimmen, bevor ich fortfahren kann.
Ich würde wetten, dass der Schwellenwert ein vom Client festgelegter Entwurfsparameter ist. Grundsätzlich kommt es darauf an, was für einen bestimmten Client-Fehler vom Typ I oder Typ II wichtiger ist (wahrscheinlich Typ II - Falsches Akzeptieren einer Person, der der Zugriff verweigert werden sollte). Wenn Sie wissen, was der Kunde möchte, können Sie dann angeben, dass unter einem bestimmten Schwellenwert die Wahrscheinlichkeit, dass jemand fälschlicherweise zugelassen wird, dem der Zugriff verweigert werden sollte, 1 / 10.000.000 oder so beträgt.
Ich könnte mir jedoch einen Kunden vorstellen, der aufgrund staatlicher Gesetze oder aus anderen Gründen ein bestimmtes biometrisches Authentifizierungsgerät einsetzen muss - und sagte, Personen könnten es hassen, wenn ihr Scanner wackelig wird und niemandem Zugriff gewährt -, daher interessieren sie sich möglicherweise mehr für Typ I. Fehler - jemanden nicht zulassen, der __ erlaubt sein sollte__ (weil er wahrscheinlich sechs andere Sicherheitsmaßnahmen hat und diese nur eine Abschreckung für * wandernde Augen ... * ist)
Muss der Schwellenwert also die Mindestpunktzahl sein, die erreicht werden muss, um authentifiziert zu werden?
Ich denke schon, aber das hängt stark von Ihrer Implementierung ab.
@rohanbk Haben Sie sich die Signalerkennungstheorie oder die ROC-Kurvenanalyse angesehen (http://j.mp/b49wDl auf Französisch, http://j.mp/aTjobH auf Englisch)? Die Bestimmung des Grenzwerts ist genau das Finden des besten Kompromisses zwischen Sensitivität und 1-Spezifität, wie M. Tibbits sagte.
Hervorragender Link @chl. Mein Gehirn hat sich dagegen gewehrt.
#3
+5
ronaf
2010-10-12 08:00:29 UTC
view on stackexchange narkive permalink

Es hört sich so an, als ob die folgende vereinfachte Situation die Essenz Ihres Problems erfassen könnte:

Es gibt zwei Populationen von Personen: A = akzeptable Personen und U = nicht akzeptable Personen. Mit jeder Person ist eine 'Punktzahl' $ X $ verbunden. Angenommen, in jeder der beiden Populationen haben die Scores Gaußsche Verteilungen, wobei in A der [wahre] Mittelwert $ \ mu_A $ und in U $ \ mu_U $ ist. Wir können auch annehmen, dass die Distributionen haben die gleiche SD = $ \ sigma $. Alle drei [oder vier] Parameter sind vermutlich bekannt.

Angenommen, $ \ mu_A> \ mu_U $. Daher ist es sinnvoll, eine Person zu akzeptieren, wenn ihre 'Punktzahl' $ X $ über einem bestimmten Schwellenwert $ c $ liegt B.

Es gibt zwei Möglichkeiten, wie diese Regel schief gehen kann:

  1. Ein $ X $ von U kann $ c $ überschreiten, was zu einer falschen Akzeptanz führt

  2. ein $ X $ von A kann unter $ c $ liegen, was zu einer falschen Ablehnung führt.

  3. ol>

    the Wahrscheinlichkeiten

    $$ err_ {falseacc} = P (N (\ mu_U, \ sigma ^ 2)> c) $$

    und

    $$ err_ {falserej} = P (N (\ mu_A, \ sigma ^ 2) < c) $$

    sind die beiden mit der Regel verbundenen Fehlerraten. Sie konzentrieren sich auf $ err_ {falseacc} $.

    Es ist nicht schwer zu erkennen, dass bei einer Änderung des Schwellenwerts $ c $ eine Fehlerrate abnimmt und die andere zunimmt. Daher muss $ c $ ausgewählt werden, um Werte für beide Fehlerraten anzugeben, mit denen man leben kann.

    Wenn Sie $ c $ auswählen, wie andere bereits bemerkt haben, können die Fehlerraten berechnet werden.

    In der Sprache der Statistik testen Sie zwei Hypothesen über die $ \ mu $ der Bevölkerung, aus der die Person mit der beobachteten Punktzahl $ X $ stammt. Eine Hypothese ist H $ _A: \ mu = \ mu_A $ und die andere ist H $ _U: \ mu = \ mu_U $. Der 'Test', um zwischen diesen beiden Hypothesen zu entscheiden, ist die obige Regel, und die oben angegebenen Fehler werden [etwas wenig hilfreich] als Fehler vom Typ I und Typ II oder [ebenso wenig hilfreich] bezeichnet. IMHO] die Sensitivität und die Spezifität oder [ebenso] das Risiko des Herstellers und des Verbrauchers. Welche davon abhängt, welche der beiden Hypothesen als "Nullhypothese" bezeichnet wird, eine Unterscheidung, die in diesem Zusammenhang möglicherweise nicht ganz hilfreich ist.



Diese Fragen und Antworten wurden automatisch aus der englischen Sprache übersetzt.Der ursprüngliche Inhalt ist auf stackexchange verfügbar. Wir danken ihm für die cc by-sa 2.0-Lizenz, unter der er vertrieben wird.
Loading...