Was ist eine Entropie? – Erklärung & Beispiel

Bei der Entropie handelt es sich ebenfalls um ein Streuungsmaß in dem Bereich der Statistik. Angewendet wird diese statistische Entropie bei nominalskalierten Daten. Das liegt daran, dass die Entropie nicht auf die Merkmalsausprägungen selbst zurückgreift, sondern in seiner Rechnung die relativen Häufigkeit verwendet, welche aus der Merkmalsausprägung resultieren.

Interpretation

Damit man die Entropie interpretieren kann, ist es üblicherweise so, dass die Entropie in eine normierte Entropie überführt wird. Diese hat das Merkmal, dass sie in der Lage ist, ausschließlich Werte annehmen zu können, welche sich zwischen 0 und 1 befinden. Die Interpretation ist dementsprechend folgende: wenn die Werte, welche bei der Entropie rauskommen in der Nähe von eins liegen, dann steht dies für eine breite Streuung oder auch für eine breite Verteilung der Daten. Beträgt das Ergebnis der Entropie genau eins, dann bedeutet dies, daß die Daten vollkommen gleich verteilt sind.

Ein Beispiel

Um die normierte Entropie berechnen zu können, gibt es hier ein Beispiel, welches dies vereinfacht.
Man hat die Merkmalsausprägungen vorliegen, welche jeweils in ihren jeweiligen absoluten und relativen Häufigkeit dargestellt und angezeigt werden. Diese Merkmalsausprägungen sind jeweils die abgeschlossene Ausbildung, der Meistertitel und der Hochschulabschluss.

In dem Beispiel haben 30 von 100 Mitarbeitern einer Firma eine abgeschlossene Ausbildung, was gleichzeitig einem Anteil oder anders ausgedrückt einer relativen Häufigkeit von 0,3 entspricht. In Prozent ausgedrückt haben 30 Prozent der Mitarbeiter eine abgeschlossene Ausbildung.
Die Formel, um anschließend die Entropie berechnen zu können lautet

∑ [f(i) × log2(1/f(i))] bzw.
– ∑ [f(i) × log2f(i)]

Dabei läuft die Summe in der Formel dabei über i = 1 bis n. Dabei ist n die Anzahl der Merkmalsausprägungen und f(i) steht für die relative Häufigkeit der Merkmalsausprägung i. Der log2 ist in der Formel der Logarithmus zur Basis 2, wobei dieser ganz einfach und ohne Probleme mit dem Taschenrechner berechnet werden kann. Der natürliche Logarithmus wird auf dem Taschenrechner durch die Taste Ln berechnet.

So ist zum Beispiel log2 0,1 = ln 0,1 / ln 2 = -3,3219.

Dies entspricht der Anwendung der ersten Formel. Die zweite Formel kann so angewandt werden:

Entropie = – (0,3 × log2 0,3 + 0,1 × log2 0,1 + 0,6 × log2 0,6)
= – (0,3 × -1,7370 + 0,1 × -3,3219 + 0,6 × -0,7370)
= – (- 0,5211 – 0,33219 – 0,4422) = 1,29549.

Die Berechnung der normierten Entropie

Die normierte Entropie berechnet man, indem man den Wert der Entropie, welchen man zuvor berechnet hat, durch log2 n teilt. Der Faktor n steht dabei für die Anzahl der unterschiedlichen Merkmalsausprägungen. Wenn man diese Formel anwendet, dann bekommt man die normierte Entropie.
Normierte Entropie = Entropie / log2 3 = 1,29549 / 1,5850 = 0,8173.