Ganho de Informação

Ganho de Informação

Considerando a entropia como medida de impureza de uma conjunto de treinamento, nós podemos a partir disso medir a eficácia de um atributo para classificar esse conjunto. Essa medida é conhecida como ganho de informação e é definida pela seguinte fórmula:

Para tentar explicar essa equação da forma mais clara possível, para isso precisamos entender que: (i) S é o conjunto de treinamento; (ii) A é o atributo a ser testado; (iii) Values(A)é o conjunto de todos os possíveis valores de A; (iv) Sv é o subconjunto que contem o valor v como valor para o atributo A. Portanto temos que a entropia de todo o conjunto de treinamento menos, o somatório das entropias dos subconjuntos de S multiplicado pela participação do atributo na base de dados, é igual ao ganho de informação do atributo A.

Para entender o cálculo da entropia veja esse post do blog:
Entropia

Ou você pode conferir esses outros links:
- Machine Learning - Tom Mitchell, 1997.
- http://afewguyscoding.com/tag/decision-trees/
- http://homes.cs.washington.edu/~shapiro/EE596/notes/InfoGain.pdf