ID3算法维基百科,自由的百科全书跳到导航跳到搜索ID3算法(IterativeDichotomiser3迭代二叉树3代)是一个由RossQuinlan发明的用于决策树的算法。这个算法是建立在奥卡姆剃刀的基础上:越是小型的决策树越优于大的决策树(简单理论)。尽管如此,该算法也不是总是生成最小的树形结构。而是一个启发式算法。奥卡姆剃刀阐述了一个信息熵的概念:IE(i)=−∑j=1mf(i,j)log2f(i,j).{\displaystyleI_{E}(i)=-\sum_{j=1}^{m}f(i