1 2	y_true is : [0 1 3 2 3 0 2 2 3 3 3 0 1 4 4 0 1 3 2 2 1 3 2 0 2 4 1 0 1 0 4 3 3 3 2 1 0 3 0] y_predict is : [0 1 3 0 2 0 2 2 1 2 3 0 0 4 4 0 1 4 2 2 0 3 2 1 2 4 3 1 1 3 4 3 0 2 2 3 2 2 1]

step1：统计混淆矩阵

def statistics_confusion(y_true,y_predict):
    """
     统计混淆矩阵
     
    :param y_true: 真实label 
    :param y_predict: 预测label
    :return: 
    """
    confusion = np.zeros((5, 5))
    for i in range(y_true.shape[0]):
        confusion[y_predict[i]][y_true[i]] += 1
    return confusion

输出:

step2：计算二级指标

准确率（Accuracy）

def cal_Acc(confusion):
    """
    计算准确率

    :param confusion: 混淆矩阵
    :return: Acc
    """
    return np.sum(confusion.diagonal())/np.sum(confusion)

输出：

1	Acc is 0.5641025641025641

精确率（Precision）

def cal_Pc(confusion):
    """
    计算每类精确率

    :param confusion: 混淆矩阵
    :return: Pc
    """
    return confusion.diagonal()/np.sum(confusion,axis=1)

输出：

1	Pc is [0.5 0.42857143 0.58333333 0.57142857 0.8 ]

每列对应一个类的精确率。

召回率（Recall）

def cal_Rc(confusion):
    """
    计算每类召回率

    :param confusion: 混淆矩阵
    :return: Rc
    """
    return confusion.diagonal()/np.sum(confusion,axis=0)

输出:

1	Rc is [0.44444444 0.42857143 0.875 0.36363636 1. ]

每列对应一个类的召回率。

step3：计算F1-score

def cal_F1score(PC,RC):
    """
    计算F1 score

    :param PC: 精准率
    :param RC: 召回率
    :return: F1 score
    """
    return 2*np.multiply(PC,RC)/(PC+RC)

输出：

1	F1-score is [0.47058824 0.42857143 0.7 0.44444444 0.88888889]

每列对应一个类的F1 score。

为了让结果和代码更加美观，可以打一下包。

完整代码

import numpy as np

class Myreport:
    def __init__(self):
        self.__confusion = None

    def __statistics_confusion(self,y_true,y_predict):
        self.__confusion = np.zeros((5, 5))
        for i in range(y_true.shape[0]):
            self.__confusion[y_predict[i]][y_true[i]] += 1

    def __cal_Acc(self):
        return np.sum(self.__confusion.diagonal()) / np.sum(self.__confusion)

    def __cal_Pc(self):
        return self.__confusion.diagonal() / np.sum(self.__confusion, axis=1)

    def __cal_Rc(self):
        return self.__confusion.diagonal() / np.sum(self.__confusion, axis=0)

    def __cal_F1score(self,PC,RC):
        return 2 * np.multiply(PC, RC) / (PC + RC)

    def report(self,y_true,y_predict,classNames):
        self.__statistics_confusion(y_true,y_predict)
        Acc = self.__cal_Acc()
        Pc = self.__cal_Pc()
        Rc = self.__cal_Rc()
        F1score = self.__cal_F1score(Pc,Rc)
        str = "Class Name\t\tprecision\t\trecall\t\tf1-score\n"
        for i in range(len(classNames)):
           str += f"{classNames[i]}   \t\t\t{format(Pc[i],'.2f')}   \t\t\t{format(Rc[i],'.2f')}" \
                  f"   \t\t\t{format(F1score[i],'.2f')}\n"
        str += f"accuracy is {format(Acc,'.2f')}"
        return str

测试：

1 2	myreport = Myreport() print(myreport.report(y_true = y_true,y_predict=y_predict,classNames=['C1','C2','C3','C4','C5']))

输出：

使用sklearn对比计算结果是否正确

from sklearn.metrics import classification_report # 结果评估
myreport = Myreport()
print("=====自己实现的结果=====")
print(myreport.report(y_true = y_true,y_test=y_predict,classNames=['C1','C2','C3','C4','C5']))
print("=====使用sklrean的结果=====")
print(classification_report(y_true, y_predict, target_names=['C1','C2','C3','C4','C5']))

结果对比

只能说一模一样。

文章作者: issey

文章链接: https://blog.issey.top/article/f7fe9040ab51/

模型评估

机器学习笔记15——多分类混淆矩阵、F1-score指标详解与代码实现（含数据）

推荐阅读

前言

混淆矩阵简介

二分类混淆矩阵

一级指标

二级指标

准确率（Accuracy）

精确率（Precision）

召回率（Recall）

特异度（Specificity）

三级指标（F-score）

F1-score

多分类混淆矩阵

准确率（Accuracy）

精确率（Precision）

召回率（Recall）

特异度（Specificity）

F1-score

示例与代码实现（Python）

step1：统计混淆矩阵

step2：计算二级指标

准确率（Accuracy）

精确率（Precision）

召回率（Recall）

step3：计算F1-score

完整代码

使用sklearn对比计算结果是否正确

结果对比