总体准确率（Overall Accuracy, OA）
-
定义 ：总体准确率是最直观的分类性能评估指标，它表示所有被正确分类的样本数占总样本数的比例。
-
计算公式 ：\text{OA}=\frac{\text{正确分类的样本数}}{\text{总样本数}}
-
举例 ：假设有一个图像分类任务，总共有 100 个样本，其中 70 个样本被正确分类，那么总体准确率 OA = 70/100 = 0.7，即 70%。
-
优点 ：计算简单，易于理解，能够直接反映分类模型在整体样本上的正确分类程度。
-
缺点 ：当各类样本数量不平衡时，总体准确率可能会产生误导。例如，如果一个数据集中有 99% 的样本属于类别 A，1% 的样本属于类别 B，一个简单的 “懒惰” 分类器将所有样本都预测为类别 A，就可以得到 99% 的总体准确率，但实际上它对类别 B 的识别能力为 0。
平均准确率（Average Accuracy, AA）
-
定义 ：平均准确率是对每个类别分别计算准确率，然后取这些准确率的平均值。它考虑了每个类别的分类准确情况，能够更好地反映分类模型对各个类别的分类性能。
-
计算公式 ：假设共有 n 个类别，每个类别 i 的准确率为 \text{Accuracy}_i，则平均准确率 AA 为：\text{AA}=\frac{1}{n}\sum_{i=1}^{n}\text{Accuracy}_i
-
举例 ：在一个三分类问题中，类别 A、B、C 的样本数量分别为 50、60、40。分类模型对类别 A 的准确率为 0.8，类别 B 的准确率为 0.7，类别 C 的准确率为 0.9。那么平均准确率 AA = (0.8 + 0.7 + 0.9)/3 ≈ 0.8。
-
优点 ：相比总体准确率，它在一定程度上能够更好地应对类别不平衡的问题，不会因为某个或某些类别样本数量多而掩盖其他类别分类性能差的情况。
-
缺点 ：计算相对复杂一些，而且如果某些类别的样本数量极少，其准确率的计算可能会受到偶然因素的影响较大，从而影响平均准确率的稳定性。
卡帕系数（Kappa Coefficient）
-
定义 ：卡帕系数是一种考虑了随机分类因素的分类性能评估指标，它能够更准确地反映分类模型的实际分类能力，避免了因数据分布不平衡而导致的分类性能高估或低估的情况。
-
计算公式 ：卡帕系数的计算公式为：\kappa =\frac{\text{OA}-\text{PE}}{1-\text{PE}}，其中，PE 为随机分类的期望准确率，计算公式为：\text{PE}=\sum_{i=1}^{n}\left(p_{i+}p_{+i}\right)，p_{i+} 表示第 i 类样本在总体中的比例，p_{+i} 表示第 i 类样本被预测为该类的比例。
-
举例 ：假设有一个二分类问题，类别 A 和类别 B 的样本数量分别为 60 和 40。分类模型的预测结果如下表所示：
| 类别 A | 类别 B | 总计 | |
|---|---|---|---|
| 类别 A | 40 | 10 | 50 |
| 类别 B | 10 | 30 | 40 |
| 总计 | 50 | 40 | 90 |
则 OA = (40 + 30)/90 ≈ 0.778，PE = (50/90)×(50/90) + (40/90)×(40/90) ≈ 0.494，\kappa =\frac{0.778-0.494}{1-0.494}≈0.564。
-
优点 ：卡帕系数考虑了随机分类的影响，能够更准确地反映分类模型的实际分类性能，尤其在类别不平衡的情况下，比总体准确率和平均准确率更具可靠性。
-
缺点 ：计算相对复杂，需要知道每个类别的样本数量和预测数量，以及总体样本数量等信息，且其结果的解释可能不如总体准确率和平均准确率直观。
