读书频道 > 网站 > 网页设计 > 推荐系统:技术、评估及高效算法
2.3.8 评估分类器
15-08-06    下载编辑
收藏    我要投稿   
本书可分成五部分,共25章。第1章是概述,系统介绍推荐系统的概念、功能、应用领域以及当前应用过程中遇到的问题与挑战。第一部分(第2~7章)介绍当前构建推荐系统最普遍使用的技术,如协同过滤、基于内容的数据立即去当当网订购

推荐系统中被接受最常用的指标是预测兴趣(评分)和测量值的均方差(MAE)或均方根误差(RMSE)。这些指标在计算精度时对推荐系统的目标没有任何假设。但是,正如McNee等[51]指出的那样,除了精确度,还有许多指标来决定物品是否要被推荐。

Herlocker等[42]发表了推荐系统算法指标方法的综述。他们建议某些指标对于某些推荐任务可能更加合适。但是,如果在一类推荐算法和单个数据集上要根据经验来评估不同方法,他们不能验证这些指标。

下一步要考虑的是,“现实”中推荐系统的目的是产生一个top-N推荐列表,以及依赖于能多好地分辨出值得推荐的物品来评估这个推荐系统。如果把推荐看作分类问题,就可以使用评估分类器的著名指标,如准确度和召回率。在如下的段落中,我们将概述一部分这些指标及其在推荐评价中的应用。但是值得注意的是,学习算法和分类能够被多个准测来评估。这包含执行分类的准确率、训练数据的计算复杂度、分类的复杂度、噪声数据的敏感度、可扩展性等。但是在本章中我们将只关注分类性能。

为了评估一个模型,我们一般考虑以下的指标:真正(TP):分到类A且真的属于类A的实例数量;真负(TN):没有分到类A且真的不属于类A的实例数量;假正(FP):分到类A但不属于类A的实例数量;假负(FN):没有分到类A但属于类A的实例数量。

最常用来衡量模型性能是定义正确分类的(属于或不属于给定的类)实例和总的实例数量之间的比率:精确度=(TP+TN)/(TP+TN+FP+FN)。但是,精确度在许多的例子中有误导。想象一个带有99900个类A的样本和100个类B的样本的两类分类问题。如果分类器简单地预测一切属于类A,计算精度可能是99.9%,但是模型性能值得怀疑,因为它从没有发现类B中的样本。改进这种估值的一种方法是定义代价矩阵,定义将类B的样本分给类A的代价。在真实的应用环境中,不同类型的错误可能的确有不同的代价。例如,如果100个样本对应一个组装线上有缺陷的飞机部分,不正确地拒绝一个没有缺陷的部分(1/99900的样本)相比于错误地把缺陷的部分当作好的,这个代价是微不足道的。

模型性能的其他常用指标,特别是在信息检索中,是准确率和召回率。准确率,定义为P=TP/(TP+FP),是一种在分样本到类A中犯错误的指标。另一方面,召回率,R=TP/(TP+FN),衡量没有留下本应该划分到类中的样本的程度。注意在大部分的例子中,当我们单独使用这两种指标时是有误导的。通过不分给任何的样本到类A可以建立有完美预测准确性的分类器(因此TP为零但FF也为零)。相反,通过分配所有的样本到类A中可以建立完美召回率的分类器。事实上,有一种结合了预测和召回率到一个单一指标中的指标:
 

 
有时我们会比较几个相互竞争的模型,而不是单独评估它们的性能。为此,我们使用在20世纪50年代开发的用来分析噪声信号的技术:接受者操作特征曲线(ROC)。ROC曲线描述了正确击中和假警告之间的特征。每一个分类的性能用曲线上的点表示(见图2.7)。

Ziegler等[80]表示通过top-N列表指标评估推荐算法不能直接映射出用户的效率函数。但是,它的确解决了一些普遍接受的精确指标的限制,如MAE。例如,Basu等[10],通过分析在评价规模中前四分之一被预测的物品哪些确实被用户评价为前四分之一。

McLaughlin和Herlocker[50]提出一种修改后的精确指标,认为没有评价的物品计为不推荐。这个预测指标事实上代表了真实精确性的下限。尽管能够从准确率和召回率上直接得出F-测量法,但是在推荐系统评估中很少有人用到。Huang等[43]和Bozzonet等[13],以及Miyahara和Pazzani[52]是使用这些指标的少数几个例子。

ROC曲线也已经在评估推荐系统时使用。当在受到攻击下比较不同算法的性能时,Zhang等[64]使用ROC曲线下的面积作为评估的指标。Banerjee和Ramanathan[8]也使用ROC曲线来比较不同模型的性能。

必须指出的是,好的评估指标的选择,即使在top-N推荐系统中,仍是一个研究点。许多作者提出了只用间接相关到这些传统的评估模式的指标。例如,Deshpande和Karypis[25]提出了命中率和平均逆命中率的使用。另一方面,Breese等[15]将排序列表中推荐结果的效用指标定义成中立投票的函数。

注意,第8章会详细描述在推荐系统内容中这些评估指标的使用,因此如果你对这个问题感兴趣,你可以从那一章继续学习。

点击复制链接 与好友分享!回本站首页
分享到: 更多
您对本文章有什么意见或着疑问吗?请到论坛讨论您的关注和建议是我们前行的参考和动力  
上一篇:1.3 功能
下一篇:1.5 小结
相关文章
图文推荐
JavaScript网页动画设
1.9 响应式
1.8 登陆页式
1.7 主题式
排行
热门
文章
下载
读书

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训
版权所有: 红黑联盟--致力于做最好的IT技术学习网站