APP下载

电子商务推荐系统课程研究

2014-08-01张春霁

教育教学论坛 2014年11期
关键词:复杂度协同电子商务

张春霁

(天津财经大学,天津 300222)

【教师观点】

电子商务推荐系统课程研究

张春霁

(天津财经大学,天津 300222)

为更好地改进电子推荐系统课程教学,本文从影响电子商务推荐质量与效率的三个主要问题:完整的基础评价数据、准确的推荐方法及适宜的计算复杂度展开评述,对目前国内外

进行梳理,阐述了针对这三个问题的目前研究现状及对策,并进行了评析,同时指出了电子商务推荐的进一步发展方向,为该课程的教学提供了更好的支撑。

电子商务推荐课程;基于内容推荐;协同过滤推荐;计算复杂度

电子商务推荐系统课程教学中,推荐瓶颈问题是教学中的一个难点,为此本文对推荐的瓶颈问题展开综述。在这个过程中基础评价数据是否完整将影响到推荐系统是否能准确地获取用户购物偏好,推荐方法是否准确将会影响推荐质量与精度,基础评价数据的分析处理及推荐方法的计算复杂度将会影响推荐系统的推荐效率和系统的扩展性。

一、基础评价数据的完整性研究现状

推荐系统的基础评价数据可分为显性数据和隐性数据。显性数据主要包括:用户注册信息、用户对产品的显性评分、用户历史交易记录、用户评论、产品关键字属性等。隐性数据一般指通过Web数据挖掘技术获得的数据,完整的基础数据可以使推荐系统更准确地获取用户购物偏好,从而提高推荐的准确性。为保证数据完整性,国内外学者通常采用数据补值和数据预测两种处理方法。常见的数据补值方法有:Pazzani提出使用用户个人社会属性信息对基础数据进行补值,但是这种方法有可能会侵犯到个人社会信息的隐私。K.W.Cheung提出应用Web数据挖掘对服务器日志进行数据分析,并在此基础上提出了一种基于隐性评价数据的推荐方法,在此基础上,李晓昀等提出了一种隐性数据的分析处理方法,详细阐述建立用户兴趣模型的过程。D.R.Liu and Y.Y.Shih提出由RFM(最近购买时间,购买频率,购买金额)指标来度量的客户终身价值(CLV)可以让商家发现更有价值的客户,进而提出一种基于客户终身价值的推荐方法。常见的数据预测处理方法有:邓爱林等提出根据产品之间的相似性来预测用户对未评价产品的评价值。陈逸、于洪进一步提出了相同评分矩阵的概念。M K Kavitha Devi提出对相似评分用户进行预聚类,基于聚类簇内用户的相似性对用户未评分数据进行预测。

二、推荐方法研究现状

在保证基础数据完整的同时,推荐系统推荐质量的关键在于是否采用了合理的推荐方法。推荐系统的主流推荐方法分为:基于内容的推荐、协同过滤推荐、混合推荐算法、其他推荐算法等。

1.基于内容推荐系统的研究。基于内容的推荐通过分析并获取用户感兴趣产品的特征作为用户的购物偏好,通过用户特征偏好与产品特征的匹配程度,以实施推荐。孟宪福,陈莉提出采用贝叶斯理论对产品特征和用户兴趣特征进行提取与表示,取得了较好的推荐效果。基于内容的推荐目前遇到的最大挑战有两个:一是只能为用户发现与用户原有兴趣特征相匹配项目作推荐;二是如何对产品与用户兴趣特征进行更准确的提取。基于内容的推荐需要准确的用户模板来描述用户的偏好,否则推荐可能与用户的兴趣根本不相关,所以资源特征的提取与表示及用户偏好特征的提取与表示一直是其进一步发展的瓶颈。

2.基于协同过滤推荐系统的研究。协同过滤推荐方法最早由Goldberg提出,其基本思想我们往往会利用好朋友的推荐来进行一些选择。即在具有相似购物偏好的用户之间进行交叉推荐。目前经典的协同过滤推荐算法有两种:一种为基于内存的协同过滤(memory-based collaborative filtering),另一种为基于模型的协同过滤(model-based collaborative filtering),其中神经网络技术、潜在语义检索(latent semantic indexing)和贝叶斯网络技术(bayesian networks)等是此类方法的典型代表,Breese认为基于内存的协同推荐比基于模型的协同推荐具有更好的推荐精度但计算复杂度要差很多。针对此问题,Sarwar教授于2001年又提出了一种新的协同过滤推荐技术,我们称为基于项目的协同推荐(item-based collaborative filtering algorithms),Sawar教授同时在论文中指出了该推荐算法相对基于内存推荐算法的优势。PREMM教授具有不同的观点,指出基于项目的协同过滤推荐算法准确度与采用的实验规模数据有关,大多数情况下还是基于用户的协同过滤推荐好。协同过滤推荐会导致相似用户的聚类效果不佳,从而产生稀疏性以及冷启动等问题。协同过滤虽然取得了巨大成功,但受其原理所限,以下几个缺点是影响其进一步发展的瓶颈。(1)精确性(accuracy):即提高推荐系统的推荐质量,用户如果对推荐系统不信任,推荐的项目经常不符合用户需求,导致用户乱投票的现象,评分不准确导致推荐质量进一步下降,形成恶性循环。(2)稀疏性(sparstiy):随着购物网站产品与用户数量的增长,用户参与评分的项目通常是有限的,而且有些用户因为各种原因不愿意留下评分数据。有些购物网站的评分记录甚至只占需要评分项目的1%~2%,从而导致评分数据的稀疏性问题,评分值的稀疏会导致最近邻居相似性聚类的不准确,从而导致推荐质量降低。(3)冷启动(coldstart):也称为初始评价问题,又分为新项目(newitem)问题和新用户(newuser)问题。如果新产品刚刚上架,没有任何用户对其进行评价,即使它有很好的质量,也不可能获得推荐。同样,如果一个新用户刚刚注册,还没有开始对任何产品进行评价,推荐系统也不可能获得他的购物兴趣,也就无法对该用户进行推荐。这种现象在协同过滤推荐技术中尤其明显。(4)扩展性(scalabality):随着用户和产品数量的大幅度增加,数据的处理和计算也会成倍增长,对于如此巨大的计算量,算法将遭遇到严重的扩展性问题,导致推荐的效率也大幅度降低。

3.混合推荐算法的研究。很多学者设想将这两种推荐策略组合起来,取长补短,这也就是混合推荐算法的思想。依据不同的组合思路我们将研究人员提出的混合算法大致分为以下几类:(1)混合集成:把来自不同推荐技术的推荐结果一起推荐给用户,这种集成技术没什么新意,目前采用的比较少。(2)加权集成:把不同推荐技术预测的推荐产品的分值按照不同推荐技术特点赋予不同的权重,然后再对待推荐产品的预测分值进行加权求和,依据加权后的预测分值排序并实施推荐。(3)转换集成:按照不同的推荐环境,选择不同的推荐技术实施推荐,归根结底还是使用其中的某一种推荐技术。(4)瀑布型集成:应用一种推荐技术对另一种推荐技术的推荐结果实施优化。这种方法可以过滤掉前一种推荐技术中不太好的推荐结果。可以是基于内容对协同过滤进行优化,也可以协同过滤对基于内容推荐进行优化。(5)特征组合集成:把不同推荐技术的推荐结果混合后,使用一种推荐技术来处理,同瀑布型集成类似,该方法也是基于采用某种推荐技术对混合推荐结果进行过滤的思想。(6)特征增值集成:把其中一种推荐技术的推荐输出结果作为另一种推荐技术的输入。Pazzani M,Billsus D等提出将几种推荐方法的各自推荐结果进行合并。Soboroff I,Good N,Melville P等提出可以以一种推荐方法主要推荐技术,同时以另一种推荐技术为辅,并与主要推荐技术进行融合。Ansari A提出直接将两种推荐方法进行有机集成,如将基于内容和协同过滤的方法整合到一个统一的框架下,使其作为一种推荐算法实施推荐。以上不同的混合集成方法中,无论采用哪种混合集成策略,混合推荐的关键是如何发挥不同推荐技术的优点,并有机融合在一个完整的推荐框架内。虽然混合推荐技术的初衷是进行优势互补,但实际应用中却有很大困难。同时有实验表明,混合推荐并不一定比单独的某个推荐技术更好。同时,由于混合了多种推荐技术,增加了计算复杂度,在推荐效率上会有一定程度的降低。

4.其他推荐算法的研究。以上三种方法是推荐方法研究最热点的领域,但在不同的应用场景下也有一些其他的推荐算法取得了不错的成绩。Burke R提出利用饭店的菜式方面的规则知识进行基于知识的推荐。基于关联规则的推荐,以产品间关联规则为基础,把已购商品作为规则头,推荐对象作为规则体。通过数据挖掘发现项目之间潜在的联系以实施连带推荐。

三、计算复杂度研究现状

随着产品数量和用户数量的扩大,需要处理的基础数据会成倍增加,基础数据的处理会使推荐系统的计算复杂度成指数级增长,成为推荐系统推荐效率的瓶颈。为此国内外学者也提出了很多方法以降低计算复杂度,推荐系统计算复杂性的降低可以分为:评价数据降维法、产品分类降维法、离线计算与在线推荐相结合法。

综上所述,国内外学者为保证电子商务推荐质量和推荐效率从电子商务推荐的三个不同角度提出了很多经典的推荐方法,每种方法在特定的领域和应用环境下都取得了较好的效果,同时我们也可以看到没有一种通用的推荐方法,在电子商务推荐系统教学中我们将会依据前期研究重点展开,更好地提高该课程的教学效果。

[1]余力,刘鲁,罗掌华.我国电子商务推荐策略的比较分析[J].系统工程理论与实践,2004,8(8):96-99.

[2]许海玲,吴潇,李晓东.互联网推荐系统比较研究[J].软件学报,2009,20(2):350-362.

[3]李聪.电子商务推荐系统中协同过滤瓶颈问题研究[D].合肥:合肥工业大学,2009.

[4]Pazzani.A framework for collaborative,content-based,and demographic filtering [J].ArtificialIntelligence Review,1999,13(5-6):393-408.

[5]K.W.Cheung,J.T.K.,M.H.Law.ining customer product ratings for personalized marketing[J].Decision Support Systems,2003,(35):231-243.

[6]李晓钧,阳小华,余颖.基于隐性反馈分析的个性化推荐研究J].计算机工程与设计,2009,30(16):3794-3796.

[7]D.R.Liu,Y.Y.S.Hybrid approaches to product recommendation based on customer lifetime value and purchase preferencesJ].Journal of Systems and Software,2005,77(2):181-191.

[8]D.R.Liu,Y.Y.S.Integrating AHP and data mining for product recommendation based on customer lifetime value[J].Information& Management,2005,(42):387-400.

[9]邓爱林.电子商务推荐系统关键技术研究[D].上海:复旦大学,2003.

[10]Xue G,L.C,Yang Q,Xi W.Scalable collaborative filtering using cluster-based smoothing[C].Paper presented at:28th Annual International ACMSIGIR Conference on Research and Development in Information Retrieval(Salvador,Brazil).2005.

G642.0

A

1674-9324(2014)11-0160-02

本文系教育部人文社科青年项目(Grant NO.13YJC630195)的研究成果之一。

猜你喜欢

复杂度协同电子商务
蜀道难:车与路的协同进化
“四化”协同才有出路
一种低复杂度的惯性/GNSS矢量深组合方法
《电子商务法》如何助力直销
电子商务
求图上广探树的时间复杂度
三医联动 协同创新
关于加快制定电子商务法的议案
某雷达导51 头中心控制软件圈复杂度分析与改进
出口技术复杂度研究回顾与评述