表1(Table 1)
网络已经成为人们获取信息的主要来源,网络搜索是用户在网上获取信息的重要手段.理解用户如何进行网络搜索,不但能够改进搜索引擎,而且能够帮助设计更为人性化的人机交互方式,从而提升用户体验.因此,网络搜索行为研究已经受到学术界和工业界的广泛关注,尤其是网络搜索行为的预测研究[1, 2, 3, 4, 5, 6].
近年来,有学者基于视觉行为与人的思维密切相关的基本事实,利用用户的视觉行为数据预测其网络搜索行为.例如将视觉行为作为隐变量进行处理[7],或者利用鼠标的移动代表用户目光的移动[8, 9, 10].隐变量方法是一种从概率的角度对用户的视觉行为进行估计的方法,适用于群体行为预测,不能用于个体行为预测.鼠标移动是对用户目光移动的一种粗略估计,在一些情况下是不准确的.例如,用户只在需要的时候移动鼠标,即偶发式鼠标用法[11, 12],显然,此时鼠标移动不能用来估计目光移动.一种更好地表示用户目光移动的方式是使用眼动跟踪技术,该技术能够捕捉用户在进行阅读、浏览和搜索等视觉行为时眼睛的运动数据(眼动数据),例如目光停留的位置和持续的时间.眼动数据已经广泛应用于许多研究领域,例如隐式关联反馈[13]、决策因子提取[14]、推荐系统[15]、人机交互[16]和高层次上下文识别[17]等.但是国内外将眼动数据用于预测网络搜索行为的研究还很少见.
本文主要研究基于眼动数据的网络搜索行为预测方法.随着眼动仪不断向智能化和便携化方向发展,眼动数据将与目前普遍使用的点击数据和交互数据一样,成为分析和预测用户网络搜索行为的重要反馈信息.因此,探索如何利用眼动数据预测用户的网络搜索行为是十分必要的.
1 网络搜索行为预测相关研究
许多学者对用户的网络搜索行为进行建模和预测.其中,一些研究分析用户的点击数据[1, 2, 3],另一些研究使用更为丰富的交互数据[4, 5, 6].
Lee等[1]通过用户研究对如何自动识别查询目标进行调查,发现多数查询存在可预测的目标,由此提出了基于用户点击行为和文本链接分布的查询目标自动识别方法.Li等[2]介绍了一种基于点击图的查询意图分类方法,该方法利用半监督学习和点击图生成大量的训练数据,从而提升分类器的性能.Shen等[3]使用稀疏隐动态条件随机场,为每一类用户意图学习一个子结构;这些子结构用来建模如计划旅行、购物或者娱乐等用户意图和用户的点击行为之间的动态特性.
有研究表明,引入更为丰富的交互数据能够显著提高网络搜索行为预测的结果.Agichtein等[4]利用建模用户行为的方式,对网络搜索结果偏好进行预测.他们发现,基于查询文本特征和浏览特征等交互数据的预测方法要好于基于点击数据的预测方法.Hassan等[5]在建模用户行为时,考虑到查询、点击、驻留时间和查询重构等描述用户整个搜索过程的数据.通过这种方式所生成的用户模型能够更好地判断用户是否成功完成搜索.Moshfeghi和Jose[6]从认知、情感和交互的角度对网络搜索的特点进行研究,发现不同搜索任务之间存在明显的差异.他们利用机器学习方法,从用户的交互数据中学习用户模型,从而大幅提高预测搜索任务类型的正确率.
交互数据(或者说用户日志)能够在一定程度上描述用户的搜索过程,但Wang等[7]提出,用户日志只记录了能够被观测到的用户行为(例如点击和查询重构等),用户浏览搜索结果的过程是无法通过分析日志文件获得的;他们报告了一种部分可观测马尔科夫模型,将用户阅读和跳过搜索结果的行为作为隐状态处理,其模拟的用户浏览模式与眼动实验的结果高度一致,从而证明了模型的有效性.Guo和Agichtein[8]尝试用鼠标移动数据来推断查询意图,结果显示基于鼠标移动轨迹的查询意图预测方法要好于基于点击数据的方法;此后,他们将鼠标移动数据加入到用户行为建模中,以便分辨用户意图和预测广告点击行为[9].Arguello[10]调查多种不同特征在预测搜索任务难易度时的作用,得到鼠标移动数据在预测首次查询的难易度时具有较好性能的结果.
与上述研究不同,本文使用眼动数据来预测用户的网络搜索行为.相对于隐变量方法[7]和鼠标移动方法[8, 9, 10],眼动数据能够精确反映用户的注视信息,得到的用户视觉行为可以认为是“真值”而不是估计值.
2 眼动实验
实验要求被试完成预定义的网络搜索任务.被试的眼动数据用非接触式眼动仪记录,共获得1183个搜索任务、28613个注视点的眼动数据.
2.1 实验任务
实验使用两类搜索任务(表 1):导航类和信息类[18].导航类搜索任务旨在找到特定网页;信息类搜索任务旨在找到特定信息,该信息可能出现在许多网页中.每名被试完成20个任务,导航类和信息类各10个.全部任务的搜索目标和搜索词均为预定义的,并且搜索引擎结果页面(Search Engine Results Page,SERP)均保存为本地HTML文档,以保证每名被试面对相同的SERP.
有偿招募被试81人,其中,4人由于眼动仪校准问题或系统故障没有完成实验,17人的眼动数据采样率相对较低(低于50%).为保证数据质量,只选取60人的眼动数据,其中30人为女性.这60名被试均为来自同一所大学不同专业的本科生和研究生,视力正常或矫正视力正常,没有如色盲等眼睛问题.被试年龄在18~31岁之间(均值为23.9岁,标准差2.5岁).
2.3 实验设备
实验使用瑞典Tobii公司的T120型眼动仪.该眼动仪配有17英寸(1英寸=2.54cm)显示器,采样率为120Hz,精确度(视角)为0.5°.实验中将显示器分辨率设为1024×768像素,放置在距离被试约60cm的位置.被试的眼动数据由眼动仪自带软件Tobii Studio记录.实验在配有IE 6浏览器和Windows XP操作系统的计算机上完成.
2.4 实验过程
实验开始前,对每名被试用9点校正法校正眼动仪,并以文字形式向其介绍实验内容;然后,被试进行一组练习以熟悉实验流程.
每名被试完成全部20个搜索任务,任务之间有短暂的由被试控制的休息时间.对每一个搜索任务,屏幕上会以文字的形式向被试说明搜索目标.被试记下该目标之后点击“开始”按钮进入含有预定义搜索词的搜索引擎页面.被试不允许改变搜索词,直接点击“搜索”按钮进入SERP(这种从搜索引擎页面到SERP的方式更符合被试在日常生活中的实际情况,因此其眼动数据更为真实).每个SERP中均含有10个搜索结果,一些SERP中还含有顶部广告.被试需要浏览SERP并点击最符合搜索目标的某个搜索结果或者顶部广告,以完成搜索任务.全部搜索任务完成之后,被试需要填写有关其背景信息的调查问卷.每名被试实验耗时约30min.
3 预测方法
通过眼动实验,采集到用户在网络搜索任务时的眼动数据.这些数据能够以“注视点”的形式导出,每个注视点包含许多数据项.本文只使用其中的5个数据项:时间戳(注视点发生的时间)、注视时间(注视点持续的时间)、横坐标、纵坐标和刺激名称(注视点所属网页的名称).这些原始的眼动数据将转化成两种描述被试注视模式的数据格式:直方图和序列.这些转化后的数据配合学习算法,用来对用户行为进行预测.
3.1 数据转化
首先,依照刺激名称剔除属于SERP之外的注视点.其次,由于SERP中的注视点主要落在10个搜索结果和顶部广告上,因此将这些区域定义为兴趣区,如图 1所示:10个搜索结果定义为兴趣区1~10(绿色区域),顶部广告定义为兴趣区11(蓝色区域).再次,利用横、纵坐标将各注视点映射到11个兴趣区中,剔除不属于任何兴趣区的注视点.最后,按照刺激名称和时间戳将属于同一被试、同一SERP的注视点整合,转化为直方图数据和序列数据,每个搜索任务的眼动数据对应一个直方图数据和一个序列数据.
 |
| 图 1 兴趣区示例Fig. 1 An example of areas of interest |
直方图数据反映被试在SERP上的注意力分布情况,类似于认知心理学中分析眼动数据时使用的注视热点图.本文设计了3种形式的直方图数据:总注视次数形式(简称“总次数”),包含11个兴趣区各自注视点的总个数;总注视时间形式(简称“总时间”),包含11个兴趣区各自注视点持续时间的总和;总注视次数加总注视时间形式(简称“总次数+总时间”),包含11个兴趣区各自的总注视次数和总注视时间,即
序列数据反映被试在SERP上的扫视路径,由一系列按时间先后顺序排列的数据点构成,每个数据点表示一个注视点,类似于眼动数据分析中的眼动轨迹图.序列数据有两种不同形式:注视位置形式(简称“位置”),包含每个注视点所处的位置,用数字1~11表示11个兴趣区;注视位置加注视时间形式(简称“位置+时间”),包含每个注视点所处的位置和注视点持续的时间,即
3.2 学习算法
直方图数据和序列数据能够描述被试在完成网络搜索任务时的视觉行为,如果给每一个数据以相应的标记,那么就可以应用学习算法进行建模,从而对用户行为进行预测.针对不同的预测目的,需要对数据进行不同的标记.本文分别对两类用户行为进行预测:用户决策或用户意图,详细的数据标记方法见第4节.
两种数据格式具有不同的数据长度,直方图为定长数据,序列为不定长数据,因此需要不同的学习算法.如果对每种数据格式只使用一种学习算法,那么当比较二者的性能时,不能分辨出性能优势是源于数据,还是源于学习算法的.为此,本文采用了4种学习算法:支持向量机[19]、随机森林[20]、隐马尔科夫模型[21]和隐条件随机场[22].支持向量机和随机森林需要输入定长数据,因此用于3种形式的直方图数据.其中,支持向量机使用3种不同的核函数:线性、多项式和径向基;随机森林将最小双亲数设为10;隐马尔科夫模型和隐条件随机场能够处理长度不一的输入数据,因此用于序列数据.其中,隐马尔科夫模型将“位置”形式的序列数据作为观测,对每个标记(label)用离散隐马尔科夫模型单独训练;隐条件随机场用于“位置”和“位置+时间”形式的序列数据,并采用零初始化策略和拟牛顿法的优化策略.
4 实验结果
本文利用直方图数据和序列数据对用户决策或用户意图进行预测.预测用户决策,是指预测用户对搜索结果和顶部广告的选择,即通过眼动数据预测点击行为.预测用户意图,是指预测用户进行搜索任务的目的,即通过眼动数据预测搜索任务的类型(导航类任务或信息类任务).两类用户行为预测均使用相同的眼动数据,其区别在于数据标记方式的不同:预测用户决策按照用户的点击位置对数据进行标记,预测用户意图按照搜索任务的类型对数据进行标记.
4.1 预测用户决策
在眼动实验中,眼动仪能够记录被试的点击数据,这些数据用来对被试的眼动数据(直方图和序列)进行标记:搜索结果1～10被标记为1～10,顶部广告被标记为11.由此,将预测用户决策转换成一个多分类问题(11分类).图 2给出了11类数据的分布情况.如果总是将所占比例最多的一类作为预测结果,即总认为被试会选择第一个搜索结果,那么预测正确率约为42%.
 |
| 图 2 用户决策分布Fig. 2 Distribution of user decisions |
表 2和表 3为3层交叉验证(3-fold validation)的结果,即用40名被试的数据训练、20名被试的数据测试.其中,隐马尔科夫模型和隐条件随机场的隐状态数目为3个;正确率(accuracy)的计算方法为正确预测的样本个数除以总测试样本个数.需要指出,同一被试的全部数据只出现在训练集或测试集中,即对用户行为预测是用一些用户的行为进行学习,以便预测其他用户的行为.这种方式特别适合于网络搜索行为预测,因为网络用户数量庞大,无法获取全部用户的行为数据.从表中可以看到,线性核函数支持向量机的性能在使用直方图数据的算法中是最好的;隐条件随机场的性能优于隐马尔科夫模型的性能.
| 算法 | 正确率/% | ||
| 总次数 | 总时间 | 总次数+总时间 | |
| 支持向量机(线性) | 74.38 | 79.36 | 76.49 |
| 支持向量机(多项式) | 71.51 | 66.44 | 73.29 |
| 支持向量机(径向基) | 65.28 | 76.48 | 69.58 |
| 随机森林 | 72.03 | 74.55 | 75.23 |
| 算法 | 正确率/% | |
| 位置 | 位置+时间 | |
| 隐马尔科夫模型 | 52.17 | 无 |
| 隐条件随机场 | 74.64 | 74.29 |
图 3为不同训练集大小下,各算法的预测正确率.当使用10名被试的数据进行训练时,其余50名被试的数据则用来测试,反之亦然.每种算法均采用表 2和表 3中正确率最高的组合(加粗字体,隐状态数目为3个).随着训练数据的增加,预测正确率呈上升趋势.此外,支持向量机的性能优于随机森林的性能,隐条件随机场的性能优于隐马尔科夫模型的性能.
 |
| 图 3 不同训练集大小下的用户决策预测正确率Fig. 3 Accuracy of user decision prediction under different training data sizes |
图 4为不同隐状态数目下,隐马尔科夫模型和隐条件随机场的预测正确率(基于3层交叉验证).对于隐马尔科夫模型,预测正确率随隐状态数目的增加起伏变化较大.对于隐条件随机场,随着隐状态数目的增加,预测正确率呈上升的趋势,并趋于稳定.
 |
| 图 4 不同隐状态数目下的用户决策预测正确率Fig. 4 Accuracy of user decision prediction under different number of hidden states |
为评价预测结果的性能,本文设计3种人工预测策略作为基线:最多注视、最长注视和最后注视策略.最多注视策略将注视次数最多的搜索结果或顶部广告作为预测结果;最长注视策略将注视时间最长的搜索结果或顶部广告作为预测结果;最后注视策略将最后一个注视点所属的搜索结果或顶部广告作为预测结果.最多注视和最长注视策略假定被试会选择花费最多注意力的搜索结果或顶部广告,相对来说比较直观.最后注视策略认为被试会点击最终注视的搜索结果或顶部广告,来源于人的行为规律:人们总是会利用眼睛来监督行为,因此当被试使用鼠标点击某个搜索结果的同时会注视该结果,从而使得注视点落于该结果上.这种策略是一种非常“严格”的基线,其预测正确率相对前两种基线要更高.
表 4给出了各学习算法与3种人工策略的预测正确率(基于3层交叉验证).可以看到,3种基线的预测正确率远高于“总是将所占比例最多的一类作为预测结果”的正确率(42%).无论是采用直方图数据还是序列数据,学习算法的最佳预测正确率(加粗字体)均高于人工策略,尤其是极其严格的最后注视策略,体现了本文方法在预测用户决策方面的优越性.同时,该结果还说明两种数据均适用于预测用户决策.
| 方法 | 正确率/% | |
| 学习算法 | 支持向量机 | 79.36 |
| 随机森林 | 75.23 | |
| 隐马尔科夫模型 | 57.72 | |
| 隐条件随机场 | 79.29 | |
| 人工策略 | 最多注视 | 64.24 |
| 最长注视 | 67.71 | |
| 最后注视 | 75.99 |
在眼动实验中有两种搜索任务:导航类和信息类.按照任务类型对两种格式的眼动数据进行标记,将预测用户意图转换为二分类问题.其中,导航类搜索任务的比例为49.96%,信息类搜索任务的比例为50.04%.如果将所占比例最多的一类作为预测结果,则正确率约为50%.
表 5和表 6给出了3层交叉验证的结果(隐状态数目为3个).其中,随机森林的预测正确率要高于支持向量机,并且采用“总次数+总时间”形式的直方图数据结果更好;隐条件随机场的预测正确率要高于隐马尔科夫模型,并且采用“位置+时间”形式的序列数据结果更好.
| 方法 | 正确率/% | ||
| 总次数 | 总时间 | 总次数+总时间 | |
| 支持向量机(线性) | 60.52 | 61.03 | 62.04 |
| 支持向量机(多项式) | 60.26 | 60.16 | 62.95 |
| 支持向量机(径向基) | 65.66 | 65.92 | 67.44 |
| 随机森林 | 67.78 | 69.89 | 70.32 |
| 方法 | 正确率/% | |
| 位置 | 位置+时间 | |
| 隐马尔科夫模型 | 60.65 | 无 |
| 隐条件随机场 | 71.77 | 72.12 |
图 5为不同训练集大小下,各算法的预测正确率(采用表 5和表 6中正确率最高的组合,隐状态数目为3个).随着训练数据的增加,预测正确率呈上升趋势.此外,随机森林的性能要优于支持向量机的性能,隐条件随机场的性能要优于隐马尔科夫模型的性能.
 |
| 图 5 不同训练集大小下的用户意图预测正确率Fig. 5 Accuracy of user intent prediction under different training data sizes |
图 6为不同隐状态数目下,隐马尔科夫模型和隐条件随机场的预测正确率(基于3层交叉验证).随着隐状态数目的增加,两种算法的预测正确率基本成上升趋势.
 |
| 图 6 不同隐状态数目下的用户意图预测正确率Fig. 6 Accuracy of user intent prediction under different number of hidden states |
本文给出基于眼动数据的网络搜索行为预测方法,经实验验证表明:①该方法能够有效地预测用户的网络搜索行为,包括用户决策和用户意图;②两种数据(直方图和序列)均适用于预测用户决策,其性能高于人工策略的性能;③序列数据更适合于预测用户意图,其性能高于基于点击数据和鼠标移动数据的预测方法.
为使本文提出的方法取得更好的性能,如何选取合适的特征来表示用户的视觉行为,以及设计专门的建模学习算法将是下一步的工作内容.
致谢 感谢北京工业大学WIC研究院提供眼动仪及眼动实验中所有被试的参与.感谢腾鹏博士为本研究提供的建议,以及钦夏孟的帮助.
| [1] | Lee U,Liu Z,Cho J.Automatic identification of user goals in web search[C]//Proceedings of the 14th International Conference on World Wide Web.New York:ACM,2005:391-400. |
| [2] | Li X,Wang Y Y,Acero A.Learning query intent from regularized click graphs[C]//Proceedings of the 31st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval.New York:ACM,2008:339-346. |
| [3] | Shen Y,Yan J,Ji L,et al.Sparse hidden-dynamics conditional random fields for user intent understanding[C]//Proceedings of the 20th International Conference on World Wide Web.New York:ACM,2011:7-16. |
| Click to display the text | |
| [4] | Agichtein E,Brill E,Dumais S,et al.Learning user interaction models for predicting web search result preferences[C]//Proceedings of the 29th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval.New York:ACM,2006:3-10. |
| Click to display the text | |
| [5] | Hassan A,Jones R,Klinkner K L.Beyond dcg:user behavior as a predictor of a successful search[C]//Proceedings of the 3rd ACM International Conference on Web Search and Data Mining.New York:ACM,2010:211-230. |
| Click to display the text | |
| [6] | Moshfeghi Y,Jose J M.On cognition,emotion,and interaction aspects of search tasks with different search intentions[C]//Proceedings of the 22nd International Conference on World Wide Web.New York:ACM,2013:931-942. |
| Click to display the text | |
| [7] | Wang K,Gloy N,Li X. Inferring search behaviors using partially observable markov(pom) model[C]//Proceedings of the 3rd ACM International Conference on Web Search and Data Mining.New York:ACM,2010:211-220. |
| Click to display the text | |
| [8] | Guo Q,Agichtein E.Exploring mouse movements for inferring query intent[C]//Proceedings of the 31st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval.New York:ACM,2008:707-708. |
| Click to display the text | |
| [9] | Guo Q,Agichtein E.Ready to buy or just browsing?:detecting web searcher goals from interaction data[C]//Proceedings of the 33rd International ACM SIGIR Conference on Research and Development in Information Retrieval.New York:ACM,2010:130-137. |
| Click to display the text | |
| [10] | Arguello J.Predicting search task difficulty[C]//Proceedings of the 36th European Conference on IR Research.Switzerland:Springer International Publishing,2014:88-99. |
| [11] | Rodden K,Fu X,Aula A,et al.Eye-mouse coordination patterns on web search results pages[C]//Proceedings of the CHI'08 Extented Abstracts on Human Factors in Computing Systems.New York:ACM,2008:2997-3002. |
| Click to display the text | |
| [12] | Guo Q,Agichtein E.Towards predicting web searcher gaze position from mouse movements[C]//Proceedings of the CHI'10 Extended Abstracts on Human Factors in Computing Systems.New York:ACM,2010:3601-3606. |
| Click to display the text | |
| [13] | Faro A,Giordano D,Pino C,et al.Visual attention for implicit relevance feedback in a content based image retrieval[C]//Proceedings of the 2010 Symposium on Eye-Tracking Research and Applications.New York:ACM,2010:73-76. |
| Click to display the text | |
| [14] | 施笑畏,黄瑶佳,胡鸿韬,等.眼动行为数据挖掘在提取网上购物决策因子中的应用[J].上海海事大学学报,2014,35(1): 60-64. Shi X W,Huang Y J,Hu H T,et al.Application of eye movement behavior data mining in identifying decision factors on online shopping[J].Journal of Shanghai Maritime University,2014,35(1):60-64(in Chinese). |
| Cited By in Cnki | |
| [15] | Giordano D,Kavasidis I,Pino C,et al.Content based recommender systems by using eye gaze data[C]//Proceedings of the Symposium on Eye Tracking Research and Applications.New York:ACM,2012:369-372. |
| Click to display the text | |
| [16] | 秦林蝉,钟宁,吕胜富,等.一种融合视觉决策理论预测用户选择的方法[J].计算机应用研究,2013,30(8):2549-2551. Qin L C,Zhong N,Lv S F,et al.Visual decision making theory conbined method to predict user choice[J].Application Research of Computers,2013,30(8):2549-2551(in Chinese). |
| Cited By in Cnki | |
| [17] | Bulling A,Weichel C,Gellersen H.Eyecontext:recognition of high-level contextual cues from human visual behavior[C]//Proceedings of the SIGCHI Conference on Human Factors in Computing Systems.New York:ACM,2013:305-308. |
| Click to display the text | |
| [18] | Border A.A taxonomy of web search[C]//SIGIR Forum.New York:ACM,2002,36(2):3-10. |
| [19] | Chang C C,Lin C J.Libsvm:a library for support vector machines[J].ACM Transactions on Intelligent System and Technology,2011,2(3):27. |
| Click to display the text | |
| [20] | Breiman L.Random forests[J].Machine Learning,2001,45(1): 5-32. |
| Click to display the text | |
| [21] | Murphy K.Hidden Markov model(HMM)toolbox for Matlab[CP/OL].[2014-04-20].http://www.cs.ubc.ca/-murphyk/Software/HMM/hmm.html. |
| Click to display the text | |
| [22] | Morency L P,Christoudias C M,Quattoni A,et al.HCRF 2.0b[CP/OL].[2014-04-20].http://sourceforge.net/projects/hcrf. |
| Click to display the text |
