面部表情分析技术在露酒感官及消费者接受度评价的初步研究

露酒作为我国的四大酒种之一，拥有悠久的生产和品鉴历史[1-2]。GB/T 27588—2011《露酒》[3]中，露酒定义为以蒸馏酒、发酵酒等作为酒基，加入可食用或药食两用(或符合相关规定)的辅料或食品添加剂，进行调配、混合或再加工制成的、已改变了其原酒基风格的饮料酒。我国露酒以保健酒产品为主，具有一定的营养补益功能，知名的露酒如劲酒、竹叶青酒等，符合现代人的健康消费需求，深受消费者喜爱[1-2]。目前，风味和功效是露酒研发的两个主要方向[1,4]，风味分析主要围绕仪器分析和感官品评展开。

近年来，消费者研究越来越得到重视。通过探索消费者对于产品的外观、气味、味道、质地等方面的感官及情感评价，以及他们的消费习惯、对产品的品牌认知、价格期待、购买欲望等方面的信息，能够更加有效、全面地了解消费者[5-6]。感官及情感评价被越来越广泛地应用于饮料酒类消费者研究中。WAEHRENS等[7]应用CATA(check-all-that-apply)方法对混合莓果汁进行消费者研究，发现感官特性与情感反应及喜好度，尤其是兴奋、产品新鲜度存在联系。消费者情感评价的研究方法通常可分为直接(显式)和间接(隐式)两种。直接研究方法通常会通过调查问卷、图片刺激等形式进行调查研究。间接研究方法指应用感官生理学研究方法探索消费者的反应，常用的研究方法包括面部表情分析、脑电分析、眼动追踪、皮肤电心跳等生理指标测量。

在间接研究方法中，面部表情分析是应用最多的研究方法之一。面部表情分析技术能够在食品消费，例如消费者品评过程中提供快速变化的情感信息[8]。EKMAN[9]将面部表情分为喜悦、悲伤、愤怒、惊讶、恐惧和厌恶6种。目前，面部表情分析技术已被广泛应用于消费者行为研究[10-11]。SAMANT等[12]运用面部表情分析技术，结合传统感官调查问卷、生理指标测定(心跳、皮肤电等)，研究了混合蔬菜汁产品的感官特性、消费者情感反应、非感官影响因素(品牌效应等)及购买意向的关系，发现感官特性、消费者情感反应、非感官影响因素均对消费者的购买意向有显著影响，其中苦味和购买意向两个维度的影响尤为强烈。

目前，在露酒产品的感官及消费者研究中，少有应用间接方法进行研究，更少有研究能够将直接和间接方法相结合[13]。本研究采用面部表情分析与感官品评相结合的方法，旨在探索露酒品评过程中消费者感官评价及情感反应变化，分析面部表情与感官评价、消费者接受度的关联，同时，评价面部表情作为消费者露酒接受度评价研究手段的可行性。

1 材料与方法

1.1 样品

本实验选取相同工艺、不同酒精度、含糖量的3款露酒样品进行研究，采用盲样盲测。样品具体参数见表1。

表1 酒样品信息
Table 1 Information of Chinese Lujiu samples

1.2 评价人员

以往研究显示，采用间接研究方法如面部表情、脑电等的消费者研究，样本量在12～161人[13]。本实验在感官消费者实验室进行，招募10名消费者进行评测，其中女性4人，男性6人，消费者年龄在22～26岁(平均年龄24.3岁)。

通过事前调查问卷对消费者进行筛选(要求被试者对酒精不过敏，有露酒饮酒历史)，同时了解消费者饮酒习惯、品牌偏好性、酒种偏好性等。符合条件的消费者被邀请参与本项实验。实验前，参与者被告知实验内容、可能的风险等，并签署《知情同意书》。

1.3 实验方法

1.3.1 感官评价及消费者接受度测试

露酒感官评价方法参考GB/T 27588—2011[3]，从外观、香气、滋味、后味和个性5个维度进行评价。强度标记参考GB/T 33405—2016[14]，0～9依次表示从无到非常强。感官特性词汇经专家级露酒品评员商议，选取13个露酒样品感特性(色泽、澄清度、香气和谐、香气愉悦、药香、果香棉柔、口感和谐、甜味、酸味、涩味、后味、个性)进行品评。

消费者接受度测试是指测试目标消费者对某个产品的接受程度，其中9点喜好标度方法是消费者接受度测试中常用的方法之一[15-16]。9点法由LAWLESS等[17]提出，能够测试出消费者对产品的平均接受和喜好程度。1～9依次表示1-极端厌恶、2-非常厌恶、3-一般厌恶、4-稍微厌恶、5-既不喜欢也不厌恶、6-稍微喜欢、7-一般喜欢、8-非常喜欢、9-极端喜欢[18]。

1.3.2 面部表情

采用高清摄像头(奥尼C33,1 080p)采集被试者品评过程中的面部表情信息。通过FaceReader软件(版本8.1，诺达思，荷兰)分析。FaceReader软件以Viola-Jones[19]算法为基础，以5 Hz的频次捕捉面部信息。识别到面部信息之后，基于AAM(Active Appearance Model)建立3D面部模型，标记面部超过500个肌肉关键点。面部表情分类基于超过10 000个专家分类的表情图像数据库进行[20]。面部表情数据可以分为7种基本表情：喜悦、悲伤、愤怒、惊讶、恐惧、厌恶以及中立[7]。每种情绪强度变化从0(确实)～1(完全体现)。另外，表情唤醒度(强度从0-不活跃～1-完全活跃)和情绪效价(从-1代表负向情绪～1代表正向情绪)也用于本实验结果分析。

1.4 实验步骤

实验开始前，对实验参与者面部表情进行校准，保持静息30 s。以往实验表明，经过校准的面部表情信息准确度更高[8]。

实验开始后，参与者对纯净水参照样及3个酒样品逐个品评，每个样品的品评分为4个过程：观色(30 s)、闻香(30 s)、入口品尝(5 s)和吞咽后(20 s)。品尝后，参与者对样品的感官特性及接受度进行打分。样品与样品间，需用纯净水和苏打饼干清口(实验步骤见图1)。

图1 实验步骤图
Fig.1 Overall scheme of experimental procedure

1.5 数据分析

1.5.1 感官特性评价

感官特性评分采用平均值和标准偏差方法进行统计学分析。样本定义为因变量，感官属性定义为自变量建立方差模型，同时进行最小显著性差异法(Fisher′s least significant difference，LSD)分析，以查看两个样品是否在不同的感官属性上显著不同。

1.5.2 面部表情

采用FaceReader及R(版本4.0.4)软件对数据进行处理和分析。分别分析计算各个情绪强度的平均值与标准差，进一步分析得出情绪的效价和唤醒度信息。建立方差模型，分析不同样品及其不同品尝阶段在不同情绪之间是否存在显著差异。

1.5.3 面部表情与感官特性评测综合分析

以感官评测问卷、面部表情变化均值建立多元因子分析(multiple factor analysis, MFA)模型，分析面部表情与感官特性之间的联系，其中感官评价分数、面部表情情绪强度值各为一组，消费者接受度为补充组。

2 结果与分析

2.1 消费者感官评测及接受度

消费者对于3款露酒样品感官评测的方差分析结果如表2所示。3款样品在色泽和药香两个特征上存在显著差异(P<0.05)。样品LJ_LS颜色透明，样品LJ_MS和LJ_HS颜色偏黄，差异较小。LJ_LS和LJ_HS香气较协调，愉悦度较高，样品LJ_MS药香突出。LJ_HS口感最绵柔、协调，甜度最高，样品LJ_MS和LJ_LS口感绵柔度和甜度相近，而LJ_MS的口感协调度略低。

在接受度方面，消费者对于样品色泽和香气的喜好度总体高于口感和后味(图2)。样品LJ_HS整体来说最受消费者欢迎，在色泽、香气和口感上的得分也最高。样品LJ_LS与LJ_MS整体、口感和香气喜好度上差异不大。

表2 酒样感官品评平均分数及差异性
Table 2 Mean values of sensory evaluation

注：*代表P<0.05，***代表P<0.001，不同字母代表具有显著差异的样品

图2 三款酒样色泽、香气、口感、后味和整体喜好度
消费者评价
Fig.2 Hedonics of color， aroma, mouthfeel, aftertaste and overall liking of 3 Lujiu samples

2.2 消费者情感反应(面部表情分析)

图3展示了在露酒样品的品评过程中消费者不同情绪强度。可以看出，不同情绪强度差异明显，其中中立情绪明显高于其他情绪。悲伤、厌恶、愤怒和喜悦4种情绪强度值相对较高，而惊讶和愤怒两种情绪强度值较低。参照以往酒类产品的消费者面部表情分析研究，负向情绪占比更高[21]，这与本研究结果相符。

比较分析不同样品不同品评阶段的情绪唤醒度(图4)可知，3个酒样品从观色到闻香阶段，唤醒度变化不明显，在闻香阶段3个酒样品的情绪唤醒度明显高于水对照样。样品LJ_LS和LJ_MS在品尝阶段情绪唤醒度下降，而样品LJ_HS在品尝阶段情绪唤醒度升高，其高糖度可能是造成唤醒度升高的原因。3款酒样的情绪唤醒度均在吞咽后下降。样品LJ_LS和LJ_MS的情绪效价变化趋势相近，均在闻香过程达到最低，而后缓慢上升，样品LJ_HS的情绪则在闻香阶段最高。

a-中立、悲伤、愤怒、厌恶情绪；b-喜悦、惊讶、恐惧情绪
图3 消费者不同样品不同品评阶段情绪FaceReader数值(0～1)
Fig.3 Means(0-1) of consumers′ facial expression on different tasting stages of Lujiu samples from FaceReader

以产品、品评阶段及其相互影响为自变量，以面部表情情绪为因变量，建立方差模型，分析露酒不同样品及其不同品尝阶段在情绪之间的差异性。从表3方差分析结果可以看出，在7种基本情绪中，愤怒情绪能够显著区分不同样品(P<0.05)，即消费者在品评不同样品时感到的情绪值明显不同；在不同品评阶段，中立、喜悦和惊讶3种表情存在显著差异(P<0.05)；样品和品评阶段间相互影响无显著差异性(P≥0.05)。

a-情绪唤醒度；b-效价数值
图4 三个露酒样品和水样品不同品评阶段FaceReader情绪唤醒度、效价数值
Fig.4 Arousal and valance of facial expressions of different tasting stages of 3 Lujiu samples and water sample derived from FaceReader

对能够显著区分酒样及不同品评阶段的四类情绪(中立、喜悦、愤怒、惊讶)进行具体分析。结果如图5所示，对于中立和喜悦情绪，3款酒样不同阶段的变化趋势相近，其中中立情绪在闻香阶段下降到最低，而后上升；喜悦情绪则相反，在闻香阶段上升至最高，而后下降。比较而言，样品LJ_HS的情绪变化强度最高，样品LJ_LS与LJ_MS相近；惊讶情绪，3款样品与水对照样的差异较大；就愤怒情绪而言，情绪变化不大。3款酒样的不同情绪对比可以看出，样品LJ_HS 的正向情绪喜悦及惊讶值最高，而负向情绪愤怒值LJ_HS最低，这与消费者问卷中LJ_HS最受欢迎相符合。对比样品LJ_MS与LJ_LS，两个样品在喜悦和愤怒值相近，惊讶值LJ_MS高于LJ_LS。

表3 面部表情方差分析图
Table 3 ANOVA of facial expressions

注：加粗的F值为存在显著差异，其中*代表P<0.05，**代表P<0.01

a-中立；b-喜悦；c-愤怒；d-惊讶
图5 四个样品不同品评阶段FaceReader中立、喜悦、愤怒和惊讶情绪数值(0-1)
Fig.5 Mean values (0-1) of facial expressions neutral, happy, angry and surprise of different tasting stages of 3 Lujiu samples and water sample derived from FaceReader

2.3 消费者面部表情、产品感官特性与接受度的相关性分析

通过建立MFA模型研究各露酒样品在感官特性、情绪维度和消费者接受度的相关性。图6显示了表情情绪(绿色)与感官特性(红色)间的相关性，图7显示了不同产品不同品评阶段的信息。结果表明，消费者的中立、恐惧和惊讶情绪和产品的色泽、药香和个性紧密相关，而喜悦、厌恶和悲伤情绪则和产品香气的和谐度和愉悦度紧密相关。第一象限(总变化占比32.61%)能够区分出不同的产品，样品LJ_HS不同品评阶段的数值相近且均位于第一象限正向，样品LJ_LS不同品评阶段的数值分布接近中心零点，而样品LJ_MS均位于第一象限负值；第二象限区(总变化占比27.92%)分出不同的品评阶段，观色阶段的数值在第二象限分布最高，其次是吞咽、品评，而闻香最低。样品LJ_HS在甜味、绵柔、口感和谐和果香的得分均最高，与其最受欢迎相符合，同时，其正向情绪喜悦值最高。

图6 消费者面部表情、产品感官特性与接受度相关性MFA
Fig.6 MFA plot of correlation between facial expressions, sensory attributes and consumer acceptance of Lujiu samples′ tasting stages

图7 消费者面部表情、产品感官特性与接受度相关性MFA
Fig.7 MFA individual factor map of correlation between facial expressions, sensory attributes and consumer acceptance of Lujiu samples′ tasting stages
注：LK代表观色阶段，SM代表闻香，TS代表品尝，SW代表吞咽后

3 结论与讨论

本研究首次将面部表情分析技术与感官评测结合，对露酒产品的消费者接受度进行初步探索，以揭示露酒产品感官特性、消费者面部表情情绪与接受度的关联性。研究结果表明，含糖量不同的露酒样品在色泽和药香上、在感官评价结果上存在显著差异，其中甜味、口感和谐、绵柔和果香与产品接受度紧密相关；愤怒情绪能够有效区分不同产品，中立、喜悦和惊讶情绪能够有效区分不同的品评阶段；最受消费者喜爱的是含糖量最高的样品LJ_HS，该样品的面部表情正向情绪强度值在3个酒样中最高。面部表情分析技术可作为露酒消费者感官及接受度评价的一种有效研究方法，将其与感官评测相结合，能够更全面的区分不同产品及不同品评阶段的特点。