在音素恢复过程中，我们会看脸的哪个部分——来自一项眼动追踪研究

摘要：

面对面沟通通常涉及语音信号的声音和视觉分量。为了研究任务需求对脸部凝视模式的影响，本研究进行了实验的视听（从嘴里的发音信息是可见的）和像素化的条件（发音信息是不可见的）的眼动追踪研究。同时，让被试在被动（无响应）或主动（按钮按下响应）的背景条件下响应反应。刺激包括一个音节/ba/的清晰音频和其中共振峰的首辅音被减少，产生一个类似/a/−的辅音音频。与我们的假设一致，结果显示，最大的注视发生在嘴巴是目前在视听活动实验和视觉发音信息中导致的音素恢复效果的/a/语音要素。在像素化的条件下，被试注视在眼睛上，和不一致的视觉异常过程在积极的实验是显着大于视听条件。这些结果表明，当需要消除不一致的语音变化时，成年人可能会期待嘴巴的发音来支持处理进程。

实验刺激

本研究中使用的刺激是通过录像和记录母语为英语的成年男性说话产生音节/ba/来创造的。听觉刺激是通过基于音节的自然产生合成语音并系统地平坦化共振峰过渡以创建/a/来创建的。说话者面部的视频不会改变（总是产生/ba/），但听觉刺激（/ba/或/a/）会变化。因此，当/a/听觉刺激在视觉/ba/上配音时，视觉影响将有效地“恢复”减弱的听觉线索，使得刺激被感知为a /ba/，类似于视觉音位恢复效应。

A）/ba/和（B）/a/的光谱图

当嘴巴可见时（A）和当嘴巴被像素化时（B）的讲话者的采样图像

眼动追踪

实验是在密闭的无窗户房间里进行的。测试前，对每位被试进行眼动仪五点校准和验证。如果检测到x轴或y轴漂移超过2°，则完成重新校准和验证。

使用Experiment Builder软件（SR Research Experiment Builder）创建实验。这些刺激以70/30的oddball实验范式设计呈现，其中/ba/是频繁出现的（标准刺激，70%），与/a/作为不频繁出现的（异常刺激，30%）。

在两个实验站点收集单眼眼动数据。一个在Haskins Laboratories使用Eyelink 1000；一个在University of Rhode Island使用Eyelink Portable Duo，两个系统的采样率均为500 Hz。刺激语句在相同的19寸PC计算机显示器上显示，显示分辨率为1280 × 1024。同时采集EEG数据和眼动跟踪数据，因此实施眼动跟踪器Remote模式，并将目标贴纸放置在被试前额上，允许系统补偿高达20 cm的头部运动。

数据预处理

对数据进行预处理，使用EyeLink Data Viewer（版本4.1.1）在面部识别画出感兴趣的区域。其中包括：眼睛、鼻子、嘴巴/下巴和头部。

数据清理

使用EyeLink Data Viewer软件导出眼动跟踪数据，并分几个阶段进行数据清理。使用3阶段清洗数据。具体地，将<80 ms且在0.5°内的注视与相邻注视合并，将<40 ms且在1.25°内的注视与相邻注视合并，并且从分析中排除任何剩余的<80 ms的注视。已经发现，50 ms是眼脑滞后，因此被认为是人必须观看刺激以提取有用的视觉信息以进行处理的最小持续时间（Inhoff和Radach，1998）。在3阶段清洗后，如果被试没有任何屏幕注视（0.8%）或面部没有注视（2.0%），则移除该试次。

数据结果图

在每个试验的过程中，分别针对每个实验组合（活性vs.被动）和条件[视听（AV）或像素化（PX）]。

在试验过程中分析了注视状态（以动态测量说话者发出/ba/或/a/时发音器的观察模式差异）。使用时间进程（分组）报告导出数据。该报告将时间bin到20 ms bin中，并排除了眨眼或扫视期间落在四个预定义感兴趣区域之外的样本。所有进一步分析均在R中进行。

图中分别示出了试验过程中每个感兴趣区域的平均注视比例

更多数据详情解释，请参考原文献。

参考文献：

Baron A, Harwood V, Kleinman D, Campanelli L, Molski J, Landi N and Irwin J (2023) Where on the face do we look during phonemic restoration: An eye-tracking study. Front. Psychol. 14:1005186. doi: 10.3389/fpsyg.2023.1005186