虚拟现实中眼动交互频率对视觉疲劳影响的研究

doi:10.11996/JG.j.2095-302X.2024030528

图学学报 ›› 2024, Vol. 45 ›› Issue (3): 528-538.DOI: 10.11996/JG.j.2095-302X.2024030528

• 计算机图形学与虚拟现实 • 上一篇下一篇

虚拟现实中眼动交互频率对视觉疲劳影响的研究

严家豪(), 吕健(), 侯宇康, 莫心祝

贵州大学现代制造技术教育部重点实验室，贵州贵阳 550025

收稿日期:2023-07-31 接受日期:2023-12-07 出版日期:2024-06-30 发布日期:2024-06-11
通讯作者:吕健(1983-)，男，副教授，博士。主要研究方向为虚拟现实、工业设计与交互设计等。E-mail：jlv@gzu.edu.cn
第一作者:严家豪(1998-)，男，硕士研究生。主要研究方向为虚拟现实与工业设计。E-mail：314383452@qq.com
基金资助:
国家自然科学基金项目(52065010);贵州科技计划项目([2022]2-3);贵州科技计划项目([2022] General 067)

Research on the influence of eye movement interaction frequency on visual fatigue in virtual reality

YAN Jiahao(), LV Jian(), HOU Yukang, MO Xinzhu

Key Laboratory of Advanced Manufacturing Technology of the Ministry of Education, Guizhou University, Guiyang Guizhou 550025, China

Received:2023-07-31 Accepted:2023-12-07 Published:2024-06-30 Online:2024-06-11
First author：YAN Jiahao (1998-), master student. His main research interests cover virtual reality and industrial design. E-mail：314383452@qq.com
Supported by:
National Natural Science Foundation of China(52065010);Science and Technology Projects in Guizhou Province([2022]2-3);Science and Technology Projects in Guizhou Province([2022] General 067)

摘要/Abstract

摘要：

为探究虚拟现实(VR)中眼动交互频率的高低是否会引起用户视觉疲劳，本文选取了25名被试者，在VR房间进行了视觉疲劳实验，在0.2~1.6 Hz范围内设置8个交互频率，每位被试者分别在每个频率下进行了20 min的实验。使用头戴式显示器(HMD)内置的眼动仪采集瞳孔直径数据和眨眼数据，将采集的数据进行线性插值处理和降噪处理。首先，使用五级疲劳量表记录被试者的主观评价，利用瞳孔直径的相对变化率反映疲劳程度。然后，使用Spearman相关性分析来探究视觉舒适度评分和眨眼频率之间的联系，再进行Kruskal-Wallis检验分析眨眼频率与交互频率的关系。最后，以VR中FAST馈源拆装机器人数字孪生系统为例验证该方法的可行性。实验结果表明，0.6 Hz的瞳孔直径变化率最小，在-1.86%~2.26%之间浮动，是相对舒适的交互频率；视觉疲劳等级最高时的眨眼频率为52次/分；在频率范围为0.2~0.6 Hz之间时，随着交互频率的减少，被试者的视觉疲劳程度在增加，在0.8~1.6 Hz之间时，被试者的视觉疲劳程度随着交互频率的增加而增加，0.6 Hz时的眨眼频率最低；合适的眼动交互频率能够降低视觉疲劳的程度。

关键词: 虚拟现实, 视觉疲劳, 眼动交互, 瞳孔直径, 眨眼频率

Abstract:

To investigate whether the frequency of eye movement interaction in virtual reality (VR) causes visual fatigue in users, 25 participants were selected for a visual fatigue experiment in a VR room. Eight interaction frequencies were set within the range of 0.2 to 1.6 Hz, and each participant underwent a 20-minute experiment at each frequency. Data on pupil diameter and blink frequency were captured using the built-in eye tracker in the head-mounted display (HMD) and were then subjected to linear interpolation and noise reduction processing. Firstly, subjective evaluations of the participants were recorded using a five-level fatigue scale, and the relative change rate in pupil diameter was utilized to reflect the degree of fatigue. Then, Spearman correlation analysis was employed to explore the relationship between subjective comfort ratings and blink frequency. Additionally, Kruskal-Wallis tests were conducted to analyze the relationship between blink frequency and interaction frequency. Finally, the proposed method was validated using the FAST disassembly and assembly robot digital twin system in VR. The experimental results demonstrated that the pupil diameter variation rate was minimal at 0.6 Hz, ranging from -1.86% to 2.26%, indicating a relatively comfortable interaction frequency. The highest blink frequency was 52 blinks per minute, with the highest level of visual fatigue. Within the frequency range of 0.2 to 0.6 Hz, the participants’ visual fatigue increased as the interaction frequency decreased. However, within the range of 0.8 to 1.6 Hz, the visual fatigue increased with the increase in frequency, with the lowest blink frequency observed at 0.6 Hz. Thus, appropriate eye movement interaction frequencies can reduce the degree of visual fatigue.

Key words: virtual reality, visual fatigue, eye movement interaction, pupil diameter, blinking frequency

中图分类号:

TP391.9

严家豪, 吕健, 侯宇康, 莫心祝. 虚拟现实中眼动交互频率对视觉疲劳影响的研究[J]. 图学学报, 2024, 45(3): 528-538.

YAN Jiahao, LV Jian, HOU Yukang, MO Xinzhu. Research on the influence of eye movement interaction frequency on visual fatigue in virtual reality[J]. Journal of Graphics, 2024, 45(3): 528-538.

图/表 24

参考文献 21

[1]	ZHANG X B, LIU X L, YUAN S M, et al. Eye tracking based control system for natural human-computer interaction[EB/OL]. [2023-01-23]. https://www.hindawi.com/journals/cin/2017/5739301/.
[2]	PLOPSKI A, HIRZLE T, NOROUZI N, et al. The eye in extended reality: a survey on gaze interaction and eye tracking in head-worn extended reality[J]. ACM Computing Surveys, 2022, 55(3): 1-39.
[3]	GUO J E, WENG D D, ZHANG Z L, et al. Subjective and objective evaluation of visual fatigue caused by continuous and discontinuous use of HMDs[J]. Journal of the Society for Information Display, 2019, 27(2): 108-119.
[4]	WANG Y, ZHAI G T, CHEN S C, et al. Assessment of eye fatigue caused by head-mounted displays using eye-tracking[J]. Biomedical Engineering Online, 2019, 18: 1-19.
[5]	JACOBS J, WANG X, ALEXA M. Keep it simple: depth-based dynamic adjustment of rendering for head-mounted displays decreases visual comfort[J]. ACM Transactions on Applied Perception, 2019, 16(3): 1-16.
[6]	FAN L, WANG J J, LI Q, et al. Eye movement characteristics and visual fatigue assessment of virtual reality games with different interaction modes[J]. Frontiers in Neuroscience, 2023, 17: 1173127.
[7]	HIROTA M, KANDA H, ENDO T, et al. Comparison of visual fatigue caused by head-mounted display for virtual reality and two-dimensional display using objective and subjective evaluation[J]. Ergonomics, 2019, 62(6): 759-766. DOI PMID
[8]	LI X J, LING J X, SHEN Y. Visual fatigue relief zone in an extra-long tunnel using virtual reality with wearable EEG-based devices[J]. Journal of Central South University, 2021, 28(12): 3871-3881.
[9]	姜颖, 洪军, 王崴, 等. 面向VDT显示界面的视觉舒适度客观描述方法[J]. 中南大学学报: 自然科学版, 2017, 48(1): 77-83.
	JIANG Y, HONG J, WANG W, et al. An objective description method of visual comfort for VDT display interface[J]. Journal of Central South University: Science and Technology, 2017, 48(1): 77-83 (in Chinese).
[10]	TIAN P Y, XU G H, HAN C C, et al. Effects of paradigm color and screen brightness on visual fatigue in light environment of night based on eye tracker and EEG acquisition equipment[J]. Sensors, 2022, 22(11): 4082.
[11]	胡淑燕, 郑钢铁. 应用支持向量机的眼睑参数疲劳预测[J]. 北京航空航天大学学报, 2009, 35(8): 929-932.
	HU S Y, ZHENG G T. Driver fatigue prediction with eyelid related parameters by support vector machine[J]. Journal of Beijing University of Aeronautics and Astronautics, 2009, 35(8): 929-932 (in Chinese).
[12]	SONG M C, LI L N, GUO J T, et al. A new method for muscular visual fatigue detection using electrooculogram[J]. Biomedical Signal Processing and Control, 2020, 58: 101865.
[13]	孙瑞山, 张尧, 孙军亚. 驾驶舱灯光色温与视觉疲劳关系模拟试验研究[J]. 安全与环境学报, 2022, 22(2): 785-791.
	SUN R S, ZHANG Y, SUN J Y. Simulation experiment research on the relationship between light color temperature and visual fatigue in the cockpit[J]. Journal of Safety and Environment, 2022, 22(2): 785-791 (in Chinese).
[14]	张爱华, 赵治月, 杨华. 基于心电脉搏特征的视觉疲劳状态识别[J]. 计算机工程, 2011, 37(7): 279-281. DOI
	ZHANG A H, ZHAO Z Y, YANG H. Visual fatigue state recognition based on ECG pulse feature[J]. Computer Engineering, 2011, 37(7): 279-281 (in Chinese).
[15]	SOUCHET A D, PHILIPPE S, LOURDEAUX D, et al. Measuring visual fatigue and cognitive load via eye tracking while learning with virtual reality head-mounted displays: a review[J]. International Journal of Human-Computer Interaction, 2022, 38(9): 801-824.
[16]	ISKANDER J, HOSSNY M. Measuring the likelihood of VR visual fatigue through ocular biomechanics[J]. Displays, 2021, 70: 102105.
[17]	SOUCHET A D, LOURDEAUX D, PAGANI A, et al. A narrative review of immersive virtual reality’s ergonomics and risks at the workplace: cybersickness, visual fatigue, muscular fatigue, acute stress, and mental overload[J]. Virtual Reality, 2023, 27(1): 19-50.
[18]	徐明伟, 金龙哲, 田兴华, 等. 受限空间不同照度环境下VDT作业视觉疲劳[J]. 工程科学学报, 2020, 42(12): 1605-1612.
	XU M W, JIN L Z, TIAN X H, et al. Visual fatigue of VDT operation under different illumination conditions in confined space[J]. Chinese Journal of Engineering, 2020, 42(12): 1605-1612 (in Chinese).
[19]	田会娟, 关涛, 蔡敏鹏, 等. 基于瞳孔直径的VDT视觉舒适度评价方法研究[J]. 激光与光电子学进展, 2020, 57(15): 300-306.
	TIAN H J, GUAN T, CAI M P, et al. Evaluation model of VDT visual comfort based on pupil diameter[J]. Laser & Optoelectronics Progress, 2020, 57(15): 300-306 (in Chinese).
[20]	牛清宁, 周志强, 金立生, 等. 基于眼动特征的疲劳驾驶检测方法[J]. 哈尔滨工程大学学报, 2015, 36(3): 394-398.
	NIU Q N, ZHOU Z Q, JIN L S, et al. Detection of driver fatigue based on eye movements[J]. Journal of Harbin Engineering University, 2015, 36(3): 394-398 (in Chinese).
[21]	ISKANDER J, HOSSNY M, NAHAVANDI S. A review on ocular biomechanic models for assessing visual fatigue in virtual reality[J]. IEEE Access, 2018, 6: 19345-19361.

研究点	方法	优点	缺点
夜间光环境下颜色和屏幕亮度对视觉疲劳的影响^[10]	2022年，TIAN等^[10]利用Matlab编写了不同颜色范式的刺激，使用眼动仪和脑电图设备收集信号，并进行数据处理和分析，最终获得不同颜色和不同屏幕亮度在黑暗环境中对人类视觉疲劳的影响	1. 利用了眼动仪和脑电图设备，可同时收集视觉疲劳的主观和客观指标，提高了研究的可信度和有效性 2. 设计了不同颜色和不同屏幕亮度的范式，可探究这些因素对视觉疲劳的影响，增加了研究的广泛性和实用性 3. 提出了一个新的指标，视觉抗疲劳指数，可为视觉疲劳的评估和预防提供一个量化的参考，有利于人眼保护	1. 只在黑暗环境中进行实验，未考虑其他光线条件对视觉疲劳的影响，降低了研究的普适性和代表性 2. 脑电信号受环境噪声、头皮电阻、电极位置等因素的影响，信号质量不稳定
VR中不同的游戏交互模式下的眼动特征和视觉疲劳评估^[6]	2023年，FAN等^[6]通过使用头戴式显示器内置的眼动仪，记录眼动参数，使用视觉疲劳量表和模拟器晕眩问卷进行主观评估，评估VR体验的视觉疲劳和整体不适感	1. 头戴式显示器内置的眼动仪能够提供实时的眼动参数信息，即时反馈个体的眼动状态。这为及时评估和干预视觉疲劳提供了便利 2. 使用了Visual Fatigue Questionnaire和SSQ问卷，优点是能够全面地捕捉到VR使用对人体的影响，可以更全面的提供使用VR时的身体反应和感受信息	1. 未进一步深入了解这2种交互模式下视觉疲劳的产生机制 2. 未进行实例验证，很难得出具体的结论或将研究结果应用于实际场景
驾驶舱灯光色温与视觉疲劳关系模拟试验研究^[13]	2022年，孙瑞山等^[13]采用单因素方差分析和描述性统计的数据分析方法，对被试者处于不同灯光环境下的主观疲劳程度、视觉舒适度和闪光临界频率值的差异和变化趋势进行分析和评价	1. 通过在仿真驾驶舱内进行实验，研究者可以更好地控制实验环境，排除其他干扰因素对结果的影响 2. 该方法使用了主观视觉疲劳量表、视觉舒适度量表和闪光融合临界频率仪，对被试者的视觉舒适度和疲劳程度进行了多维度的连续测量。这有助于综合评估灯光色温对视觉疲劳的影响，提供更全面的结果	1. 闪光融合临界频率仪可能引起被试者的不适感和眩晕感，影响测量结果的准确性 2. 闪光融合临界频率仪与驾驶任务的复杂性、持续时间、难度等因素有交互作用，导致测量结果的变化
基于心电脉搏特征的视觉疲劳状态识别^[14]	2011年，张爱华等^[14]使用ECG和脉搏波信号，经信号预处理分析后，提取实验前后的ECG和脉搏波信号特征。采用支持向量机法对实验前后的ECG脉搏组合特征进行分类	1. 从生物医学信号角度检测和评估视觉疲劳，提供一种客观、有效和无创的方法 2. 心电图提供客观的生理指标，通过测量心率和心律的变化，可以间接反映出身体状况和压力水平。与主观评估方法相比，心电图测量可以减少个体主观认知的偏见，提供更客观的评估结果	1. 可能受到被试者的个体差异、情绪和环境等因素的影响 2. 缺乏特定指标：心电图测量提供的指标主要包括心率和心律的分析，这些指标不能直接反映眼部疲劳的程度

研究点	方法	优点	缺点
夜间光环境下颜色和屏幕亮度对视觉疲劳的影响^[10]	2022年，TIAN等^[10]利用Matlab编写了不同颜色范式的刺激，使用眼动仪和脑电图设备收集信号，并进行数据处理和分析，最终获得不同颜色和不同屏幕亮度在黑暗环境中对人类视觉疲劳的影响	1. 利用了眼动仪和脑电图设备，可同时收集视觉疲劳的主观和客观指标，提高了研究的可信度和有效性 2. 设计了不同颜色和不同屏幕亮度的范式，可探究这些因素对视觉疲劳的影响，增加了研究的广泛性和实用性 3. 提出了一个新的指标，视觉抗疲劳指数，可为视觉疲劳的评估和预防提供一个量化的参考，有利于人眼保护	1. 只在黑暗环境中进行实验，未考虑其他光线条件对视觉疲劳的影响，降低了研究的普适性和代表性 2. 脑电信号受环境噪声、头皮电阻、电极位置等因素的影响，信号质量不稳定
VR中不同的游戏交互模式下的眼动特征和视觉疲劳评估^[6]	2023年，FAN等^[6]通过使用头戴式显示器内置的眼动仪，记录眼动参数，使用视觉疲劳量表和模拟器晕眩问卷进行主观评估，评估VR体验的视觉疲劳和整体不适感	1. 头戴式显示器内置的眼动仪能够提供实时的眼动参数信息，即时反馈个体的眼动状态。这为及时评估和干预视觉疲劳提供了便利 2. 使用了Visual Fatigue Questionnaire和SSQ问卷，优点是能够全面地捕捉到VR使用对人体的影响，可以更全面的提供使用VR时的身体反应和感受信息	1. 未进一步深入了解这2种交互模式下视觉疲劳的产生机制 2. 未进行实例验证，很难得出具体的结论或将研究结果应用于实际场景
驾驶舱灯光色温与视觉疲劳关系模拟试验研究^[13]	2022年，孙瑞山等^[13]采用单因素方差分析和描述性统计的数据分析方法，对被试者处于不同灯光环境下的主观疲劳程度、视觉舒适度和闪光临界频率值的差异和变化趋势进行分析和评价	1. 通过在仿真驾驶舱内进行实验，研究者可以更好地控制实验环境，排除其他干扰因素对结果的影响 2. 该方法使用了主观视觉疲劳量表、视觉舒适度量表和闪光融合临界频率仪，对被试者的视觉舒适度和疲劳程度进行了多维度的连续测量。这有助于综合评估灯光色温对视觉疲劳的影响，提供更全面的结果	1. 闪光融合临界频率仪可能引起被试者的不适感和眩晕感，影响测量结果的准确性 2. 闪光融合临界频率仪与驾驶任务的复杂性、持续时间、难度等因素有交互作用，导致测量结果的变化
基于心电脉搏特征的视觉疲劳状态识别^[14]	2011年，张爱华等^[14]使用ECG和脉搏波信号，经信号预处理分析后，提取实验前后的ECG和脉搏波信号特征。采用支持向量机法对实验前后的ECG脉搏组合特征进行分类	1. 从生物医学信号角度检测和评估视觉疲劳，提供一种客观、有效和无创的方法 2. 心电图提供客观的生理指标，通过测量心率和心律的变化，可以间接反映出身体状况和压力水平。与主观评估方法相比，心电图测量可以减少个体主观认知的偏见，提供更客观的评估结果	1. 可能受到被试者的个体差异、情绪和环境等因素的影响 2. 缺乏特定指标：心电图测量提供的指标主要包括心率和心律的分析，这些指标不能直接反映眼部疲劳的程度

舒适度等级	视觉状态	舒适度评分/分评价结果
1级	无不适感	1···很舒适
2级	无明显不适感	2···舒适
3级	有不适感	3···一般舒适
4级	明显不适	4···不舒适
5级	严重不适	5···很不舒适

舒适度等级	视觉状态	舒适度评分/分评价结果
1级	无不适感	1···很舒适
2级	无明显不适感	2···舒适
3级	有不适感	3···一般舒适
4级	明显不适	4···不舒适
5级	严重不适	5···很不舒适

眼动交互频率/ Hz	瞳孔直径变化率/%	眨眼频率/ (次/分钟)
0.2	-4.94~5.56	35
0.4	-2.76~4.68	30
0.6	-1.86~2.26	25
0.8	-2.16~4.68	28
1.0	-5.92~5.18	38
1.2	-6.37~2.99	40
1.4	-8.61~7.61	54
1.6	-8.77~8.51	57

虚拟现实中眼动交互频率对视觉疲劳影响的研究

Research on the influence of eye movement interaction frequency on visual fatigue in virtual reality

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 24

参考文献 21

相关文章 15

编辑推荐

Metrics

本文评价

方程	R²	F	常量	b1	b2
线性	0.970	327.392	-0.050	0.081	0
二次	0.985	259.853	-1.184	0.146	-0.001
三次	0.983	179.529	-3.063	0.309	-0.005
指数	0.875	69.985	0.924	0.029	0

编号	性别	年龄/ 岁	身高/ cm	体重/ kg	视力	身心状态
A	男	33	174	68.6	4.6	正常
B	男	30	176	67.3	4.8	正常
C	男	28	171	71.4	4.6	正常
D	男	35	172	65.6	4.6	正常
E	女	28	162	53.2	4.8	正常
F	女	30	158	51.3	4.4	正常
G	男	26	168	64.2	4.5	正常

编号	眼动交互频率/Hz	眨眼频率/ (次/分钟)	舒适度评分/分数		误差/ %
编号	眼动交互频率/Hz	眨眼频率/ (次/分钟)	主观	模型	误差/ %
A	0.2	42	3	3.184	5.77
B	0.6	26	2	1.936	3.30
C	0.8	28	2	2.120	5.66
D	1.4	59	4	3.949	1.29
E	0.2	40	3	3.056	1.83
F	0.6	28	2	2.120	5.66
G	0.8	38	3	2.920	2.73
B	0.4	27	2	2.029	1.42
B	1.0	40	3	3.056	1.83
D	1.0	37	3	2.849	5.30
D	1.2	42	3	3.184	5.77
E	1.2	57	4	3.889	2.85
E	0.4	38	3	2.920	2.73

[1]	王浩淼, 桑胜举, 段晓东, 张伟华, 陶体伟, 马婷. 虚拟现实环境下的协同式三维建模方法[J]. 图学学报, 2024, 45(1): 169-182.
[2]	韩兆阳, 翁冬冬, 郭署山, 贺文杰, 江海燕, 李冬. 一种基于简易标记点编码的光学跟踪系统[J]. 图学学报, 2023, 44(5): 997-1012.
[3]	谢红霞, 胡毓宁, 张赟, 王亚奇, 杜辉, 秦爱红. 全景图像视频的场景分析与内容处理方法综述[J]. 图学学报, 2023, 44(4): 640-657.
[4]	朱永宁 , 葛婷 , 杜盛瑀 , 楼泽如 , 王建民 . 虚拟现实全景流体绘画系统的可用性研究[J]. 图学学报, 2021, 42(5): 833-840.
[5]	赵建军, 黄竣鹏, 陈俊良. 基于 Leap Motion 的电影前期预演人机交互方法[J]. 图学学报, 2021, 42(1): 71-78.
[6]	郑明钰, 李家和, 张晗, 骆岩林, 申佳丽, 朱小明. 支持力反馈的沉浸式物理学习环境的构建 [J]. 图学学报, 2021, 42(1): 79-86.
[7]	滕健，黄佳慧，宫凯 . 基于 BCI 的虚拟现实模拟驾驶教学系统设计[J]. 图学学报, 2020, 41(2): 217-223.
[8]	邱远航 1，孙贤波 1，刘勇弟 1，蔡正清 1，徐宏勇 2 . 污水处理厂虚拟现实教学软件开发及应用[J]. 图学学报, 2020, 41(2): 233-236.
[9]	林莹莹，蔡睿凡，朱雨真，唐祥峻，金小刚. 基于Leap Motion 的虚拟现实陶艺体验系统[J]. 图学学报, 2020, 41(1): 57-65.
[10]	李祥 1,2，王学文 1,2，谢嘉成 1,2，乔春光 1,2，杨兆建 1,2 . 复杂工况下采运装备虚拟运行关键技术研究[J]. 图学学报, 2019, 40(2): 403-409.
[11]	姜立军1,2，李建余1，李哲林1,2，吴章鸿1，张瑜1. 虚拟骑行中的三种导航界面的体验度量[J]. 图学学报, 2018, 39(3): 515-521.
[12]	冯桂珍1，池建斌1，邢海军1，张增强1，贾双2. 基于Unity3D 的减速器虚拟拆装实验[J]. 图学学报, 2018, 39(2): 304-308.
[13]	孙辉，吕健，寸文哲. VR 系统信息可视化模型[J]. 图学学报, 2018, 39(2): 317-326.
[14]	朱晓强1,2，周浩1,2，宋磊1,2. 基于α-shape 的树冠LOD 建模[J]. 图学学报, 2017, 38(3): 303-313.
[15]	刘伟，杜强，张顺心，张建军. 基于VR 技术的工程图学移动学习系统[J]. 图学学报, 2016, 37(6): 857-.