Research on the influence of eye movement interaction frequency on visual fatigue in virtual reality

doi:10.11996/JG.j.2095-302X.2024030528

Abstract

Abstract:

To investigate whether the frequency of eye movement interaction in virtual reality (VR) causes visual fatigue in users, 25 participants were selected for a visual fatigue experiment in a VR room. Eight interaction frequencies were set within the range of 0.2 to 1.6 Hz, and each participant underwent a 20-minute experiment at each frequency. Data on pupil diameter and blink frequency were captured using the built-in eye tracker in the head-mounted display (HMD) and were then subjected to linear interpolation and noise reduction processing. Firstly, subjective evaluations of the participants were recorded using a five-level fatigue scale, and the relative change rate in pupil diameter was utilized to reflect the degree of fatigue. Then, Spearman correlation analysis was employed to explore the relationship between subjective comfort ratings and blink frequency. Additionally, Kruskal-Wallis tests were conducted to analyze the relationship between blink frequency and interaction frequency. Finally, the proposed method was validated using the FAST disassembly and assembly robot digital twin system in VR. The experimental results demonstrated that the pupil diameter variation rate was minimal at 0.6 Hz, ranging from -1.86% to 2.26%, indicating a relatively comfortable interaction frequency. The highest blink frequency was 52 blinks per minute, with the highest level of visual fatigue. Within the frequency range of 0.2 to 0.6 Hz, the participants’ visual fatigue increased as the interaction frequency decreased. However, within the range of 0.8 to 1.6 Hz, the visual fatigue increased with the increase in frequency, with the lowest blink frequency observed at 0.6 Hz. Thus, appropriate eye movement interaction frequencies can reduce the degree of visual fatigue.

Key words: virtual reality, visual fatigue, eye movement interaction, pupil diameter, blinking frequency

CLC Number:

TP391.9

YAN Jiahao, LV Jian, HOU Yukang, MO Xinzhu. Research on the influence of eye movement interaction frequency on visual fatigue in virtual reality[J]. Journal of Graphics, 2024, 45(3): 528-538.

Figures/Tables 24

References 21

[1]	ZHANG X B, LIU X L, YUAN S M, et al. Eye tracking based control system for natural human-computer interaction[EB/OL]. [2023-01-23]. https://www.hindawi.com/journals/cin/2017/5739301/.
[2]	PLOPSKI A, HIRZLE T, NOROUZI N, et al. The eye in extended reality: a survey on gaze interaction and eye tracking in head-worn extended reality[J]. ACM Computing Surveys, 2022, 55(3): 1-39.
[3]	GUO J E, WENG D D, ZHANG Z L, et al. Subjective and objective evaluation of visual fatigue caused by continuous and discontinuous use of HMDs[J]. Journal of the Society for Information Display, 2019, 27(2): 108-119.
[4]	WANG Y, ZHAI G T, CHEN S C, et al. Assessment of eye fatigue caused by head-mounted displays using eye-tracking[J]. Biomedical Engineering Online, 2019, 18: 1-19.
[5]	JACOBS J, WANG X, ALEXA M. Keep it simple: depth-based dynamic adjustment of rendering for head-mounted displays decreases visual comfort[J]. ACM Transactions on Applied Perception, 2019, 16(3): 1-16.
[6]	FAN L, WANG J J, LI Q, et al. Eye movement characteristics and visual fatigue assessment of virtual reality games with different interaction modes[J]. Frontiers in Neuroscience, 2023, 17: 1173127.
[7]	HIROTA M, KANDA H, ENDO T, et al. Comparison of visual fatigue caused by head-mounted display for virtual reality and two-dimensional display using objective and subjective evaluation[J]. Ergonomics, 2019, 62(6): 759-766. DOI PMID
[8]	LI X J, LING J X, SHEN Y. Visual fatigue relief zone in an extra-long tunnel using virtual reality with wearable EEG-based devices[J]. Journal of Central South University, 2021, 28(12): 3871-3881.
[9]	姜颖, 洪军, 王崴, 等. 面向VDT显示界面的视觉舒适度客观描述方法[J]. 中南大学学报: 自然科学版, 2017, 48(1): 77-83.
	JIANG Y, HONG J, WANG W, et al. An objective description method of visual comfort for VDT display interface[J]. Journal of Central South University: Science and Technology, 2017, 48(1): 77-83 (in Chinese).
[10]	TIAN P Y, XU G H, HAN C C, et al. Effects of paradigm color and screen brightness on visual fatigue in light environment of night based on eye tracker and EEG acquisition equipment[J]. Sensors, 2022, 22(11): 4082.
[11]	胡淑燕, 郑钢铁. 应用支持向量机的眼睑参数疲劳预测[J]. 北京航空航天大学学报, 2009, 35(8): 929-932.
	HU S Y, ZHENG G T. Driver fatigue prediction with eyelid related parameters by support vector machine[J]. Journal of Beijing University of Aeronautics and Astronautics, 2009, 35(8): 929-932 (in Chinese).
[12]	SONG M C, LI L N, GUO J T, et al. A new method for muscular visual fatigue detection using electrooculogram[J]. Biomedical Signal Processing and Control, 2020, 58: 101865.
[13]	孙瑞山, 张尧, 孙军亚. 驾驶舱灯光色温与视觉疲劳关系模拟试验研究[J]. 安全与环境学报, 2022, 22(2): 785-791.
	SUN R S, ZHANG Y, SUN J Y. Simulation experiment research on the relationship between light color temperature and visual fatigue in the cockpit[J]. Journal of Safety and Environment, 2022, 22(2): 785-791 (in Chinese).
[14]	张爱华, 赵治月, 杨华. 基于心电脉搏特征的视觉疲劳状态识别[J]. 计算机工程, 2011, 37(7): 279-281. DOI
	ZHANG A H, ZHAO Z Y, YANG H. Visual fatigue state recognition based on ECG pulse feature[J]. Computer Engineering, 2011, 37(7): 279-281 (in Chinese).
[15]	SOUCHET A D, PHILIPPE S, LOURDEAUX D, et al. Measuring visual fatigue and cognitive load via eye tracking while learning with virtual reality head-mounted displays: a review[J]. International Journal of Human-Computer Interaction, 2022, 38(9): 801-824.
[16]	ISKANDER J, HOSSNY M. Measuring the likelihood of VR visual fatigue through ocular biomechanics[J]. Displays, 2021, 70: 102105.
[17]	SOUCHET A D, LOURDEAUX D, PAGANI A, et al. A narrative review of immersive virtual reality’s ergonomics and risks at the workplace: cybersickness, visual fatigue, muscular fatigue, acute stress, and mental overload[J]. Virtual Reality, 2023, 27(1): 19-50.
[18]	徐明伟, 金龙哲, 田兴华, 等. 受限空间不同照度环境下VDT作业视觉疲劳[J]. 工程科学学报, 2020, 42(12): 1605-1612.
	XU M W, JIN L Z, TIAN X H, et al. Visual fatigue of VDT operation under different illumination conditions in confined space[J]. Chinese Journal of Engineering, 2020, 42(12): 1605-1612 (in Chinese).
[19]	田会娟, 关涛, 蔡敏鹏, 等. 基于瞳孔直径的VDT视觉舒适度评价方法研究[J]. 激光与光电子学进展, 2020, 57(15): 300-306.
	TIAN H J, GUAN T, CAI M P, et al. Evaluation model of VDT visual comfort based on pupil diameter[J]. Laser & Optoelectronics Progress, 2020, 57(15): 300-306 (in Chinese).
[20]	牛清宁, 周志强, 金立生, 等. 基于眼动特征的疲劳驾驶检测方法[J]. 哈尔滨工程大学学报, 2015, 36(3): 394-398.
	NIU Q N, ZHOU Z Q, JIN L S, et al. Detection of driver fatigue based on eye movements[J]. Journal of Harbin Engineering University, 2015, 36(3): 394-398 (in Chinese).
[21]	ISKANDER J, HOSSNY M, NAHAVANDI S. A review on ocular biomechanic models for assessing visual fatigue in virtual reality[J]. IEEE Access, 2018, 6: 19345-19361.

研究点	方法	优点	缺点
夜间光环境下颜色和屏幕亮度对视觉疲劳的影响^[10]	2022年，TIAN等^[10]利用Matlab编写了不同颜色范式的刺激，使用眼动仪和脑电图设备收集信号，并进行数据处理和分析，最终获得不同颜色和不同屏幕亮度在黑暗环境中对人类视觉疲劳的影响	1. 利用了眼动仪和脑电图设备，可同时收集视觉疲劳的主观和客观指标，提高了研究的可信度和有效性 2. 设计了不同颜色和不同屏幕亮度的范式，可探究这些因素对视觉疲劳的影响，增加了研究的广泛性和实用性 3. 提出了一个新的指标，视觉抗疲劳指数，可为视觉疲劳的评估和预防提供一个量化的参考，有利于人眼保护	1. 只在黑暗环境中进行实验，未考虑其他光线条件对视觉疲劳的影响，降低了研究的普适性和代表性 2. 脑电信号受环境噪声、头皮电阻、电极位置等因素的影响，信号质量不稳定
VR中不同的游戏交互模式下的眼动特征和视觉疲劳评估^[6]	2023年，FAN等^[6]通过使用头戴式显示器内置的眼动仪，记录眼动参数，使用视觉疲劳量表和模拟器晕眩问卷进行主观评估，评估VR体验的视觉疲劳和整体不适感	1. 头戴式显示器内置的眼动仪能够提供实时的眼动参数信息，即时反馈个体的眼动状态。这为及时评估和干预视觉疲劳提供了便利 2. 使用了Visual Fatigue Questionnaire和SSQ问卷，优点是能够全面地捕捉到VR使用对人体的影响，可以更全面的提供使用VR时的身体反应和感受信息	1. 未进一步深入了解这2种交互模式下视觉疲劳的产生机制 2. 未进行实例验证，很难得出具体的结论或将研究结果应用于实际场景
驾驶舱灯光色温与视觉疲劳关系模拟试验研究^[13]	2022年，孙瑞山等^[13]采用单因素方差分析和描述性统计的数据分析方法，对被试者处于不同灯光环境下的主观疲劳程度、视觉舒适度和闪光临界频率值的差异和变化趋势进行分析和评价	1. 通过在仿真驾驶舱内进行实验，研究者可以更好地控制实验环境，排除其他干扰因素对结果的影响 2. 该方法使用了主观视觉疲劳量表、视觉舒适度量表和闪光融合临界频率仪，对被试者的视觉舒适度和疲劳程度进行了多维度的连续测量。这有助于综合评估灯光色温对视觉疲劳的影响，提供更全面的结果	1. 闪光融合临界频率仪可能引起被试者的不适感和眩晕感，影响测量结果的准确性 2. 闪光融合临界频率仪与驾驶任务的复杂性、持续时间、难度等因素有交互作用，导致测量结果的变化
基于心电脉搏特征的视觉疲劳状态识别^[14]	2011年，张爱华等^[14]使用ECG和脉搏波信号，经信号预处理分析后，提取实验前后的ECG和脉搏波信号特征。采用支持向量机法对实验前后的ECG脉搏组合特征进行分类	1. 从生物医学信号角度检测和评估视觉疲劳，提供一种客观、有效和无创的方法 2. 心电图提供客观的生理指标，通过测量心率和心律的变化，可以间接反映出身体状况和压力水平。与主观评估方法相比，心电图测量可以减少个体主观认知的偏见，提供更客观的评估结果	1. 可能受到被试者的个体差异、情绪和环境等因素的影响 2. 缺乏特定指标：心电图测量提供的指标主要包括心率和心律的分析，这些指标不能直接反映眼部疲劳的程度

研究点	方法	优点	缺点
夜间光环境下颜色和屏幕亮度对视觉疲劳的影响^[10]	2022年，TIAN等^[10]利用Matlab编写了不同颜色范式的刺激，使用眼动仪和脑电图设备收集信号，并进行数据处理和分析，最终获得不同颜色和不同屏幕亮度在黑暗环境中对人类视觉疲劳的影响	1. 利用了眼动仪和脑电图设备，可同时收集视觉疲劳的主观和客观指标，提高了研究的可信度和有效性 2. 设计了不同颜色和不同屏幕亮度的范式，可探究这些因素对视觉疲劳的影响，增加了研究的广泛性和实用性 3. 提出了一个新的指标，视觉抗疲劳指数，可为视觉疲劳的评估和预防提供一个量化的参考，有利于人眼保护	1. 只在黑暗环境中进行实验，未考虑其他光线条件对视觉疲劳的影响，降低了研究的普适性和代表性 2. 脑电信号受环境噪声、头皮电阻、电极位置等因素的影响，信号质量不稳定
VR中不同的游戏交互模式下的眼动特征和视觉疲劳评估^[6]	2023年，FAN等^[6]通过使用头戴式显示器内置的眼动仪，记录眼动参数，使用视觉疲劳量表和模拟器晕眩问卷进行主观评估，评估VR体验的视觉疲劳和整体不适感	1. 头戴式显示器内置的眼动仪能够提供实时的眼动参数信息，即时反馈个体的眼动状态。这为及时评估和干预视觉疲劳提供了便利 2. 使用了Visual Fatigue Questionnaire和SSQ问卷，优点是能够全面地捕捉到VR使用对人体的影响，可以更全面的提供使用VR时的身体反应和感受信息	1. 未进一步深入了解这2种交互模式下视觉疲劳的产生机制 2. 未进行实例验证，很难得出具体的结论或将研究结果应用于实际场景
驾驶舱灯光色温与视觉疲劳关系模拟试验研究^[13]	2022年，孙瑞山等^[13]采用单因素方差分析和描述性统计的数据分析方法，对被试者处于不同灯光环境下的主观疲劳程度、视觉舒适度和闪光临界频率值的差异和变化趋势进行分析和评价	1. 通过在仿真驾驶舱内进行实验，研究者可以更好地控制实验环境，排除其他干扰因素对结果的影响 2. 该方法使用了主观视觉疲劳量表、视觉舒适度量表和闪光融合临界频率仪，对被试者的视觉舒适度和疲劳程度进行了多维度的连续测量。这有助于综合评估灯光色温对视觉疲劳的影响，提供更全面的结果	1. 闪光融合临界频率仪可能引起被试者的不适感和眩晕感，影响测量结果的准确性 2. 闪光融合临界频率仪与驾驶任务的复杂性、持续时间、难度等因素有交互作用，导致测量结果的变化
基于心电脉搏特征的视觉疲劳状态识别^[14]	2011年，张爱华等^[14]使用ECG和脉搏波信号，经信号预处理分析后，提取实验前后的ECG和脉搏波信号特征。采用支持向量机法对实验前后的ECG脉搏组合特征进行分类	1. 从生物医学信号角度检测和评估视觉疲劳，提供一种客观、有效和无创的方法 2. 心电图提供客观的生理指标，通过测量心率和心律的变化，可以间接反映出身体状况和压力水平。与主观评估方法相比，心电图测量可以减少个体主观认知的偏见，提供更客观的评估结果	1. 可能受到被试者的个体差异、情绪和环境等因素的影响 2. 缺乏特定指标：心电图测量提供的指标主要包括心率和心律的分析，这些指标不能直接反映眼部疲劳的程度

舒适度等级	视觉状态	舒适度评分/分评价结果
1级	无不适感	1···很舒适
2级	无明显不适感	2···舒适
3级	有不适感	3···一般舒适
4级	明显不适	4···不舒适
5级	严重不适	5···很不舒适

舒适度等级	视觉状态	舒适度评分/分评价结果
1级	无不适感	1···很舒适
2级	无明显不适感	2···舒适
3级	有不适感	3···一般舒适
4级	明显不适	4···不舒适
5级	严重不适	5···很不舒适

眼动交互频率/ Hz	瞳孔直径变化率/%	眨眼频率/ (次/分钟)
0.2	-4.94~5.56	35
0.4	-2.76~4.68	30
0.6	-1.86~2.26	25
0.8	-2.16~4.68	28
1.0	-5.92~5.18	38
1.2	-6.37~2.99	40
1.4	-8.61~7.61	54
1.6	-8.77~8.51	57