图学学报 ›› 2025, Vol. 46 ›› Issue (2): 369-381.DOI: 10.11996/JG.j.2095-302X.2025020369
收稿日期:
2024-08-17
接受日期:
2024-12-13
出版日期:
2025-04-30
发布日期:
2025-04-24
通讯作者:
苍慜楠(1982-),男,副教授,硕士。主要研究方向为文化遗产数字化与智能交互、数字媒体艺术理论。E-mail:cangminnan@xaut.edu.cn第一作者:
周伟(1998-),男,硕士研究生。主要研究方向为文化遗产数字化与智能交互。E-mail:1944692418@qq.com
基金资助:
ZHOU Wei(), CANG Minnan(
), CHENG Haozong
Received:
2024-08-17
Accepted:
2024-12-13
Published:
2025-04-30
Online:
2025-04-24
First author:
ZHOU Wei (1998-), master student. His main research interests cover digitization and intelligent interaction of cultural heritage. E-mail:1944692418@qq.com
Supported by:
摘要:
文物表面存在复杂多变的细节,要求数据采集过程需有极高的精度,以确保重建模型的原真性与准确性。然而,传统的方法难以在保持高效率的同时实现高精度,且后续的三维模型构建与纹理映射也极为复杂,需大量的手工调整。为此,提出一种基于AR技术的文物实体数字化三维图像重建方法。首先利用三维扫描与高分辨率相机,采集文物实体的点云数据和图像数据,并利用SIFT算法分别获取2类数据的特征点。依据特征点,利用Revit软件结合SketchUp和Geomagic Studio等工具,构建文物实体三维模型。通过实施虚拟相机三维注册操作,将建立的文物实体三维模型叠加在现实文物图像上,得到叠加后的虚拟文物模型。进一步,将现实文物与叠加后的虚拟文物模型实施虚拟融合,完成文物实体数字化三维图像重建。最终,结合VR技术,对重建的三维数字化图像实施交互式展示。以石峁相关文物数据集进行采集实验,结果表明,该方法能够精准重建文物的数字化三维模型。通过对比实验,该方法在三维重建精度与纹理映射上优于传统方法,减少了人工调整的工作量。有效解决传统数字三维图像重建中存在的精度不足与和操作繁琐等问题,能够高效且准确地完成文物数字化重建,为文物保护、虚拟展示及文化遗产的数字化存档提供了新的技术路径。
中图分类号:
周伟, 苍慜楠, 程浩宗. 基于AR技术的文物数字化三维图像重建方法[J]. 图学学报, 2025, 46(2): 369-381.
ZHOU Wei, CANG Minnan, CHENG Haozong. Research on the method of 3D image reconstruction for cultural relics based on AR technology[J]. Journal of Graphics, 2025, 46(2): 369-381.
场景 | 场景描述 | RMS 误差 | Hausdorff 距离 |
---|---|---|---|
场景1 | 具有多样几何形态的复杂表面雕刻物体 | 0.043 | 0.080 |
场景2 | 具有精细纹理的陶瓷物体 | 0.039 | 0.077 |
场景3 | 相对平滑的木雕艺术品 | 0.042 | 0.075 |
场景4 | 复杂表面纹理的岩画 | 0.040 | 0.079 |
表1 配准误差结果/mm
Table 1 Registration error results/mm
场景 | 场景描述 | RMS 误差 | Hausdorff 距离 |
---|---|---|---|
场景1 | 具有多样几何形态的复杂表面雕刻物体 | 0.043 | 0.080 |
场景2 | 具有精细纹理的陶瓷物体 | 0.039 | 0.077 |
场景3 | 相对平滑的木雕艺术品 | 0.042 | 0.075 |
场景4 | 复杂表面纹理的岩画 | 0.040 | 0.079 |
名称 | 数值 |
---|---|
三维扫描仪 | CR-Scan Ferret |
扫描站 | 10 |
采样点密度 | 1.5 mm |
测量距离 | 3~5 m |
工业相机 | JHEM131GC-L |
采样帧频 | 30 fps |
LED灯 | YMFB-7 |
数据采集卡 | NIPCI/PXI-662 |
计算机 | ADVANTECH-MIC-7700 |
VR平台 | SteamVR |
表2 实验主要参数
Table 2 Main parameters of the experiment
名称 | 数值 |
---|---|
三维扫描仪 | CR-Scan Ferret |
扫描站 | 10 |
采样点密度 | 1.5 mm |
测量距离 | 3~5 m |
工业相机 | JHEM131GC-L |
采样帧频 | 30 fps |
LED灯 | YMFB-7 |
数据采集卡 | NIPCI/PXI-662 |
计算机 | ADVANTECH-MIC-7700 |
VR平台 | SteamVR |
场景 | 名称 | 原始图像 | 重建后模型 | RMS误差/mm | Hausdorff距离/mm |
---|---|---|---|---|---|
简单几何形态 | 玉琮 | ![]() | ![]() | 0.035 | 0.052 |
铜尺环 | ![]() | ![]() | 0.028 | 0.048 | |
复杂几何形态 | 11号石雕(横) | ![]() | ![]() | 0.041 | 0.061 |
立柱石雕(竖) | ![]() | ![]() | 0.030 | 0.050 | |
多种材质 | 鱼形佩 | ![]() | ![]() | 0.027 | 0.045 |
绿松石串 | ![]() | ![]() | 0.032 | 0.053 | |
玉人头像 | ![]() | ![]() | 0.033 | 0.055 | |
玉环 | ![]() | ![]() | 0.036 | 0.059 | |
手串 | ![]() | ![]() | 0.034 | 0.057 | |
青铜臂钏 | ![]() | ![]() | 0.031 | 0.051 | |
陶鹰 | ![]() | ![]() | 0.030 | 0.052 | |
口簧 | ![]() | ![]() | 0.029 | 0.061 |
表3 应用本文方法重建的模型与几何差异评估结果
Table 3 The model reconstructed by the method in this paper is used to evaluate the geometric differences
场景 | 名称 | 原始图像 | 重建后模型 | RMS误差/mm | Hausdorff距离/mm |
---|---|---|---|---|---|
简单几何形态 | 玉琮 | ![]() | ![]() | 0.035 | 0.052 |
铜尺环 | ![]() | ![]() | 0.028 | 0.048 | |
复杂几何形态 | 11号石雕(横) | ![]() | ![]() | 0.041 | 0.061 |
立柱石雕(竖) | ![]() | ![]() | 0.030 | 0.050 | |
多种材质 | 鱼形佩 | ![]() | ![]() | 0.027 | 0.045 |
绿松石串 | ![]() | ![]() | 0.032 | 0.053 | |
玉人头像 | ![]() | ![]() | 0.033 | 0.055 | |
玉环 | ![]() | ![]() | 0.036 | 0.059 | |
手串 | ![]() | ![]() | 0.034 | 0.057 | |
青铜臂钏 | ![]() | ![]() | 0.031 | 0.051 | |
陶鹰 | ![]() | ![]() | 0.030 | 0.052 | |
口簧 | ![]() | ![]() | 0.029 | 0.061 |
图6 应用本文方法的文物实体数字化三维图像重建结合虚拟现实交互结果展示((a)虚拟平台;(b)触碰界面;(c)语音介绍;(d)旋转缩放模型)
Fig. 6 The digital 3D image reconstruction of cultural relic entities using the method in this article combined with virtual reality interactive results display ((a) Virtual platform; (b) Touch interface; (c) Voice introduction; (d) Rotatable and scalable model)
图8 虚实融合性能测试可视化图((a)几何一致性;(b)光照一致性;(c)三维误差分布;(d)综合效果)
Fig. 8 Virtual and real fusion performance test ((a) Geometric consistency; (b) Illumination consistency; (c) 3D error distribution; (d) Comprehensive effect)
方法 | RMS误差/mm | Hausdorff 距离/mm | 平均计算 时间/s | ||
---|---|---|---|---|---|
场景1 | 场景2 | 场景3 | |||
本文 | 0.040 | 0.045 | 0.043 | 0.08 | 120 |
NeRF | 0.065 | 0.075 | 0.070 | 0.10 | 180 |
MVS | 0.055 | 0.065 | 0.060 | 0.09 | 150 |
ICP | 0.080 | 0.085 | 0.078 | 0.12 | 90 |
表4 本文方法与其他3种方法在不同场景下的精度和效率对比结果
Table 4 Comparison results of the accuracy and efficiency of this article’s method with the other three methods in different scenarios
方法 | RMS误差/mm | Hausdorff 距离/mm | 平均计算 时间/s | ||
---|---|---|---|---|---|
场景1 | 场景2 | 场景3 | |||
本文 | 0.040 | 0.045 | 0.043 | 0.08 | 120 |
NeRF | 0.065 | 0.075 | 0.070 | 0.10 | 180 |
MVS | 0.055 | 0.065 | 0.060 | 0.09 | 150 |
ICP | 0.080 | 0.085 | 0.078 | 0.12 | 90 |
[1] | 耿国华, 冯龙, 李康, 等. 秦陵文物数字化及虚拟复原研究综述[J]. 西北大学学报(自然科学版), 2021, 51(5): 710-721. |
GENG G H, FENG L, LI K, et al. A literature review on the digitalization and virtual restoration of cultural relics in the mausoleum of emperor Qinshihuang[J]. Journal of Northwest University (Natural Science Edition), 2021, 51(5): 710-721 (in Chinese). | |
[2] | 李爱群, 苗一鸣, 侯妙乐, 等. 基于高精度三维模型的大型石窟类文物等比例复制[J]. 文物保护与考古科学, 2022, 34(3): 125-132. |
LI A Q, MIAO Y M, HOU M L, et al. An equal proportion reproduction method for large grotto cultural relics based on high-precision 3D models[J]. Sciences of Conservation and Archaeology, 2022, 34(3): 125-132 (in Chinese). | |
[3] | 李兆歆, 蒋浩, 刘衍青, 等. 丝路文化虚拟体验中的多视角立体重建技术研究[J]. 计算机学报, 2022, 45(3): 500-512. |
LI Z X, JIANG H, LIU Y Q, et al. Research on multi-view stereo 3D reconstruction in virtual reality system of silk road cultural inheritance[J]. Chinese Journal of Computers, 2022, 45(3): 500-512 (in Chinese). | |
[4] | 欧阳静宣, 徐升亮, 肖礼兵, 等. 基于三维激光扫描的摩崖石刻重建技术与精度研究[J]. 特种铸造及有色合金, 2023, 43(12): 1724-1728. |
OUYANG J X, XU S L, XIAO L B, et al. Reconstruction technology and accuracy of cliff stone carvings based on 3D laser scanning[J]. Special Casting & Nonferrous Alloys, 2023, 43(12): 1724-1728 (in Chinese). | |
[5] | 王雪峰, 张自豪, 陈兴稣, 等. 稀疏角度数据下非视域物体三维重建方法研究[J]. 激光与红外, 2022, 52(3): 451-457. |
WANG X F, ZHANG Z H, CHEN X S, et al. Research on 3D objects reconstruction method ofnone line of sight with sparse angle data[J]. Laser & Infrared, 2022, 52(3): 451-457 (in Chinese). | |
[6] | 孙保燕, 覃禹程, 韦龙华, 等. 三相位环绕视频匀分帧建模技术在文物逆向三维模型重建中的应用[J]. 桂林理工大学学报, 2023, 43(2): 289-295. |
SUN B Y, QIN Y C, WEI L H, et al. Three-phase surround video equal-frame modeling technique in reconstruction of cultural relic reverse 3D model[J]. Journal of Guilin University of Technology, 2023, 43(2): 289-295 (in Chinese). | |
[7] | 余生吉, 吴健, 王春雪, 等. 敦煌莫高窟第45窟彩塑高保真三维重建方法研究[J]. 文物保护与考古科学, 2021, 33(3): 10-18. |
YU S J, WU J, WANG C X, et al. Research on the high fidelity 3D reconstruction method for painted sculptures in Cave No.45 of Mogao Grottoes in Dunhuang[J]. Sciences of Conservation and Archaeology, 2021, 33(3): 10-18 (in Chinese). | |
[8] | 程斌, 杨勇, 徐崇斌, 等. 基于NeRF的文物建筑数字化重建[J]. 航天返回与遥感, 2023, 44(1): 40-49. |
CHENG B, YANG Y, XU C B, et al. The digital reconstruction of heritage buildings based on NeRF[J]. Spacecraft Recovery & Remote Sensing, 2023, 44(1): 40-49 (in Chinese). | |
[9] | MURASE K. Three-dimensional image reconstruction in projection-based magnetic particle imaging[J]. Japanese Journal of Applied Physics, 2021, 60(8): 088001. |
[10] |
戴梦菲, 朱雯晶, 谭淼, 等. AR技术在数字人文应用上的运用策略——以“从武康路出发”应用为例[J]. 图书情报工作, 2021, 65(24): 44-52.
DOI |
DAI M F, ZHU W J, TAN M, et al. The Application strategy of AR technology on digital humanities app: taking start from Ferguson road app as an example[J]. Library and Information Work, 2021, 65(24): 44-52 (in Chinese). | |
[11] | 陈立. 基于Unity 3D和AR技术的虚拟实验室系统设计和仿真[J]. 山西财经大学学报, 2022, 44(S1): 199-201. |
CHEN L. Design and simulation of virtual laboratory system based on Unity 3D and AR technology[J]. Journal of Shanxi University of Finance and Economics, 2022, 44(S1): 199-201 (in Chinese). | |
[12] | 李绕波, 袁希平, 甘淑, 等. 基于特征点和关键点提取的点云数据压缩方法[J]. 激光与红外, 2021, 51(9): 1129-1136. |
LI R B, YUAN X P, GAN S, et al. Point cloud data compression method based on feature point and key point extraction[J]. Laser & Infrared, 2021, 51(9): 1129-1136 (in Chinese). | |
[13] |
谭坤, 王旭鹏, 赵嘉鑫, 等. 基于下肢生物力学特性的膝关节变刚度护具设计[J]. 图学学报, 2024, 45(5): 1084-1095.
DOI |
TAN K, WANG X P, ZHAO J X, et al. Design of knee joint variable stiffness protector based on lower limb biomechanical characteristics[J]. Journal of Graphics, 2024, 45(5): 1084-1095 (in Chinese).
DOI |
|
[14] |
杨其璇, 任瑞亮, 马全明, 等. 三维激光扫描与BIM技术融合的城市轨道交通地下建筑物三维建模方法[J]. 测绘通报, 2024(4): 119-123.
DOI |
YANG Q X, REN R L, MA Q M, et al. Based on 3D laser scanning and BIM integrated technology 3D modeling method of underground buildings in urban rail transit[J]. Bulletin of Surveying and Mapping, 2024(4): 119-123 (in Chinese).
DOI |
|
[15] | 陶建华, 龚江涛, 高楠, 等. 面向虚实融合的人机交互[J]. 中国图象图形学报, 2023, 28(6): 1513-1542. |
TAO J H, GONG J T, GAO N, et al. Human-computer interaction for virtual and real fusion[J]. Journal of Chinese Image and Graphics, 2023, 28(6): 1513-1542 (in Chinese). | |
[16] |
胡欣, 常娅姝, 秦皓, 等. 基于改进YOLOv8和GMM图像点集匹配的双目测距方法[J]. 图学学报, 2024, 45(4): 714-725.
DOI |
HU X, CHANG Y S, QIN H, et al. Binocular ranging method based on improved YOLOv8 and GMM image point set matching[J]. Journal of Graphics, 2024, 45(4): 714-725 (in Chinese).
DOI |
|
[17] | 王乐, 任小甲. 基于AR的漆器表面构造细节虚拟重建仿真[J]. 计算机仿真, 2021, 38(5): 302-306. |
WANG L, REN X J. Virtual Reconstruction simulation of lacquerware surface structure details based on AR[J]. Computer Simulation, 2021, 38(5): 302-306 (in Chinese). | |
[18] | 刘莉, LEVIN M, 孙周勇, 等. 石峁遗址出土陶、石器功能反映的礼仪和生计活动[J]. 中原文物, 2022(5): 31-51. |
LIU L, LEVIN M, SUN Z Y, et al. Functions of ceramic and stone tools related to ritual and subsistence activities at the Shimao site[J]. Cultural Relics of Central China, 2022(5): 31-51 (in Chinese). | |
[19] | 孙周勇, 邸楠, 邵晶, 等. 陕西神木石峁遗址皇城台“蛇纹鬲”遗存石砌院落发掘简报[J]. 考古与文物, 2022(2): 64-77. |
SUN Z Y, DI N, SHAO J, et al. Preliminary report on the excavation of the stone courtyard with archaeological remains of the ‘Shewenli’ period at the Huangchengtai location at the Shimao site in Shenmu, Shaanxi[J]. Archaeology and Cultural Relics, 2022(2): 64-77 (in Chinese). | |
[20] |
范腾, 杨浩, 尹稳, 等. 基于神经辐射场的多尺度视图合成研究[J]. 图学学报, 2023, 44(6): 1140-1148.
DOI |
FAN T, YANG H, YIN W, et al. Multi-scale view synthesis based on neural radiance field[J]. Journal of Graphics, 2023, 44(6): 1140-1148 (in Chinese).
DOI |
|
[21] |
吕伶, 李华, 王武. 基于增强特征提取网络与语义特征融合的多方向文本检测[J]. 图学学报, 2024, 45(1): 56-64.
DOI |
LYU L, LI H, WANG W. Multi-directional text detection based on the fusion of enhanced feature extraction network and semantic feature[J]. Journal of Graphics, 2024, 45(1): 56-64 (in Chinese).
DOI |
[1] | 孙禾衣, 李艺潇, 田希, 张松海. 结合程序内容生成与扩散模型的图像到三维瓷瓶生成技术[J]. 图学学报, 2025, 46(2): 332-344. |
[2] | 邱佳新, 宋倩云, 徐丹. 基于改进神经辐射场的民族舞蹈重建方法[J]. 图学学报, 2025, 46(2): 415-424. |
[3] | 熊超, 王云艳, 罗雨浩. 特征对齐与上下文引导的多视图三维重建[J]. 图学学报, 2024, 45(5): 1008-1016. |
[4] | 黄家晖, 穆太江. 动态三维场景重建研究综述[J]. 图学学报, 2024, 45(1): 14-25. |
[5] | 石敏, 王炳祺, 李兆歆, 朱登明. 一种带高光处理的无缝纹理映射方法[J]. 图学学报, 2024, 45(1): 148-158. |
[6] | 周婧怡, 张栖桐, 冯结青. 基于混合结构的多视图三维场景重建[J]. 图学学报, 2024, 45(1): 199-208. |
[7] | 王江安, 黄乐, 庞大为, 秦林珍, 梁温茜. 基于自适应聚合循环递归的稠密点云重建网络[J]. 图学学报, 2024, 45(1): 230-239. |
[8] | 成欢, 王硕, 李孟, 秦伦明, 赵芳. 面向自动驾驶场景的神经辐射场综述[J]. 图学学报, 2023, 44(6): 1091-1103. |
[9] | 薛皓玮, 王美丽. 融合生物力学约束与多模态数据的手部重建[J]. 图学学报, 2023, 44(4): 794-800. |
[10] | 葛海明, 张维, 王小龙, 朱晶晶, 贾非, 薛亚东. 基于SfM的城市电缆隧道三维重建方法优化研究[J]. 图学学报, 2023, 44(3): 540-550. |
[11] | 陈嬿, 张琼文, 王嘉琪, 帅美琼, 胡军. 地图符号与情绪效价对AR地图用户空间记忆的影响研究[J]. 图学学报, 2023, 44(2): 399-407. |
[12] | 王江安, 庞大为, 黄 乐, 秦林珍. 基于多尺度特征递归卷积的稠密点云重建网络 [J]. 图学学报, 2022, 43(5): 875-883. |
[13] | 刘南杉, 裴云强, 蒋皓, 韩永国, 吴亚东, 王赋攀, 易思恒. 基于VD-MobileNet 网络的 WebAR生活垃圾分类信息可视化方法[J]. 图学学报, 2022, 43(4): 667-676. |
[14] | 白静, 孟庆亮, 徐昊, 范有福, 杨瞻源. ST-Rec3D:基于结构和目标感知的三维重建[J]. 图学学报, 2022, 43(3): 469-477. |
[15] | 仇栋, 吴云超, 李蔚清, 苏智勇 . 面向移动增强现实的室外阴影实时检测技术 [J]. 图学学报, 2022, 43(1): 85-92. |
阅读次数 | ||||||
全文 |
|
|||||
摘要 |
|
|||||