对室外大场景进行三维建模，不仅可以完成实时的城市建图和漫游，还能为自动驾驶等提供技术支持。近年来，神经隐式建模的发展十分迅速，神经辐射场(NeRF)的出现更是将神经隐式建模推上了新的高度。NeRF凭借高质量渲染和任意角度渲染的特点，已经在可控编辑、数字化人体、城市场景重建等领域得到了广泛的应用。NeRF通过深度学习的方法从二维图片及其位姿中学习隐式三维场景，生成新视角图像。然而原始NeRF只能在有界场景下得到逼真的结果，在对室外大场景进行建模时，往往会面临无界背景、模型容量、场景外观等问题。基于室外大场景中NeRF部署的多个角度改进和多样的NeRF变种，首先介绍NeRF的背景，然后从室外大场景的难点切入，对各个难点的解决方法进行分析和讨论，最后对室外大场景NeRF目前的进展进行总结并对未来进行展望。

针对遥感图像中目标尺度变化大和背景复杂导致检测精度低的问题，设计了一种改进YOLOv7目标检测算法。首先，为了缓解复杂背景对检测器的干扰，设计了一个注意力引导的高效层聚合网络(ALAN)，以优化多路径网络使其更聚焦前景目标而降低背景的影响；其次，为了降低目标尺度变化大对检测精度的影响，设计了一种注意力多尺度特征增强(AMSFE)模块，用于扩展主干网络输出特征的感受野，以加强网络对尺度变化大目标的特征表征能力；最后，引入旋转边界框损失函数，以获取任意朝向物体的精确位置信息。在DIOR-R数据集上的实验结果表明，该算法mAP达到了64.51%，相比于基线原始YOLOv7算法提高了3.43%，且优于其他同类算法，能够适应遥感图像中多尺度和复杂背景的目标检测任务。

腹腔镜手术自动化是智能外科的重要组成部分，其前提是腔镜视野下手术器械与脏器实时精准分割。受术中血液污染、烟雾干扰等复杂因素影响，器械与脏器实时精准分割面临巨大挑战，现有图像分割方法均表现不佳。因此提出一种基于注意力感知与空间通道的快速分割网络(ASC-Net)，以实现腹腔镜图像中器械和脏器快速精准分割。在UNet架构下，设计了注意力感知与空间通道模块，通过跳跃连接将二者嵌入编码与解码模块间，使网络重点关注图像中相似目标间深层语义信息差异，同时多维度学习各目标的多尺度特征。此外，采用预训练微调策略，减小网络计算量。实验结果表明：在EndoVis2018数据集上的平均骰子系数(mDice)、平均重叠度(mIoU)、平均推理时间(mIT)分别为90.64%，86.40%和16.73 ms (60帧/秒)，相比于现有最先进方法，mDice与mIoU提升了26%与39%，且mIT降低了56%；在AutoLaparo数据集上的mDice，mIoU和mIT分别为93.72%，89.43%和16.41ms (61帧/秒)，同样优于对比方法。该方法在保证分割速度的同时有效提升了分割精度，实现了腹腔镜图像中手术器械和脏器的快速精准分割，将助力腹腔镜手术自动化快速发展。

可见光-红外跨模态行人再识别(VI-ReID)旨在对不同摄像头采集同一行人的可见光图像和红外图像进行检索与匹配。除了存在可见光行人再识别(ReID)中因位姿、视角、局部遮挡等造成的模态内差异外，可见光图像和红外图像的模态间差异是VI-ReID的主要挑战。现有方法通常对2种模态的图像进行联合特征学习来缩小模态间差异，忽略了可见光和红外两种模态图像在通道上的本质不同。为此，本文试图从2种模态共同生成一种中间模态来辅助缩小模态间差异，并在标准ViT(vision transformer)网络上通过局部特征和全局特征的融合来优化特征嵌入学习。首先，设计同质中间模态生成器，通过可见光图像和红外图像共同生成同质中间模态(H-modality)图像，将3种模态图像投影到统一的特征空间进行联合约束，从而借助中间模态缩小可见光模态和红外模态间的差异，实现图像级对齐。进一步提出一种基于同质中间模态的Transformer跨模态行人再识别方法，使用ViT提取全局特征，设计一个局部分支以增强网络的局部感知能力。在全局特征提取中，为了增强全局特征的多样性，引入头部多样性模块(head enrich module)使不同的头聚合图像不同的模式。该方法融合全局特征与局部特征，能够提高模型的判别能力，在SYSU-MM01和RegDB数据集上的rank-1/mAP分别达到67.68%/64.37%和86.16%/79.11%，优于现有大多数最前沿的方法。

为解决现有人像抠图方法中存在的语义判别错误和抠图细节模糊问题，提出一种基于语义引导的人像自动抠图模型。首先引入CNN-Transformer混合架构EMO进行特征编码。接着，在语义分割解码分支利用多尺度混合注意力模块处理最高层编码特征，以增强多尺度表征和像素级判别能力。然后，使用特征增强模块融合高层次特征，促使高层语义信息在浅层网络的流动。同时，细节抠取解码分支中的聚合以引导来自模块不同分支的特征聚合，利用聚合特征更好地引导网络提取浅层特征，提高了边缘细节抠取精度。在3个数据集上的实验表明，该方法与所比较方法相比性能达到了最优，并显著降低了参数量和计算复杂度，具有较高的竞争力。

风暴是一种生命周期短、发生突然、空间尺度小的自然现象，常用雷达回波外推方法进行预测，但时序预测模型难以在众多特征中定位风暴关键信息，导致预测精度低，模型无法充分学习图像高频信息，导致预测细节缺失，结果模糊。为了提升预测性能，提出两阶段风暴单体外推框架。第一阶段使用多尺度模块提取多尺度信息，注意力机制挖掘影响预测的重要特征，使用时空长短期记忆单元进行序列预测。第二阶段对一阶段结果进行偏差矫正，使用频域损失丰富外推细节。实验结果表明，在雷达回波数据集上，与主流模型PredRNN-V2相比，该模型均方误差降低11.4%，SSIM提升4.3%，在风暴单体外推任务中表现优越。在Moving MNIST数据集上，均方误差降低4.95%，感知损失降低12.67%，SSIM提升至0.898，具有良好的时序预测能力。

域泛化是人工智能近几年非常热门的一个研究方向，希望在不同的数据分布中学习到与任务相关的不变表征，即移除不同域在学习任务中的影响，从而提升模型的域泛化能力。为提升模型域泛化能力，利用基于不变性风险最小化的思想，具体将神经网络分为特征提取器和不变性分类器进行分别探究。在特征提取器上，采用了基于牛顿迭代的组白化方法来控制激活值的分布，从而使得不同的图像经过神经网络后能够去除部分域信息，以求达到域泛化的目的；在不变性分类器上，探究了特征和权重的规范化方法对模型域泛化效果的影响，并提出了基于余弦相似度损失函数的雪花算法，该算法提升了模型域泛化的准确率。此外，提供了关于雪花算法的理论推导并做了深入分析，为实验提供了理论支撑。

针对无人塔吊系统的研究需求，提出一种基于改进YOLOv8和GMM图像点集匹配的双目测距方法，对驾驶室外环境中的塔吊吊钩进行检测识别并测距。通过双目摄像头进行图像采集，引入FasterNet骨干网络和Slim-neck颈部连接层，对YOLOv8目标检测算法进行改进，有效检测画面中的塔吊吊钩并获取检测框的二维坐标信息；采用局部敏感哈希方法，并融合分阶段匹配策略，提升GMM图像点集匹配模型的匹配效率，针对检测框中的塔吊吊钩，进行特征点匹配；最后通过双目相机三角测量原理计算得出塔吊吊钩的深度信息。实验结果表明，改进后的YOLOv8算法与原算法相比，精确率P提高了2.9%，平均精度AP₅₀提高了2.2%，模型复杂度降低了10.01 GFLops，参数量减少了3.37 M，在提升检测精度的同时实现了模型的轻量化。改进后的图像点集匹配算法与原算法相比，各个指标表现出更加良好的鲁棒性。最后在工程现场对塔吊吊钩进行识别与测距，误差可接受范围内有效完成了塔吊吊钩的检测识别与测距任务，验证了本方法的可行性。

针对船舰遥感目标图像检测中存在的小目标检测困难，船舰形状各异以及传统水平边界框对于高长宽比的目标所框选冗余信息较多的问题，提出了一种基于改进YOLOv8的船舰遥感图像旋转目标检测算法。通过改进主干网络中的卷积结构，缓解了由于跨步卷积所导致的细粒度信息丢失的问题，对于小目标检测的精度有所提升；将C2f中的部分卷积模块替换为DCNv3可变形卷积，使其可以更好提取不规则物体的特征信息，提高模型的非线性建模能力；在颈部网络中融入主干网络中的浅层特征信息，缓解了经多次卷积操作所导致的细节信息丢失的问题，提升了模型对小目标物体的检测能力。实验结果表明，改进后的算法在ShipRSImageNet数据集上的检测精度(mAP50)达到了84.317%，较基准模型提升了4.054%，在HRSC2016数据集上达到了93.235%，较基准模型提升了1.555%，在少量增加模型参数量的情况下取得了较高的检测性能，很好地平衡了模型的效率和性能。

针对复杂多变的水面环境，小目标检测存在漏检、错检且检测平台计算资源有限的问题，提出了基于YOLOv8的轻量化水面目标检测算法SOE-YOLO。首先在Neck部分使用包含GSConv的Slim-Neck设计范式对模型进行轻量化改进；其次通过使用轻量型卷积(ODConv)模块重新构建Backbone部分，以减少参数量从而提高网络的检测速度；最后引入多尺度注意力机制(EMA)增强网络多尺度特征提取能力，提高小目标检测能力。在WSODD测试集中的实验结果表明，SOE-YOLO模型参数量和计算量分别为2.8 M和6.6 GFLOPs，与原模型相比分别减少12.5%和18.6%，同时mAP@%0.5和mAP@0.5-0.95分别达到79.9%和47.2%，与原模型相比分别提高2.4%和1.6%，且漏检率下降明显，优于当前流行的目标检测算法。FPS达到了64.25，满足水面目标检测实时性的要求。在实现轻量化的同时具有更好的检测性能，满足了在计算资源受限环境下的部署需求。

目标检测与实例分割是计算机视觉中2种重要且关系紧密的任务，但其间的关联在大多数工作中还未得到充分的探索。为此，提出了RDSNet，一种用于互惠目标检测与实例分割的深层架构。为了实现这2种任务之间协同优化，设计了一个双流式结构来联合学习目标级别和像素级别的特征表达，分别用于编码目标级别和像素级别的信息，并在双流之间引入了3个模块来实现二者的相互作用，让目标信息辅助实例分割，像素信息辅助目标检测。通过相关模块提供一种计算目标级和像素级特征相似度的手段，以便于驱动属于同一目标的特征尽可能一致，提高实例掩码的精度。裁剪模块利用目标信息为像素级感知引入实例的概念和平移变化性，以便于更准确地区分不同实例和减少背景噪声。为了进一步提高检测框与目标的贴合程度，提出了基于掩码的边界精细化模块来对掩码和检测框做融合，利用掩码的准确性优势修正检测框的误差。在COCO数据集上的大量实验分析和对比证实了RDSNet的有效性和高效性。此外，通过在边界精细化模块引入掩码打分策略，以新的方式实现了实例分割对目标检测的辅助，使RDSNet的性能得到了进一步提升。

人体动作识别是计算机视觉的重要研究方向，广泛应用于智能监控、人机交互等领域。现有基于骨骼点的动作识别方法多采用图卷积网络(GCN)和时间卷积网络(TCN)级联的方式实现，而后者卷积核的尺寸限制了模型的全局时间建模能力。此外，仅使用卷积处理骨骼点数据缺乏对于不同骨骼点的区分能力，并且TCN提取特征时往往会重复计算，使得TCN的参数量随着网络层数的加深而增大。借助信号处理的方法提出了一种适用于骨骼点的动态时域滤波模块(SDTF)，用于代替TCN对时间特征进行全局建模，并在此基础上对AGCN进行轻量化改进，提出的AGCN-SDTF动作识别模型降低了模型复杂度。SDTF通过傅里叶变换对时间特征进行建模，将傅里叶变换得到的频域特征与滤波得到的频域输出相乘再经过傅里叶逆变换，从而实现对全局时间特征的提取。在NTU-RGBD和Kinetics-Skeleton大型数据集上的实验结果表明，该模型在达到与原模型相同的识别效果时，降低了模型所需的参数量和计算量。

路损伤检测是道路养护与修复的一项重要任务。现有的道路损伤检测方式以传统的人工检测为主，人工检测需要投入大量的人力和物力，检测效率低，无法适应当前道路发展的需求。进而提出了一种改进的多尺度道路损伤检测算法YOLOv8-RDD。首先，YOLOv8-RDD算法在C2f模块中使用可变形卷积(DCN)建了全新的C2f_DCN模块，扩大感受野的有效范围，更准确地定位目标对象的边界和位置，有助于提升对目标的识别和定位能力；其次，网络末端设计了全新的SPPF_GS模块，在SPPF模块中引入了自注意力机制(SA)和幻影卷积Ghost模块，并重新优化了池化核的大小，更好的处理长距离依赖性和捕获全局信息；最后，在Neck中引入坐标注意力机制(CA)，强化模型的特征提取能力，减少冗余信息。实验结果表明，改进后的算法在RDD2022数据集上面的精确度(Precision)为61.1%、召回率(Recall)为55.5%，平均精度(mAP)为56.2%，相较于YOLOv8n算法分别提高了4.6%、4.7%和5.2%,在道路损伤的目标检测上取得了优异的效果。

针对当前算法在面对交通标志时存在识别精度低、检测错误较多等问题，提出了一种基于YOLOv5优化的交通标志检测方法。在Backbone部分，为了获得不同大小的感受野，不同复杂度的特征，并增强特征图的重要特征，抑制冗余特征，使用DBB重参数模块代替Conv卷积，并加入SE注意力机制；在Neck部分，设计了新的SLA Neck，聚合来自不同层的特征图，有效防止小目标特征信息损失，对融合后的特征进行上采样，增加小目标检测层，增强浅层语义信息；在Head部分引入IoU-Aware查询选择，即将IoU分数引入分类分支的目标函数，预测框与GT的IoU作为类别预测的标签，以实现对正样本分类和定位的一致性约束；使用SIoU损失函数代替CIoU损失函数，考虑真实框与预测框之间的方向，提升收敛速度和推理能力。实验结果表明，在TT100K数据集下，方法相较于YOLOv5m，计算量减少了3.3%，参数量减少了34.8%，而mAP和mAP@50:95分别提升了13.8%和10.4%。实验说明，该模型在减少模型参数量及大小的同时提高了检测精度，具有应用价值。

骨架行为识别是计算机视觉和机器学习领域的研究热点。现有数据驱动型神经网络往往忽略骨架序列时间动态帧选择和模型内在人类可理解的决策逻辑，造成可解释性不足。为此提出一种基于时间动态帧选择与时空图卷积的可解释骨架行为识别方法，以提高模型的可解释性和识别性能。首先利用骨架帧置信度评价函数删除低质骨架帧，以解决骨架序列噪声问题。其次基于人体运动领域知识，提出自适应时间动态帧选择模块用于计算运动行为显著区域，以捕捉关键人体运动骨架帧的动态规律。为学习行为骨架节点内在拓扑结构，改进时空图卷积网络用于可解释骨架行为识别。在NTU RGB+D，NTU RGB+D 120和FineGym这3个大型公开数据集上的实验评估表明，该方法的骨架行为识别准确率优于对比方法并具有可解释性。

建筑彩绘是绘制在木构建筑上的精美图案。在古建筑进行数字化展示时，通用处理方法是以网格模型加单张纹理的模式进行绘制。由于单张纹理贴图分辨率有限，无法展示所有细节，且常见的纹理为位图格式，使用多张高分辨率贴图会导致显存占用过大，致使数据交换效率变低。为解决上述难题，提出了一种高质量贴图重构方法。利用彩绘图案的自相似性和对称性，提取彩绘纹样最小不重复单元及版式信息。使用矢量数据表示最小图元并构建纹样素材库。在编辑三维模型的彩绘纹案时，通过复用图元并配置相应变换参数编码生成描述性文件，用以完成彩绘内容的渲染。实验结果表明，该方法有效减少了重复信息的存储，且提供更为清晰的细节，更好地进行数字化展示。

针对人脸纹理生成相关研究大部分聚焦于低分辨率纹理生成的问题，将图像翻译运用到高分辨率纹理图的生成中，提出一种以图像翻译网络为核心的1024×1024纹理图的全流程生成方法。在快速高效生成的同时，有效缓解了生成人脸UV纹理分辨率低的问题。在图像翻译网络中，由卷积神经网络作为骨干网络，嵌入统计纹理学习网络(STLNet)，并采用软自适应层实例规范化(Soft-AdaLIN)的归一化方法共同构成生成器，同时采用多尺度判别来指导高分辨率纹理图像的生成，最后进行颜色转换与泊松融合完成纹理校正。在FFHQ数据集随机抽取图像并进行人脸归一化后进行测试，通过一系列评价指标进行定量评估、同近年相关研究方法进行定性及定量比较，验证了该全流程生成方法在生成1024×1024人脸UV纹理图像上的优势。

全息技术具有独特的真三维显示能力，有助于提供生动准确的视觉感知和自然的交互体验，未来将在图像和信息演示相关方面具有广泛的实际应用。此外，随着地理信息发展与地图普适化应用，地图成为大众十分重要的工具。其中，大型公共场所全息地图具有广泛的需求和较高的应用价值，其固有的信息融合特点与信息承载特性也使得其呈现形式具有较深的研究意义。为此，首先从地图内容、空间特性、交互特性的角度分析大型公共场所全息地图的信息显示特征，并通过实验展开标地方式与信息层级的研究。实验结果显示，基础场景图层以空间视角锁定的方式呈现最佳；相关联的泛在信息图层以用户视角锁定的方式呈现最佳，其信息层级适用空间纵深架构方案。基于所得结论，并结合大型公共空间的场景特点和用户诉求，进行大型公共场所全息地图系统的设计实践，为全息技术的落地与应用提供一定的参考和启示。

基于去噪扩散模型的零样本图像编辑方法取得了瞩目的成就，将之应用于3D场景编辑可实现零样本的文本驱动3D场景编辑。然而，其3D编辑效果容易受扩散模型的3D连续性与过度编辑等问题影响，产生错误的编辑结果。针对这些问题，提出了一种新的文本驱动3D编辑方法，该方法从数据端着手，提出了基于关键视图的数据迭代方法与基于像素点的异常数据掩码模块。关键视图数据可以引导一个3D区域的编辑以减少3D不一致数据的影响，而数据掩码模块则可以过滤掉2D输入数据中的异常点。使用该方法，可以实现生动的照片级文本驱动3D场景编辑效果。实验证明，相较于一些目前先进的文本驱动3D场景编辑方法，可以大大减少3D场景中错误的编辑，实现更加生动的、更具真实感的3D编辑效果。此外，使用该方法生成的编辑结果更具多样性、编辑效率也更高。

桁架结构因其自重轻、承载能力强而广泛应用于大跨度公共建筑中，随着使用时间的增加，需要对其结构几何质量进行定期检测以确保其安全性。然而，传统的桁架结构几何质量检测主要依赖人工手段，效率低下且成本高昂。为了实现桁架结构的高效几何质量检测，提出一种基于建筑信息模型(BIM)和三维激光扫描的自动化检测算法。首先，通过BIM将获得的原始点云数据中的桁架结构与背景分离。然后，基于关键点检测技术自动提取桁架结构的几何特征并实现节点坐标的定位计算。最后，将计算结果与BIM中的设计信息进行比较，获得几何质量检测结果。深圳市某校园内的演会中心被用于该方法的验证。实验结果表明，该算法的计算结果与全站仪的测量结果误差不超过2 mm。其与BIM模型数据进行对比，检测出桁架结构的节点存在不同程度的沉降。因此，该方法能准确快速地实现节点的空间定位，提高桁架结构几何质量检测的效率。

为探究转向驾驶情境中，不同道路指引空间位置、道路类型、路口转向、车流量和时间段对新手驾驶人驾驶稳定性和心理负荷的影响，通过搭建虚拟驾驶仿真平台，以道路指引空间位置、道路类型、路口转向、车流量、时间段为试验因素，以方向盘转角标准差、瞳孔直径变异系数为试验指标，进行混合正交试验。采用极差分析法及交互作用比较试验结果，得到最优因素水平组合，并进行相关分析。结果表明，影响驾驶稳定性因素的主次顺序为路口类型>时间段>道路指引空间位置>车流量，影响心理负荷因素的主次顺序为道路指引空间位置>时间段>路口类型>车流量。道路指引空间位置作为HUD道路引导的设计要素，对驾驶人稳定性有促进或干扰，而对心理负荷均有所降低。这些发现为HUD道路指引相关信息设计提供参考，对HUD信息设计研究和城市道路驾驶研究有重要意义。

为优化足底压力分布、降低足底峰值压力，提出一种基于三维足部模型的全接触矫形鞋垫参数化设计方法。以足底压力数据为基础，结合三维晶格结构分析，对鞋垫的减压结构进行优化。首先，利用足部三维扫描模型，通过Grasshopper插件平台开发全接触鞋垫模型参数化设计流程，实现全接触鞋垫的个性化设计。其次，在Abaqus环境下，对TPU材质的六种常见三维立方晶格结构进行能量吸收效率的分析，计算不同填充率下“金刚石”晶格结构的有效弹性模量，评估不同晶格结构在吸收足底压力时的性能，为减压结构的选择提供科学依据。然后，利用图像采样算法提取足底压力较大的区域，选择相应的有效弹性模量结构进行填充，完成全接触矫形鞋垫优化设计，并通过仿真分析对比优化前后矫形鞋垫的减压性能。最后，通过静态和动态足底压力测量实验，证明基于足形和三维减压结构设计的个性化矫形鞋垫可以有效优化足底压力分布、卸载足底压力峰值和提高足部稳定性。