图学学报 ›› 2024, Vol. 45 ›› Issue (1): 126-138.DOI: 10.11996/JG.j.2095-302X.2024010126
收稿日期:
2023-06-29
接受日期:
2023-10-30
出版日期:
2024-02-29
发布日期:
2024-02-29
作者简介:
周磊晶(1987-),女,副研究员,博士。主要研究方向为数字艺术和人工智能。E-mail:leijing@zju.edu.cn
基金资助:
ZHOU Leijing(), ZHANG Yuxin, LEI Rui, SHEN Aoyi
Received:
2023-06-29
Accepted:
2023-10-30
Online:
2024-02-29
Published:
2024-02-29
About author:
ZHOU Leijing (1987-), associate researcher, Ph.D. Her main research interests cover digital art and artificial intelligence. E-mail:leijing@zju.edu.cn
Supported by:
摘要:
铜凿剪纸是一种在铜箔上凿点并使用矿物质颜料上色的传统艺术形式,其成品光彩夺目。铜凿剪纸工艺复杂、制作时间长,对手工艺人的技术水平有很高的要求。为此,提出了一种铜凿剪纸风格化的方法,并设计、实现了一种计算机辅助铜凿剪纸设计工具,通过生成图像线稿、凿点图以及铜凿剪纸效果图,帮助手工艺人快速完成铜凿剪纸的创作和制作。将输入图像进行区域分割以提取图像的线条,生成图像线稿;定义了一种颜色损失函数,结合贪心算法和梯度下降法求解函数最小值得到最佳颜色映射方案;基于VGG-19网络对图像线条进行风格迁移,生成凿点图;将线条风格迁移图像与颜色迁移图像进行融合,生成铜凿剪纸效果图;基于PyQt5框架开发铜凿剪纸设计工具,设计了交互平台。实验结果表明,该方法能够实现图像的铜凿剪纸风格化,且效果接近真实的铜凿剪纸,支持手工艺人快速生成工艺流程中需要的图像线稿、凿点图以及效果图等相关材料,提高铜凿剪纸的制作效率,具有较高的应用价值。
中图分类号:
周磊晶, 张雨昕, 雷睿, 申奥怡. 铜凿剪纸风格化方法研究[J]. 图学学报, 2024, 45(1): 126-138.
ZHOU Leijing, ZHANG Yuxin, LEI Rui, SHEN Aoyi. Research on stylization method of copper chiseling paper-cutting[J]. Journal of Graphics, 2024, 45(1): 126-138.
图4 使用自适应阈值分割算法得到二值图像((a)原图;(b)二值图像)
Fig. 4 Obtaining binary image using adaptive threshold segmentation algorithm ((a) Original drawing; (b) Binary image)
图5 根据连通域面积筛除细碎线条((a)原始二值图像;(b) 筛除细碎线条)
Fig. 5 Screen out fine lines based on the area of the connected domain ((a) Original binary image; (b) Fine lines filtered)
图7 铜凿剪纸线条风格图、目标内容图以及铜凿剪纸风格线条图((a)风格图;(b)目标内容图;(c)铜凿剪纸风格线条图)
Fig. 7 Copper chiseling paper-cutting line style diagram, target content diagram and copper chiseling paper-cutting style line diagram ((a) Style map; (b) Target content map; (c) Copper chiseling paper-cutting style line diagram)
图8 筛选高饱和度颜色((a)颜色风格图;(b)提取出的主要颜色;(c)筛选出的高饱和度颜色)
Fig. 8 Filter high saturation colors ((a) Color style map; (b) Extracted main colors; (c) Filtered high saturation colors)
图10 使用中值滤波去除细碎区域((a)去除细碎区域;(b)原图;(c)去除细碎区域后图像)
Fig. 10 Using median filtering to remove fine areas ((a) Remove fine areas; (b) Original image; (c) After removing fine areas)
图14 铜凿剪纸风格化设计工具生成图像((a)原图;(b)线稿;(c)凿击图;(d)铜凿剪纸效果图)
Fig. 14 Copper chiseling paper-cutting stylized design tool generates images ((a) Original drawing; (b) Line draft; (c) Chiseling drawing; (d) Copper chisel paper cuttings effect drawing)
图16 不同权重因子风格化结果((a)原图;(b) 1×10-2;(c) 1×10-3;(d) 1×10-4;(e) 1×10-5;(f) 1×10-6)
Fig. 16 Stylization results of different weight factors ((a) Original image; (b) 1×10-2; (c) 1×10-3; (d) 1×10-4; (e) 1×10-5; (f)1×10-6)
图18 使用不同颜色风格图像生成的铜凿剪纸风格化效果图((a),(c),(e)颜色风格图;(b),(d),(f)效果图)
Fig. 18 Stylized renderings of copper chisel paper cuttings using images with different color styles ((a), (c), (e) Color style picture; (b), (d), (f) Effect picture)
图19 不同类型图像的处理效果((a)原图;(b)颜色风格图;(c)线稿;(d)凿点图;(e)铜凿剪纸效果图)
Fig. 19 The processing effect of different types of images ((a) Original; (b) Color style diagram; (c) Line draft; (d) Chisel point diagram; (e) Copper chiseling paper-cutting effect diagram)
图像名称 | 图像尺寸 | 处理时间/s |
---|---|---|
雏菊 | 720×1280 | 27.67 |
蝴蝶兰 | 658×1002 | 16.50 |
鹦鹉 | 564×846 | 8.77 |
兔子 | 600×388 | 5.92 |
天坛 | 800×534 | 9.65 |
墙面 | 800×533 | 12.34 |
表1 各图像的处理时间
Table 1 Processing time of each image
图像名称 | 图像尺寸 | 处理时间/s |
---|---|---|
雏菊 | 720×1280 | 27.67 |
蝴蝶兰 | 658×1002 | 16.50 |
鹦鹉 | 564×846 | 8.77 |
兔子 | 600×388 | 5.92 |
天坛 | 800×534 | 9.65 |
墙面 | 800×533 | 12.34 |
图20 本文结果与其他方法结果对比展示((a)原图;(b)基于本文方法;(c)文献[8];(d) StyTr2[12];(e) IEST[11];(f) MCCNet[9];(g) ArtFlow[10])
Fig. 20 Comparison between the results of this article and those of other methods ((a) Original image; (b) Based on the method proposed in this paper; (c) Ref [8]; (d) StyTr2[12]; (e) IEST[11]; (f) MCCNet[9]; (g) ArtFlow[10])
图22 局部细节对比展示((a)原图;(b)基于本文方法;(c)文献[8];(d) StyTr2[12];(e) IEST[11];(f) MCCNet[9];(g) ArtFlow[10])
Fig. 22 Comparative display of local details ((a) Original image; (b) Based on the method proposed in this paper; (c) Ref[8]; (d) StyTr2[12]; (e) IEST[11]; (f) MCCNet[9]; (g) ArtFlow[10])
评估指标 | 平均得分 | 方差 |
---|---|---|
线稿质量 | 4.32 | 0.51 |
凿点图质量 | 3.82 | 0.54 |
铜凿剪纸效果图风格迁移效果 | 4.41 | 0.34 |
铜凿剪纸效果图美观性 | 4.41 | 0.54 |
表2 实验评估指标和平均得分
Table 2 Experimental evaluation indicators and average scores
评估指标 | 平均得分 | 方差 |
---|---|---|
线稿质量 | 4.32 | 0.51 |
凿点图质量 | 3.82 | 0.54 |
铜凿剪纸效果图风格迁移效果 | 4.41 | 0.34 |
铜凿剪纸效果图美观性 | 4.41 | 0.54 |
[1] | 王瑞. 佛山铜凿剪纸艺术的多元文化传承与保护研究[D]. 广州: 广东技术师范大学, 2020. |
WANG R. Research on multicultural inheritance and protection of Foshan copper chisel paper cutting[D]. Guangzhou: Guangdong Polytechnic Normal University, 2020 (in Chinese). | |
[2] | 谭斯晨. 岭南佛山剪纸艺术形态及其设计应用研究[D]. 长沙: 湖南师范大学, 2020. |
TAN S C. Study on the art form and design application of paper cutting in Foshan, Lingnan[D]. Changsha: Hunan Normal University, 2020 (in Chinese). | |
[3] | 陈婉. 中国民间剪纸的三大流派[J]. 公共艺术, 2010(1): 36-38. |
CHEN W. The major three schools of the Chinese Folk Paper-cut[J]. Public Art, 2010(1): 36-38 (in Chinese). | |
[4] | 王珂. 佛山铜凿剪纸的民俗成因及装饰特征探析[J]. 艺苑, 2021(5): 85-89. |
WANG K. Analysis on the folk causes and decorative features of Foshan copper chisel paper-cut[J]. Forum of Arts, 2021(5): 85-89 (in Chinese). | |
[5] | 武改朝. 不同材质“剪纸范儿”技艺教学内容分析[J]. 教育现代化, 2018, 5(34): 366-367. |
WU G C /Z. Analysis of teaching content of “paper-cut style” skills with different materials[J]. Education Modernization, 2018, 5(34): 366-367 (in Chinese). | |
[6] | 陈佳舟, 王宇航, Amal Ahmed Hasan Mohammed, 等. 基于图像的二维剪纸自动生成方法[J]. 浙江大学学报: 理学版, 2020, 47(3): 274-283. |
CHEN J Z, WANG Y H, MOHAMMED A A H, et al. Image-based automatic generation of 2D paper-cuts[J]. Journal of Zhejiang University: Science Edition, 2020, 47(3): 274-283 (in Chinese). | |
[7] |
王晓宇, 赵妍, 刘泽云, 等. 基于五官特征的人脸剪纸生成方法研究[J]. 计算机工程与应用, 2018, 54(17): 208-213.
DOI |
WANG X Y, ZHAO Y, LIU Z Y, et al. Portrait paper-cut synthetic method based on facial features[J]. Computer Engineering and Applications, 2018, 54(17): 208-213 (in Chinese).
DOI |
|
[8] | GATYS L A, ECKER A S, BETHGE M. A neural algorithm of artistic style[EB/OL]. [2023-05-12]. https://arxiv.org/abs/1508.06576.pdf. |
[9] | DENG Y Y, TANG F, DONG W M, et al. Arbitrary video style transfer via multi-channel correlation[EB/OL]. [2023-05-12]. https://arxiv.org/abs/2009.08003.pdf. |
[10] | AN J, HUANG S Y, SONG Y B, et al. ArtFlow: unbiased image style transfer via reversible neural flows[C]// 2021 IEEE/CVF Conferences on Computer Vision and Pattern Recognition. New York: IEEE Press, 2021: 862-871. |
[11] | CHEN H, ZHAO L, WANG Z, et al. Artistic style transfer with internal-external learning and contrastive learning[EB/OL]. [2023-05-12]. https://proceedings.neurips.cc/paper_files/paper/2021/hash/df5354693177e83e8ba089e94b7b6b55-Abstract.html. |
[12] | DENG Y Y, TANG F, DONG W M, et al. StyTr2: image style transfer with transformers[C]// 2022 IEEE/CVF Conferences on Computer Vision and Pattern Recognition. New York: IEEE Press, 2022: 11316-11326. |
[13] | LIU E M, LIU L J, WANG J H, et al. Int-Papercut: an intelligent pattern generation with papercut style based on convolutional neural network[C]// The 15th IEEE Conference on Industrial Electronics and Applications. New York: IEEE Press, 2020: 59-67. |
[14] | 姚超, 刘桂华, 赵森, 等. 基于卷积神经网络的人物剪纸设计[J]. 传感器与微系统, 2021, 40(7): 88-91. |
YAO C, LIU G H, ZHAO S, et al. Character paper-cutting design based on convolutional neural network[J]. Transducer and Microsystem Technologies, 2021, 40(7): 88-91 (in Chinese). | |
[15] | 乔锦浩, 肖懿, 崔誉丹, 等. 特定风格剪纸艺术的智能生成[J]. 包装工程, 2021, 42(14): 74-80, 91. |
QIAO J H, XIAO Y, CUI Y D, et al. Intelligent generation for specific style of paper-cutting art[J]. Packaging Engineering, 2021, 42(14): 74-80, 91 (in Chinese). | |
[16] | 张显全, 于金辉, 蒋凌琳, 等. 基于纹样的计算机剪纸系统[J]. 计算机工程, 2006, 32(11): 248-250. |
ZHANG X Q, YU J H, JIANG L L, et al. Computer paper cut-out system based on decorative pattern[J]. Computer Engineering, 2006, 32(11): 248-250 (in Chinese). | |
[17] | LI X P. Visualization display system of Gannan hakka paper-cut works based on computer graphics algorithm[J]. Computational Intelligence and Neuroscience, 2022, 2022: 2419689. |
[18] | 窦宁, 万亮. 面向自然图像的年画风格化算法[J]. 计算机应用研究, 2016, 33(2): 636-640. |
DOU N, WAN L. New year painting stylization from images[J]. Application Research of Computers, 2016, 33(2): 636-640 (in Chinese). | |
[19] | SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2023-05-12]. https://arxiv.org/abs/1409.1556.pdf. |
[20] | 宋智礼, 张家齐, 熊亮, 等. 利用风格迁移和特征点的多模态图像配准算法[J]. 遥感信息, 2021, 36(1): 1-6. |
SONG Z L, ZHANG J Q, XIONG L, et al. Multimodal image registration algorithm using style transfer and feature points[J]. Remote Sensing Information, 2021, 36(1): 1-6 (in Chinese). | |
[21] | GATYS L A, ECKER A S, BETHGE M. Image style transfer using convolutional neural networks[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 2414-2423. |
[22] | LIN T-Y, MAIRE M, BELONGIE S, et al. Microsoft COCO: common objects in context[C]// Computer Vision - ECCV 2014. Cham: Springer International Publishing, 2014: 740-755. |
[1] | 毕春艳, 刘越. 基于深度学习的视频人体动作识别综述[J]. 图学学报, 2023, 44(4): 625-639. |
[2] | 李鑫, 普园媛, 赵征鹏, 徐丹, 钱文华. 内容语义和风格特征匹配一致的艺术风格迁移[J]. 图学学报, 2023, 44(4): 699-709. |
[3] | 邓渭铭, 杨铁军, 李纯纯, 黄琳. 基于神经网络架构搜索的铭牌目标检测方法[J]. 图学学报, 2023, 44(4): 718-727. |
[4] | 杨柳, 吴晓群. 基于深度学习的三维形状补全研究综述[J]. 图学学报, 2023, 44(2): 201-215. |
[5] | 单芳湄, 王梦文, 李敏. 融合注意力机制的肠道息肉分割多尺度卷积神经网络[J]. 图学学报, 2023, 44(1): 50-58. |
[6] | 潘东辉, 金映含, 孙旭, 刘玉生, 张东亮. CTH-Net:从线稿和颜色点生成服装图像的CNN-Transformer混合网络[J]. 图学学报, 2023, 44(1): 120-130. |
[7] | 张盾, 黄志开, 王欢, 吴义鹏, 王颖, 邹家豪. 基于多尺度特征实现超参进化的野生菌分类研究与应用[J]. 图学学报, 2022, 43(4): 580-589. |
[8] | 廖志伟, 金兢, 张超凡, 杨学志. 基于分层压缩激励的 ASPP 网络单目深度估计[J]. 图学学报, 2022, 43(2): 214-222. |
[9] | 苏常保, 龚世才. 基于深度学习的人物肖像全自动抠图算法[J]. 图学学报, 2022, 43(2): 247-253. |
[10] | 何国忠, 梁宇. 基于卷积神经网络的 PCB 缺陷检测[J]. 图学学报, 2022, 43(1): 21-27. |
[11] | 汪玉金, 谢 诚, 余蓓蓓, 向鸿鑫, 柳 青. 属性语义与图谱语义融合增强的 零次学习图像识别[J]. 图学学报, 2021, 42(6): 899-907. |
[12] | 张 成 , 侯宇超 , 焦宇倩 , 白艳萍 , 李建军 . 基于三通道分离特征融合与支持向量机的混凝土 图像分类研究[J]. 图学学报, 2021, 42(6): 917-923. |
[13] | 马 欢, 冀晶晶, 刘佳豪, 刘雨婷. 面向机器人自主分割的肉品识别分类系统实现[J]. 图学学报, 2021, 42(6): 924-930. |
[14] | 封 筠 , 赵 颖 , 毕健康 , 赖柏江 , 胡晶晶 . 多级卷积神经网络的沥青路面裂缝 图像层次化筛选[J]. 图学学报, 2021, 42(5): 719-728. |
[15] | 张明华 , 牛玉莹 , 杜艳玲 , 黄冬梅 , 刘刻福 . 基于残差 3DCNN 和三维 Gabor 滤波器的 高光谱图像分类[J]. 图学学报, 2021, 42(5): 729-737. |
阅读次数 | ||||||
全文 |
|
|||||
摘要 |
|
|||||