DynArt ChatGPT：一个动态非遗年画的生成平台

doi:10.11996/JG.j.2095-302X.2023061212

图学学报 ›› 2023, Vol. 44 ›› Issue (6): 1212-1217.DOI: 10.11996/JG.j.2095-302X.2023061212

• 计算机图形学与虚拟现实 • 上一篇下一篇

DynArt ChatGPT：一个动态非遗年画的生成平台

靳聪¹(), 周满玲¹, 张竣淞¹^,³(), 王洪亮², 张佳一², 王晶⁴, 徐明亮⁵

1.中国传媒大学信息与通信工程学院，北京 100024
2.中国传媒大学广告学院，北京 100024
3.华北科技学院电子信息工程学院，北京 101601
4.北京理工大学信息与电子学院，北京 100081
5.郑州大学计算机与人工智能学院，河南郑州 450001

收稿日期:2023-06-19 接受日期:2023-09-07 出版日期:2023-12-31 发布日期:2023-12-17
通讯作者: 张竣淞(1985-)，男，讲师，博士。主要研究方向为智能视音频技术、矿山安全工程。E-mail：cuczjs@ncist.edu.cn
作者简介:
靳聪(1986-)，女，副教授，博士。主要研究方向为强化学习、音乐人工智能和音频信号处理。E-mail：jincong0623@cuc.edu.cn
基金资助:
国家自然科学基金项目(62207029);非物质文化遗产全媒体传播设计研究项目;教育部人文社会科学研究项目-教育部人文社科规划基金项目(22YJA760079);基于AI技术的中国传统设计元素生成方法研究项目(CUC23GZ008)

DynArt ChatGPT: a platform for generating dynamic intangible cultural heritage new year paintings

JIN Cong¹(), ZHOU Man-ling¹, ZHANG Jun-song¹^,³(), WANG Hong-liang², ZHANG Jia-yi², WANG Jing⁴, XU Ming-liang⁵

1. School of Information and Communication Engineering, Communication University of China, Beijing 100024, China
2. School of Advertising, Communication University of China, Beijing 100024, China
3. School of Electronic Information Engineering, North China Institute of Science and Technology, Beijing 101601, China
4. School of Information and Electronics, Beijing Institute of Technology, Beijing 100081, China
5. School of Computer and Artificial Intelligence, Zhengzhou University, Zhenzhou Henan 450001, China

Received:2023-06-19 Accepted:2023-09-07 Online:2023-12-31 Published:2023-12-17
Contact: ZHANG Jun-song (1985-), lecturer, Ph.D. His main research interests cover intelligent audio-visual technology, mine safety engineering. E-mail：cuczjs@ncist.edu.cn
About author:
JIN Cong (1986-), associate professor, Ph.D. Her main research interests cover reinforcement learning, music artificial intelligence and audio signal processing. E-mail：jincong0623@cuc.edu.cn
Supported by:
National Natural Science Foundation of China(62207029);Research on the Design of Full Media Communication of Intangible Cultural Heritage;Ministry of Education Humanities and Social Sciences Research Project - Ministry of Education Humanities and Social Sciences Planning Fund Project(22YJA760079);Research on the Generation Method of Chinese Traditional Design Elements Based on AI Technology(CUC23GZ008)

摘要/Abstract

摘要：

Chat GPT吸引了跨领域的兴趣，因其提供了一个领域的会话能力和推理能力。年画是中国非物质文化遗产的重要组成部分，在过去，年画常作为一种主要的宣传手段。作为商品生产，其有着巨大的宣传推广量与经济价值。在以科技为主导的现代社会，中国非物质文化遗产的保护与发展遭遇到了发展经济、技术更新和文化变迁的三大矛盾，产生了传承乏人、创新不易、保护不力的诸多问题。为了弘扬与发展中国传统美术，本文产生了一个设想：能否将Chat GPT的会话功能与非遗文化中的传统美术进行组合呢?基于此设想，构建了一个系统——动态非遗年画生成系统(DynaArt ChatGPT)。DynaArt ChatGPT可通过提取Chat GPT给出的样例中的关键词，然后再根据关键词生成一段与样例相关的描述，并将描述输入到Lumen5模型中，Lumen5就会根据该输入的描述生成相应的动态视频，经过实验本文认为动态画生成系统可以对一些耳熟能详的中国民间故事进行全新的演绎。

关键词: 动态画生成系统, Chat GPT, Lumen5, 陕西凤翔戏出年画, 天津杨柳青年画

Abstract:

ChatGPT has attracted cross-disciplinary interest due to its capabilities in conversation and reasoning skills. New Year paintings are a vital component of China's intangible cultural heritage, historically serving as a primary means of publicity. As a form of commodity production, it holds immense publicity and economic value. In the modern society dominated by science and technology, the preservation and development of China's intangible cultural heritage has encountered three major challenges: economic development, technological updating, and cultural changes, resulting in issues such as a lack of inheritance, difficulties in innovation, and inadequate protection. In order to promote and develop traditional Chinese arts, an idea was envisioned: could we combine the conversational capabilities of ChatGPT with traditional arts from the realm of intangible cultural heritage? Based on this idea, we constructed a system called the dynamic intangible cultural heritage New Year paintings generation system (DynaArt ChatGPT). DynaArt ChatGPT could extract the keywords from the samples provided by ChatGPT and then generate a description related to those samples based on the keywords. The description was then input into the Lumen5 model, which could generate the corresponding dynamic video according to the provided description. Experiments demonstrated that this dynamic painting generation system could offer a new interpretation of some well-known Chinese folktales.

Key words: DynaArt ChatGPT, ChatGPT, Lumen5, Shaanxi Fengxiang opera New Year paintings, Tianjin Yangliuqing New Year paintings

中图分类号:

TP391

靳聪, 周满玲, 张竣淞, 王洪亮, 张佳一, 王晶, 徐明亮. DynArt ChatGPT：一个动态非遗年画的生成平台[J]. 图学学报, 2023, 44(6): 1212-1217.

JIN Cong, ZHOU Man-ling, ZHANG Jun-song, WANG Hong-liang, ZHANG Jia-yi, WANG Jing, XU Ming-liang. DynArt ChatGPT: a platform for generating dynamic intangible cultural heritage new year paintings[J]. Journal of Graphics, 2023, 44(6): 1212-1217.

图/表 8

参考文献 20

[1]	郭全中, 张金熠. ChatGPT的技术特征与应用前景[J]. 中国传媒科技, 2023(1): 159-160.
	GUO Q Z, ZHANG J Y. Technical characteristics and application prospect of ChatGPT[J]. Media Science and Technology of China, 2023(1): 159-160 (in Chinese).
[2]	王树义, 张庆薇. ChatGPT给科研工作者带来的机遇与挑战[J]. 图书馆论坛, 2023, 43(3): 109-118.
	WANG S Y, ZHANG Q W. ChatGPT's opportunities and challenges for researchers[J]. Library Tribune, 2023, 43(3): 109-118 (in Chinese).
[3]	姜奇平. ChatGPT's大火下的冷思考[J]. 互联网周刊, 2023(4): 6.
	JIANG Q P. Cold thinking under ChatGPT fire[J]. China Internet Week, 2023(4): 6 (in Chinese).
[4]	兰顺正. 在享受ChatGPT的便利时,也要看到其挑战[J]. 世界知识, 2023(6): 72-73.
	LAN S Z. While enjoying the convenience of ChatGPT, we should also see its challenges[J]. World Affairs, 2023(6): 72-73 (in Chinese).
[5]	李砚祖. 传统工艺美术的当代性与地域性: 再谈传统工艺美术的保护与发展[J]. 南京艺术学院学报: 美术与设计版, 2008(1): 5-9.
	LI Y Z. Contemporary and regional characteristics of traditional arts and crafts—on the protection and development of traditional arts and Crafts[J]. Journal of Nanjing Arts Institute: Fine Arts & Design, 2008(1): 5-9 (in Chinese).
[6]	李砚祖. 物质与非物质: 传统工艺美术的保护与发展[J]. 文艺研究, 2006(12): 106-117, 168.
	LI Y Z. Material and immaterial: protection and development of traditional Crafts and fine arts[J]. Literature & Art Studies, 2006(12): 106-117, 168 (in Chinese).
[7]	李砚祖. 传统工艺美术的再发现[J]. 美术观察, 2007(7): 16-17.
	LI Y Z. Rediscovery of traditional arts and Crafts[J]. Art Observation, 2007(7): 16-17 (in Chinese).
[8]	徐艺乙. 当下传统工艺美术的问题与思考[J]. 贵州社会科学, 2014(3): 29-33.
	XU Y Y. Problems and thinking of contemporary traditional arts and Crafts[J]. Guizhou Social Sciences, 2014(3): 29-33 (in Chinese).
[9]	GU G, KO B, GO S, et al. Towards light-weight and real-time line segment detection[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2022, 36(1): 726-734. DOI URL
[10]	金峰. ChatGPT火爆“出圈”为AI发展添薪助力[J]. 通信世界, 2023(3): 5.
	JIN F. ChatGPT's hot “out of the circle” adds salary to AI development[J]. Communications World, 2023(3): 5 (in Chinese).
[11]	SINGER U, POLYAK A, HAYES T, et al. Make-A-Video: text-to-video generation without text-video data[EB/OL]. [2022-12-20]. https://arxiv.org/abs/2209.14792.
[12]	HONG W Y, DING M, ZHENG W D, et al. CogVideo: large-scale pretraining for text-to-video generation via transformers[EB/OL]. [2022-12-13]. https://arxiv.org/abs/2205.15868.
[13]	FU T J, LI L J, GAN Z, et al. VIOLET: end-to-end video-language transformers with masked visual-token modeling[EB/OL]. [2022-12-23]. https://arxiv.org/abs/2111.12681.
[14]	VILLEGAS R, BABAEIZADEH M, KINDERMANS P J, et al. Phenaki: variable length video generation from open domain textual description[EB/OL]. [2022-12-13]. https://arxiv.org/abs/2210.02399.
[15]	BROOKS T, HOLYNSKI A, EFROS A A. InstructPix2Pix: learning to follow image editing instructions[EB/OL]. [2022-12-23]. https://arxiv.org/abs/2211.09800.
[16]	BAO H B, WANG W H, DONG L, et al. VLMo: unified vision-language pre-training with mixture-of-modality- experts[EB/OL]. [2022-12-23]. https://arxiv.org/abs/2111.02358.
[17]	LI J N, LI D X, XIONG C M, et al. Blip-2: bootstrapping language-image pre-training with frozen image encoders and large language models. [2022-12-23]. https://arxiv.org/abs/2201.12086.
[18]	RAMESH A, PAVLOV M, GOH G, et al. Zero-shot text-to-image generation[EB/OL]. [2022-12-13]. https://arxiv.org/abs/2102.12092.
[19]	KADING C, RODNER E, FREYTAG A, et al. Fine-tuning deep neural networks in continuous learning scenarios[EB/OL]. [2022-12-13]. https://pub.inf-cv.uni-jena.de/pdf/Kaeding16_FDN.pdf.
[20]	朱若琳, 蓝善祯, 朱紫星. 视觉-语言多模态预训练模型前沿进展[J]. 中国传媒大学学报: 自然科学版, 2023, 30(1): 66-74.
	ZHU R L, LAN S Z, ZHU Z X. A survey on vision-language multimodality pre-training[J]. Journal of Communication University of China: Science and Technology, 2023, 30(1): 66-74 (in Chinese).

年画种类	色彩明度对比	画面构图	人物形象塑造	色彩运用	主题、题材	绘画特色
陕西凤翔戏出年画	8	7	8	8	8	9
天津杨柳青年画	9	9	7	9	8	8

年画种类	色彩明度对比	画面构图	人物形象塑造	色彩运用	主题、题材	绘画特色
陕西凤翔戏出年画	8	7	8	8	8	9
天津杨柳青年画	9	9	7	9	8	8

评价指标	内容说明
色彩明度对比	强烈的对比，明度跨越超过7个等级，使用高明度色彩，搭配黑色轮廓线，形成鲜明的对比
画面构图	以满、多、全为特点，采用平面化构图和围绕中心式布局，追求丰富、集中和饱满的创作效果
人物形象塑造	夸张、粗犷、饱满，大胆取舍和简化，注重人物形象的夸张表现，强调鲜明的特征和形象的完整性
色彩运用	以红、黄、绿、蓝原色为主，色彩鲜艳热烈，采用大量原色的运用，强调喜庆、醒目的效果
主题、题材	以庆祝喜庆场景为主题，如生肖、传统节日等，强调喜庆氛围，表达吉祥、团圆和繁荣的寓意
绘画技法	运用线条粗犷有力，形象夸张，擅长大胆取舍和简化，追求饱满、充实的艺术效果，突出喜庆和醒目的特点

评价指标	内容说明
色彩明度对比	强烈的对比，明度跨越超过7个等级，使用高明度色彩，搭配黑色轮廓线，形成鲜明的对比
画面构图	以满、多、全为特点，采用平面化构图和围绕中心式布局，追求丰富、集中和饱满的创作效果
人物形象塑造	夸张、粗犷、饱满，大胆取舍和简化，注重人物形象的夸张表现，强调鲜明的特征和形象的完整性
色彩运用	以红、黄、绿、蓝原色为主，色彩鲜艳热烈，采用大量原色的运用，强调喜庆、醒目的效果
主题、题材	以庆祝喜庆场景为主题，如生肖、传统节日等，强调喜庆氛围，表达吉祥、团圆和繁荣的寓意
绘画技法	运用线条粗犷有力，形象夸张，擅长大胆取舍和简化，追求饱满、充实的艺术效果，突出喜庆和醒目的特点

评价指标	内容说明
色彩明度对比	较柔和的对比，明度较为平衡，采用温和的色调
画面构图	常采用对称布局，追求整体平衡和谐
人物形象塑造	细腻而传神，注重人物形象的细节描绘
色彩运用	偏向柔和、温和的色调，注重色彩的和谐与平衡
主题、题材	常以日常生活、自然景观、民间故事为主题
绘画技法	线条流畅、用笔细腻，强调细节描绘，注重传统技法的继承和发展

DynArt ChatGPT：一个动态非遗年画的生成平台

DynArt ChatGPT: a platform for generating dynamic intangible cultural heritage new year paintings

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 20

相关文章 15

编辑推荐

Metrics

本文评价

[1]	温金玉, 方美娥. 基于机器学习的计算机辅助帕金森疾病分类预测研究综述[J]. 图学学报, 2023, 44(6): 1065-1079.
[2]	丁满, 李鹏慧, 张一飞, 马洪坤. 复杂网络在工业设计领域的应用研究现状与进展[J]. 图学学报, 2023, 44(6): 1080-1090.
[3]	成欢, 王硕, 李孟, 秦伦明, 赵芳. 面向自动驾驶场景的神经辐射场综述[J]. 图学学报, 2023, 44(6): 1091-1103.
[4]	魏陈浩, 杨睿, 刘振丙, 蓝如师, 孙希延, 罗笑南. 具有双层路由注意力的YOLOv8道路场景目标检测方法[J]. 图学学报, 2023, 44(6): 1104-1111.
[5]	王大阜, 王静, 石宇凯, 邓志文, 贾志勇. 基于深度迁移学习的图像隐私目标检测研究[J]. 图学学报, 2023, 44(6): 1112-1120.
[6]	丁建川, 肖金桐, 赵可新, 贾冬青, 崔炳德, 杨鑫. 基于脉冲神经网络的复杂场景导航避障算法[J]. 图学学报, 2023, 44(6): 1121-1129.
[7]	夏晓华, 刘希恒, 岳鹏举, 邹易清, 蒋立军. 细节增强的多曝光图像融合方法[J]. 图学学报, 2023, 44(6): 1130-1139.
[8]	范腾, 杨浩, 尹稳, 周冬明. 基于神经辐射场的多尺度视图合成研究[J]. 图学学报, 2023, 44(6): 1140-1148.
[9]	李泓萱, 张松洋, 任博. 基于多级可逆神经网络的大容量裁剪稳健型图像隐写技术[J]. 图学学报, 2023, 44(6): 1149-1161.
[10]	周锐闯, 田瑾, 闫丰亭, 朱天晓, 张玉金. 融合外部注意力和图卷积的点云分类模型[J]. 图学学报, 2023, 44(6): 1162-1172.
[11]	黄少年, 文沛然, 全琪, 陈荣元. 基于多支路聚合的帧预测轻量化视频异常检测[J]. 图学学报, 2023, 44(6): 1173-1182.
[12]	张丽媛, 赵海蓉, 何巍, 唐雄风. 融合全局-局部注意模块的Mask R-CNN膝关节囊肿检测方法[J]. 图学学报, 2023, 44(6): 1183-1190.
[13]	石佳豪, 姚莉. 基于语义引导的视频描述生成[J]. 图学学报, 2023, 44(6): 1191-1201.
[14]	张驰, 张效娟, 赵洋, 杨帆. 基于调色板的半交互式低照度唐卡图像增强[J]. 图学学报, 2023, 44(6): 1202-1211.
[15]	王吉, 王森, 蒋智文, 谢志峰, 李梦甜. 基于深度条件扩散模型的零样本文本驱动虚拟人生成方法[J]. 图学学报, 2023, 44(6): 1218-1226.