可智能生成刺绣图案！武汉纺织大学可视计算与数字纺织团队发布首个多缝线刺绣生成对抗网络模型，被顶级期刊 TVCG 录用
输入“/”快速插入内容
可智能生成刺绣图案！武汉纺织大学可视计算与数字纺织团队发布首个多缝线刺绣生成对抗网络模型，被顶级期刊 TVCG 录用
可智能生成刺绣图案！武汉纺织大学可视计算与数字纺织团队发布首个多缝线刺绣生成对抗网络模型，被顶级期刊 TVCG 录用
2024年9月25日修改
绣成安向春园里，引得黄莺下柳条。作为非物质文化遗产的重要代表，我国的刺绣艺术历史悠久、技艺精湛，工匠通过不同的针脚、各色的丝线，将主题丰富的图案活灵活现地展示于一方绣布之上。过去，刺绣工艺复杂、门槛极高，需要有专业知识与实践经验的工匠才能完成。近年来，卷积神经网络 (CNN) 在图像分类、目标检测、图像生成和风格迁移等任务上展现出强大能力，研究人员也开始探索利用 CNN 在图像中合成刺绣特征。
然而由于刺绣具有复杂的针法、纹理和立体感，并且包含着微小的细节和不规则的图案，所以 CNN 在合成刺绣特征的应用中存在局限性，例如无法预测不同的缝线类型，使得它难以有效地提取缝线特征，从而无法有效生成连贯且自然的刺绣图案。因此还需要设计师手动选择和调整缝线类型和其对应的颜色，这一过程往往需要耗费大量的时间，才能达到理想的效果。
针对于此，武汉纺织大学计算机与人工智能学院可视计算与数字纺织团队提出了一种多缝线刺绣生成对抗网络模型 MSEmbGAN。MSEmbGAN 提高了刺绣中纹理真实度和色彩保真度等关键方面的精度，成为首个基于 CNN 成功完成刺绣预测特征的生成对抗网络模型。
相关研究以「MSEmbGAN: Multi-Stitch Embroidery Synthesis via Region-Aware Texture Generation」为题，被 IEEE Transactions on Visualization and Computer Graphics (TVCG) 录用，上海交通大学计算机科学与工程学院盛斌教授为通讯作者。TVCG 是计算机可视化领域的顶级期刊，被中国计算机学会 (CCF) 列为 A 类期刊。
研究亮点：
•
MSEmbGAN 是第一个成功合成包含多种缝线纹理和色彩的多针刺绣图像的基于学习的模型
•
提出了两个互相协作的子网络：一个是区域感知纹理生成网络，以确保刺绣纹理的多样性，以及缝线特征的准确性；而另一个是着色网络，以确保输入和输出图像之间颜色的一致性
•
建立了当前最大的多针刺绣数据集，同时它也是第一个通过单针和多针标签详细标注的刺绣数据集
关注公众号，后台回复「多针刺绣」获取完整 PDF
数据集下载地址：
开源项目「awesome-ai4s」汇集了百余篇 AI4S 论文解读，并提供海量数据集与工具：
数据集：包含 30K + 图像，为目前已知的最大刺绣数据集
研究人员通过专业的刺绣软件 (Wilcom 9.0) 制作了超过 3 万的图像，包括刺绣图像和相应的内容图像。并且所有图像都被调整为 256 × 256 的分辨率。多针刺绣数据集将开源，贡献给本研究领域的其他研究者。
值得一提的是，多针刺绣数据集中的图像标注有 4 种标签，分别对应 3 种单针类型和 1 种多针类型 (Multiple Stitch，指 3 种单针类型的混合)。其中 3 种单针类型分别指缎面 (Satin Stitch)、榻榻米 (Tatami Stitch) 和平针 (Flat Stitch)。
这是第一个通过单针和多针标签详细标注的刺绣数据集，包括 1.3 万多张已对齐内容刺绣图像和 1.7 万多张未对齐图像，是目前已知的最大刺绣数据集。
多针刺绣数据集图像示意图
制作多针法刺绣数据集的步骤如下：