LLM2D
SketcherX:基于扩散模型和矢量化技术的AI驱动交互式机器人绘画
SketcherX: AI-Driven Interactive Robotic drawing with Diffusion model and Vectorization Techniques
发布日期: 9/25/2024
arXiv ID: oai:arXiv.org:2409.15292v1

摘要

我们介绍了 SketcherX,这是一种新颖的机器人系统,通过交互式人机互动来进行个性化肖像绘制。与依赖模拟打印技术的传统机器人艺术系统不同,SketcherX 捕捉和处理面部图像以生成独特的、类似人类艺术风格的矢量化图画。该系统由两个 6 轴机械臂组成:一个面部机器人,配备头部安装的摄像头和大型语言模型 (LLM) 用于实时交互;一个绘图机器人,利用经过微调的稳定扩散模型、ControlNet 和视觉语言模型进行动态的、风格化的绘图。我们的贡献包括开发定制的矢量低秩自适应模型 (LoRA),使系统能够无缝适应各种艺术风格,以及整合成对微调方法以提高笔触质量和风格准确性。实验结果表明,该系统能够在两分钟内生成高质量的个性化肖像,突出了其作为机器人创意新范式的潜力。这项工作通过将机器人定位为创造过程中的积极参与者,推进了机器人艺术领域的发展,为未来探索交互式人机艺术协作铺平了道路。