PhotoMaker老照片风格AI

714 词

PhotoMaker老照片风格AI

腾讯和南开推出的这个PhotoMaker有意思!

功能

  • 根据文本提示制作照片

  • 生成带艺术品/老照片风格的照片

  • 风格化照片(比如油画或者拉通风格)

  • 改变年龄或者性别

  • 混合多个人的特征生成新照片

PhotoMaker: Customizing Realistic Human Photos via Stacked ID Embedding(通过堆叠 ID 嵌入定制逼真的人体照片)

项目:photo-maker.github.io
论文:huggingface.co/papers/2312.04461
代码:github.com/TencentARC/PhotoMaker
Demo:huggingface.co/spaces/TencentARC/PhotoMaker

论文摘要:

文本到图像生成的最新进展在根据给定文本提示合成逼真的人类照片方面取得了显着进展。然而,现有的个性化生成方法无法同时满足高效率、有前途的身份(ID)保真度和灵活的文本可控性的要求。

在这项工作中,我们介绍了PhotoMaker,一种高效的个性化文本到图像生成方法,它主要将任意数量的输入 ID 图像编码为堆栈 ID 嵌入,以保存 ID 信息。这种嵌入作为统一的ID表示,不仅可以全面封装同一输入ID的特征,而且可以容纳不同ID的特征以便后续集成。这为更有趣且具有实际价值的应用铺平了道路。

此外,为了推动 PhotoMaker 的训练,我们提出了一个面向 ID 的数据构建管道来组装训练数据。

在通过所提出的管道构建的数据集的滋养下,我们的 PhotoMaker 表现出了比基于测试时微调的方法更好的 ID 保存能力,同时提供了显着的速度改进、高质量的生成结果、强大的泛化能力和广泛的应用程序。