导语
在AI艺术创作领域,英伟达研究人员最新推出的Perfusion技术为创作者带来了福音。这种创新的文本到图像个性化方法,仅需100KB的空间和4分钟的训练时间,即可实现对个性化概念的灵活表达,同时保持其身份特征,为AI艺术创作带来新的可能性。
小身材,大智慧
Perfusion由英伟达与以色列特拉维夫大学合作研发,其研究成果已发表。尽管模型体积小巧,但在特定编辑效率方面,它却超越了Stable Diffusion v1.5、Stable Diffusion XL (SDXL)以及MidJourney等主流AI艺术生成器所使用的调整方法。
密钥锁定：个性化与泛化的巧妙结合
Perfusion的核心创新在于“密钥锁定”机制。该机制将用户想要添加的新概念（例如特定的猫或椅子）与更一般的类别联系起来,例如将猫与“猫科动物”的概念相连。这种方式有效避免了模型过度拟合训练样本,从而使其能够生成更具创意的个性化概念版本。
例如,通过将一只具体的猫与“猫科动物”的概念绑定,模型可以描绘出这只猫在各种姿势、外观和环境下的形态,同时保留其作为“猫”的核心特征,而非仅仅生成一只随机的猫科动物。简而言之,密钥锁定赋予AI灵活描绘个性化概念的能力,同时确保其核心身份的完整性。
灵活控制,多重概念交互
与现有工具孤立地学习概念不同,Perfusion允许在单个图像中组合多个个性化概念,并实现自然交互。用户可以通过文本提示引导图像创建过程,例如将特定的猫和椅子融合在一起。
此外,Perfusion还提供了一个独特的功能,允许用户通过调整模型参数来控制视觉保真度和文本对齐之间的平衡。这意味着用户可以轻松找到最符合其需求的图像生成效果,而无需重新训练模型。
轻量高效,引领未来
与LoRA、文本反转嵌入和Dreambooth等现有微调方法相比,Perfusion以其轻量级和高效性脱颖而出。在提供卓越的视觉质量和与提示对齐的同时,Perfusion仅需极小的空间占用,并在微调过程中仅更新必要部分,极大地提高了效率。
英伟达AI布局再下一城
Perfusion的推出与英伟达日益增长的AI战略布局相一致。随着其GPU在AI模型训练领域的主导地位不断加强,英伟达的股价在2023年持续走高。在生成式AI蓬勃发展的背景下,Perfusion的创新技术无疑将为英伟达带来更大的竞争优势。
英伟达目前已发布Perfusion的研究论文,并承诺即将开源代码,让我们拭目以待这一技术的未来发展,以及它将为AI艺术创作带来的无限可能。