IP-Adapter:让Stable Diffusion支持图像提示词!可适配ControlNet!

点蓝色字关注 “机器学习算法工程师 ”

设为 星标 ，干货直达！

近日，腾讯发布了一个新的Stable Diffusion适配器：IP-Adapter，它可以让Stable Diffusion支持图像提示词，而且适配任何基底模型以及ControlNet。同时，IP-Adapter还可以同时使用图像提示词和文本提示词。 目前模型代码均已经开源： 论文：https://arxiv.org/abs/2308.06721 项目主页 ：https://ip-adapter.github.io/ 代码 ：https://github.com/tencent-ailab/IP-Adapter IP-Adapter可以适配Stable Diffusion的任何基底模型：

还可以和ControlNet或者T2I-Adapter结合在一起实现结构控制：

相比之前的方式也有明显的改善：

而且IP-Adapter也可以用于图生图以及图像inpainting：

更重要的是还可以同时使用图像提示词和文本提示词：

而且相比之前的方法也好不少：

推荐阅读

使用PyTorch 2.0加速Transformer：训练推理均拿下！

硬核解读Stable Diffusion（系列三）

硬核解读Stable Diffusion（系列二）

硬核解读Stable Diffusion（系列一）

带你入门扩散模型：DDPM

机器学习算法工程师

---

                                    一个用心的公众号