编程技术分享平台

网站首页 > 技术教程 正文

comfyui全自动任意风格转换工作流,知其然知其所以然!

xnh888 2024-11-27 22:10:51 技术教程 17 ℃ 0 评论

搭建comfyui工作流就像在炒菜,炒着炒着你就知道有些菜系其实用的是同一种烹饪方法!之前很火的粘土风格工作流、陶瓷风格工作流、还是我今天要讲的3D动漫工作流其实工作流搭建原理不尽相同!

老规矩先说工作流原理:搭载文生图和脸部固定模型(例如ipadapter face\instand ID\PULID),和相关风格lora,并配合相关风格提示词及模型一键生成即可,指定图像任意风格加controlnet控制即可!

接下来我们逐步拆解搭建方法:

基础版:

第一步:搭载文生图模块:

第二步:搭建pulid换脸模块

这里PULID需要加载三个模型,分别是pulid模型,eva_clip模型及face analysis(insightface)模型!,和文生图的连接方式为模型通道!

PuLID 模型是一种用于图像处理和生成的深度学习模型。在这里,它加载了名为 puli-adapter_pulid_sdxl_fp16.safetensors 的模型文

EVA CLIP 模型,CLIP 模型是一种将文本和图像联合嵌入到相同空间的模型,用于文本图像匹配、图像生成等任务。EVA CLIP 是 CLIP 模型的一个变种。

InsightFace 是一个用于面部分析的深度学习模型,常用于面部识别、面部属性分析等任务。

这里的用法和instand ID十分相似,我们在连接image的时候可以用image crop face精确裁剪出人物面部!

第三步:加载LORA和提示词

这里你想生成什么样的风格的lora你就用什么风格的lora,粘土、3D动漫都可以,因为图像已经锁定,所以lora风格你可以任意切换了!这里可以加载sytles selector提示词工具可以选择不同风格,再用string fuction和CR text将你要输入的提示词append组合输入到提示词正向!

串联起来lora和pulid,我们看看效果怎么样!是不是既有了人物的脸型又有了3D动漫风格!

进阶版:

1.vae encode到latent

现实中如果你去靠这个工作流接单,客户给你一张照片让你转化风格,那么我们只需要vae encode到latent或者直接连接easy use的加载器的empty latent with和height!

2.图像比例调整及提示词反推

这里要将图像调整到XL生图适合的比例,并选择keep proportion保持比例,以为要更大程度的还原原图的风格所以我们再用wd14 tagger反推出图像提示词,输入到strings funtion!

3.controlnet 控制人物主体及构图

这里用anytext模型,在固定人物姿势及细节方面真的非常不错而且不用连接预处理器!

这样高级版的comfyui任意风格生成器,就搭建完成了,接下来看看生成效果!

好了这篇就到这里,最后,感谢每一位阅读我文章的朋友,如果你觉得文章不错,请随手点赞、在看、转发吧,也欢迎你给个星标?,以便第一时间收到我的推送。感谢大家的一路陪伴,希望我们共同见证一个充满希望和机遇的未来!

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表