开源可自部署的文生图ai大模型,效果比肩aimidjourney
前言
本来想先搭载一个平台给大伙试试,但是考虑到很吃显卡需要GPU相关的服务器。买云服务器太贵,用自己家里面电脑跑的话又涉嫌对外提供Web服务,会被运营商封号,加上的模型能够生成你们懂的的那种图,这下好了,buff叠满,没一丝的可能搭载给你们体验。只能把教程发出来教你们自己去尝试了。前排提示,末尾有生成效果和我打包好的可以直接使用的包,包内内置三种低端点的模型,缺少最高端flex-dev的模型,需要的话vb自己去找资源。
模型区分
- Flux Pro: 顶级模型只能通过API调用
- Flux Dev: 开源但是不能商用,质量效果和pro类似
- Flux Schnell: 高度提炼版,速度快,能商用。
开始搭建
首先考虑到很多用户并不具备api调用的能力,所以先要准备一个ui交互的界面来方便操作。ComfyUI是一个具有高度可配置
、支持多种模型
、跨平台支持
等特点的节点式界面。
ComfyUI的下载使用
开源地址: https://github.com/comfyanonymous/ComfyUI
下载加压后备用
下载中文语言包
考虑到很多人不一定安装了git,可以直接下载zip包解压到ComfyUI/custom_nodes目录下。
地址:https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation
下载CLIP模型
CLIP模型是由OpenAI开发的一种多模态模型,能够理解并关联自然语言和图像。CLIP的核心思想是在训练过程中通过对比学习的方式,将图像和文本映射到一个共享的向量空间中,从而实现文本和图像之间的相互理解和转换。
下载两个文件放到ComfyUI/models/clip/目录下
- 显存超过32G,下载t5xxl_fp16.safetensors,地址:https://huggingface.co/comfyanonymous/flux_text_encoders/blob/main/t5xxl_fp16.safetensors
- 没超过,下载t5xxl_fp8_e4m3fn.safetensors,地址:https://huggingface.co/comfyanonymous/flux_text_encoders/blob/main/t5xxl_fp8_e4m3fn.safetensors
- 这个是必须下的,地址: https://huggingface.co/comfyanonymous/flux_text_encoders/blob/main/clip_l.safetensors
下载 VAE 生成模型
下载解压到ComfyUI/models/vae/目录下
下载地址:https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.safetensors
下载最核心的大模型
根据电脑的显卡配置下载不同的模型后解压到ComfyUI/models/unet/目录下。
- 显存24G,下载FLUX.1-dev,地址
https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
- 显存12G,下载flux-fp8,地址
https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-dev-fp8.safetensors
- 显存还要低,下载FLUX.1-schnell,地址
https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/flux1-schnell.safetensors
- 显卡实在垃圾,下载flux-fp8,地址
https://huggingface.co/Kijai/flux-fp8/blob/main/flux1-schnell-fp8.safetensors
运行
有n卡的跑这个bat即可
设置中文
开始配置
打开网站:https://comfyanonymous.github.io/ComfyUI_examples/flux/
将图片拖到刚才运行的网页中自动加载参数。效果如下:
下面就可以根据文字来生成图片了
毕竟老外的模型,还是的英文提示词,如果最好将想好的中文先翻译为英文来使用。
演示一:村里发魅魔了
演示二:
演示三:
不可描述的图片我试了一下确实可以生成,但是这里就不给你们做演示了。
直接放好模型配置好中文的压缩包
通过百度网盘分享的文件:ComfyUI_windows_portable.rar
链接:https://pan.baidu.com/s/1YNDYTSlUw8S9t16gx2M_yA
提取码:rywi
解压后并运行bat后把同目录的图片拖入网页中