首页

哦哦

概述

什么是Stable Diffusion

Stable Diffusion是一种潜在扩散模型(Latent Diffusion Model),能够从文本描述中生成详细的图像。它还可以用于图像修复、图像绘制、文本到图像和图像到图像等任务。简单地说,我们只要给出想要的图片的文字描述在提Stable Diffusion就能生成符合你要求的逼真的图像!

Stable Diffusion将“图像生成”过程转换为逐渐去除噪声的“扩散”过程,整个过程从随机高斯噪声开始,经过训练逐步去除噪声,直到不再有噪声,最终输出更贴近文本描述的图像。这个过程的缺点是去噪过程的时间和内存消耗都非常大,尤其是在生成高分辨率图像时。Stable Diffusion引入潜在扩散来解决这个问题。潜在扩散通过在较低维度的潜在空间上应用扩散过程而不是使用实际像素空间来减少内存和计算成本。

与DALL·E和Midjourney相比,Stable Diffusion最大的优势是开源,这就意味着Stable Diffusion的潜力巨大、发展飞快。Stable Diffusion已经跟很多工具和平台进行了集成,且可用预训练模型数量众多(参见Stable Diffusion资源列表)。正是由于社区的活跃,使得Stable Diffusion在各种风格的图像生成上都有着出色的表现。

软件与插件

WebUI

秋葉aaaki整合包

B站主页: 秋葉aaaki的个人空间-秋葉aaaki个人主页-哔哩哔哩视频 (bilibili.com)

下载SD-WebUI整合包:夸克网盘分享 (quark.cn)

Lora 插件

注:整合包已自带了Lora插件,不用单独安装

LoRA插件:https://jihulab.com/hunter0725/sd-webui-additional-networks.git

Lora模型放置目录: /models/Lora

ControlNet 插件

ControlNet插件:https://jihulab.com/hunter0725/sd-webui-controlnet.git

ControlNet 模型:https://pan.baidu.com/s/1pPPs9U1-4fAaanftEwEmpw 提取码:eaey

ControlNet 模型 放置位置:/extensions/sd-webui-controlnet/models

ComfyUI

Stable Diffusion 模型

大模型

建筑类大模型

此类模型,是在原有SD大模型基础上进行的训练,由于SD大模型训练对素材要求较高,训练较为复杂,因此这类模型较少,目前首推来自老王大模型,通过测试,这是一款适应性较高的优质模型。模型在写实照片风格与设计效果图风格之间取得了平衡,使得图片生成结果更加适用于行业。

真实风格类大模型

此类模型的初衷,是呈现真实照片风格的内容,首推chilloutmix大模型,另外,随着对人物模型生成的需求越来越高,大量摄影风模型也在出现,例如Nextphoto等。由于此类模型在训练时,对光影和场景进行了训练,因此应用到建筑设计领域,同样可以产生较好的效果。此类风格多用于表现真实的建筑景观设计领域。

2次元与2.5次元大模型

此类模型发源于2次元的绘画,但在发展过程中,逐渐产生类动漫风格的真实场景,也就是2.5次元。此类风格由于内容比较自由,因此在内容丰富度与想象力方面具有优势,可以作为过渡模型使用。2.5次元风格在某些时候也能出现真实照片风,因此也适合于景观设计、室内设计等领域。

Lora模型

建筑lora模型

lora模型可以在大模型的基础上,通过较少素材的训练,达到目标效果,是非常实用的模型,很多“炼丹师”分享了他们的优质lora模型,这些lora模型如果泛化效果可以的话,可以叠加进行使用,注意权重调小一些即可。

其他lora模型

在很多设计相关领域,很多“炼丹师”也制作了独具特点的lora模型。

大模型

NextPhoto

模型类型:真实风格类大模型

SD版本:1.5

来源链接:https://civitai.com/models/84335?modelVersionId=131530

老王_Architecutral_MIX

测 使

LandscapeBING v1.0/冰醋酸 百变景观v1.0

模型类型:真实风格类大模型

SD版本:1.5

来源链接:LiblibAI·哩布哩布AI - 中国领先的AI创作平台

听取了zzz哥的建议,给模型起了个易于搜索辨识的名字,模型内容与先前版本相同。

本模型可画出多个景观上的概念,希望大家可以玩的开心。

prompt:

1.花卉:garden,flower搭配其他都可, 搭配gravel road可画出灰色砂石路

2.驿站:yz_station, service station,搭配其他建筑类相关词汇,可出驿站相关

3.古典园林:SZYL,east asian architecture, architecture,可出古典园林,搭配其他词汇出相应风格组团,石头等

4.秋景:autumn, autumn leaf tree, 搭配其他词可出现秋色叶树种与色调

5.夜景灯光:night,light,搭配其他词可出现深夜夜景灯光效果

6.雨景:rain,fog,多输入几次加大权重,搭配其他词汇可出现雨景

7.随机条件下可输入:ZHIGAN,作为触发词,提高画面的效果图风格

8.在材质上,对木头(wooden)、砖块(brick)有训练

建议使用长句描述自然语言,出不来的东西多输入几次

建议宽图,1024*576为好,cfg7及以下,如果加入lora后过拟严重可试试将clip跳过层调到4.6

可以选择开启动态cfg系数(一个插件)来降低画面的过拟合

可以搭配bad-picture-chill-75v,等负面embedding使用

可以用gpt自动输入的prompt,效果算是良好

搭配controlnet使用效果也算令人满意,作为国内的学生作业我认为是十分够用的

作为一个自主炼制并混合的景观大模型,本模型有以下特点:

本模型是一个定向性质的有些许过拟合的模型(几个词就能输出一张好看的图片),并不够十分泛化,画风也常常过拟,从大模型的高标准评判中来说,并不属优质,但想了想还是发出来,让更多的人看到景观也能用sd画出好图,给予更多的人一些思考。

本模型适合以下人群出图:刚接触sd想立即上手出好图的人、不会自主训练lora的人、想练习prompt使用与抽好看的卡的人、想用一个大模型抓紧时间画出几张好图的人。

本模型不适合以下人群出图:在摸索过许多模型后想自己训练lora模型的人、在度过新手期后想通过自己的训练来长期搭配大模型出图的人(这里我仍旧推荐chill)、下载了一个接近过拟合的模型以后就以为sd的效果主要依靠大模型决定的人。

本模型会用在之后的一些国内课程中。

作者qq名:冰醋酸(如果有群友认识我,嘿嘿)

Lora

AARG_Masterplan Render

模型类型:Lora

SD版本:1.5

来源链接:https://civitai.com/models/96386/aargmasterplan-render

It was trained with more than 150 pics of the masterplan

trigger:aargsitemap,aargdetailmap

add detail:a plan of a city with lots of buildings and a lot of trees in it, and a lot of parking lots(things like this)

实际运用

建筑效果图

大模型:

Lora:

提示词:

1111

反向提示词:

222

成图

完整参数(截图)

ControlNet输入图

总平面图

大模型:NextPhoto_v1.0

Lora:AARG_Siteplan_Render 彩色真实总图_V1.0

提示词

aargsitemap, aargdetailmap, day,trees in the park, trees along the road, cars on road, a plan of a city with lots of trees and buildings on it, and a large park in the middle,building, water, lake, road, pavement, plant, flora

反向提示词

text,watermark,paintings,sketches,low res,(normal quality),(worst quality),(low quality),cropped,nsfw

成图

完整参数(截图)

ControlNet输入图

室内设计

景观草图 ~ 意向效果图

大模型:LandscapeBING

Lora:

提示词:

landscape,ZHIGAN,(((best quality))),(((ultra detailed))),(((masterpiece))),landscape design, office, commercial district, urban, streetscape, greenery, public spaces, pedestrian-friendly, modern architecture, vibrant atmosphere, outdoor seating, walkability

反向提示词:

text,watermark,paintings,sketches,low res,(normal quality),(worst quality),(low quality),cropped,nsfw

成图

完整参数(截图)

ControlNet输入图

其他

相关链接

AI模型网站-C站:https://civitai.com/

炼丹阁 - 官网,专业全面的模型平台社区,高手AI作者都在这∩•ﻌ•⊃ (liandange.com)

建筑设计AIGC模型:StableDiffusion建筑类模型 (yuanjineng.cn)

模型

https://docs.qq.com/sheet/DRXF5cXNlVUpKUnVL

chillout mix模型:https://pan.baidu.com/s/1w1C362ky-DPHoCHyAyzK4g 提取码:2ya0

dvarch模型:https://pan.baidu.com/s/1no7yyg29I3ivfSbaDi-QIg 提取码:y2iw 

自训练AI鸟瞰模型链接:https://pan.baidu.com/s/19Fa-SWqp5jKd6TXfBTQdeg 提取码:q9rt