由于人工智能继续成为当下的热门话题,本文将概述 AI 生成工具如何帮助可视化在ArcGIS CityEngine和ArcGIS Urban中创建的城市设计。
本文显示的内容是 Esri 苏黎世研发中心与 Brave Studio GmbH 合作进行调查的结果。
使用 CityEngine 屏幕截图测试了不同的 AI 生成工具,以创建逼真的可视化效果。
通过可视化让城市模型栩栩如生
建筑可视化是城市设计的基本组成部分。只有当我们将正式的体量转化为有形的建筑时,我们才能开始从人类的角度感受到规模。
将我们的概念形象化为真实的项目,是验证我们提案的关键步骤。它也是传达我们想要营造的氛围的有力工具。
但在深入研究这个问题之前,让我们先尝试了解在早期开发阶段将设计可视化意味着什么。
如果我们思考大规模开发的主要阶段,那么该过程的一个非常概括的视图将是:
- 城市规划师制定计划
- 城市设计师对其进行了完善
- 建筑师创造的项目最终成为现实
但是,我们如何将尚未完全定义的预计现实形象化呢?
在城市规划和城市设计阶段创建可视化是一项具有挑战性的任务,因为缺少一个关键部分——建筑设计!
为了填补这一空白,我们需要根据假设为建筑物添加细节。
通过将我们的 ArcGIS Urban 规划集成到 CityEngine 中,我们已经可以细化体量并添加细节(如果您想了解其工作原理,请查看 这篇文章 )。
为了使可视化在早期阶段对设计过程有所贡献,需要快速高效地制作可视化。在下一篇文章中,我们将探索一种使用生成式 AI 制作可视化的更有效方法,并将其与现有工作流程进行比较。
3D 平台与生成式 AI
一旦我们在 CityEngine 中获得城市规划或设计,我们可能会考虑两种方法来将其可视化:
3D 平台
此工作流程可提供最准确的结果。任何 3D 平台都可以归入此类别,但在大多数情况下,我们将专门处理游戏引擎,因为它们与 CityEngine 具有方便的互操作性。显然,3D 平台需要复杂的 3D 模型,以便我们稍后处理材料和照明。一般来说,像游戏引擎这样的 3D 平台允许我们创建完全准确的可视化效果,但也需要大量工作。重要的是要记住,最终产品可能不仅仅是图像,还有视频或交互式体验(要了解更多信息,请参阅这篇介绍工作流程的精彩文章)。
生成式人工智能
具体来说,我们将讨论基于扩散模型的 AI 图像生成器。这些工具使用 2D 图像作为源材料来生成最终的可视化效果。这意味着该过程不涉及 3D 模型。这是加快任务速度的关键,尽管它存在一些重要的限制,我们将在后面的示例中看到。对于最终结果,我们将仅关注静态图像的创建,这是该技术最有前途的用例。
基础图像、提示和其他功能
正如我们上面提到的,生成式人工智能工具如此受欢迎的亮点之一是任何人都可以非常快速地制作出令人惊叹的可视化效果——只需输入我们想要看到的内容的提示,就会创建令人信服的图像。
然而,挑战在于充分利用人工智能应用程序提供的巨大创造力,同时忠实于我们的原始设计。要实现这一点,需要一张基础图像。这可以是我们 CityEngine 视口的简单快照,该工具将使用它作为起点。
然后,人工智能使用先进的算法来分析基础图像的内容并重新解释它,并根据用户的设置从其训练模型中添加视觉特征。
生成式 AI 工具的一大优势是它们可以处理两种类型的基础图像:
- 包含精致的城市景观的基础图像。
- 包含简单体量的基础图像。
每种情况都需要略微不同的方法来实现最佳可视化。
让我们看一些例子来分析不同的情况,并了解这种可视化工作流程可以提供的可能性。
我们强烈建议放大图像并使用滑动条来比较基本图像和最终图像。
精致的城市景观作为基础图像
让我们从这种基础图像开始,因为它们与创建可视化的传统过程更相关。
在这种情况下,基础图像已经包含由特定 CityEngine 规则生成的大量细节。因此,AI 会为图像添加一定的氛围,使用材质、资产、天气条件等,而不会过多地改变基础图像的原始几何形状。
波士顿街(白天)
对于第一个示例,我们使用了波士顿多切斯特大道规划的街道级视图。为了创建基础图像,我们导入了 ArcGIS Urban 中的体量,并在 CityEngine 中通过添加立面、街道和绿地进一步完善。
为了生成此可视化效果,我们仅使用了一个特征:
- 提示文字
在这个提示中, 我们描述了我们希望在最终图像中看到的某些方面,例如材料、一天中的时间、天气条件、热闹的街道活动、公共建筑、商店等。
几秒钟内即可生成最终图像,质量令人信服。然而,用户的控制水平仍然有限。
波士顿街(黄昏)
使用相同的原始基础图像作为起点,使用不同的提示和样式图像创建了此可视化。
为了获得最佳效果,风格图像的视角应与基础图像相似。(最终图像由 Brave Studio GmbH 提供)
因此,为了创建这种可视化效果,我们使用了两个功能:
- 提示文字
- 风格形象
风格图像由用户上传,并由人工智能进行解读,提取其视觉风格,并将其应用于最终图像。
生成式 AI 工具通常基于低分辨率下的扩散模型。在大多数情况下,升级是在第二步完成的,而且通常使用不同的工具。
普通街景(雪景)
在这个例子中,包含详细建筑物的场景被用作基础图像,并且我们在提示中指定了某些天气条件以在渲染中实现所需的氛围。
提示中的一个简单单词,如“雪”,就可以触发最终图像中的天气状况。
为了创建这个可视化效果,我们仅使用了一个特征:
- 提示文字
普通街景(雨天)
使用与之前相同的基础图像,我们稍微调整了提示并添加了样式图像以传达与最终渲染不同的心情。
提示中包含“雨”这个词不仅会影响环境,还会影响人们的穿着。
为了创建这种可视化效果,我们使用了两个功能:
- 提示文字
- 风格形象
将体量作为基础图像
这种基础图像提供的细节程度较差。因此,这种情况需要人工智能发挥其创造潜力,以弥补体量细节的不足。
在这种情况下,程序有更大的解释空间。因此,结果可能会因提示或模型训练的参考图像而有很大差异。这些振荡在早期设计阶段非常有用,通常会提供意想不到的结果,帮助设计师“跳出框框”思考。事实上,建筑和城市设计专家有意使用这样的设置,作为探索新想法的灵感来源。
波士顿街(现代主义)
在这个例子中,使用与之前相同的波士顿景观作为基础图像,但这次仅由体量而不是详细的建筑物组成。
LoRA 模型可用于将平坦、冷的体积转变为真实的建筑物。
为了创建这种可视化效果,我们使用了两个功能:
- 提示文字
- LoRA模型
LoRA 模型是一种向缺少任何建筑信息的体量基础图像添加细节的方法。我们可以将 LoRA 视为“卫星”模型,这些模型在一组图像上进行训练以创建风格滤镜。
波士顿街(有机)
在本例中,我们使用了与之前相同的基础图像,但应用了另一个 LoRA 模型。该模型在有机建筑图像上进行训练,其结果与之前的示例完全不同。
网上有很多共享和可用的 LoRA 模型,但您也可以训练自己的模型。
为了创建这种可视化效果,我们使用了两个功能:
- 提示文字
- LoRA模型
波士顿无人机视图(逼真)
这种类型的俯视图在可视化城市设计项目中也非常流行。在本例中,波士顿的真实照片被用作风格转换图像。我们还可以注意到左下角对公园区域的创意诠释。
找到具有代表性的风格形象是将波士顿的特色转移到我们的建筑体量中的关键。(最终图像由 Brave Studio GmbH 提供)
为了创建这种可视化效果,我们使用了两个功能:
- 提示文字
- 风格形象
波士顿无人机视图(概念图)
在这种情况下,用户设置允许过多的创作自由,从而降低了与基础图像的相似性。这种误解可能会导致空间使用不当或视角不一致。但在某些情况下,这些变化也有助于在早期规划阶段探索新想法。
松散的相似度设置可能会产生吸引人的图像,但在三维现实中可能无法执行。
为了创建这种可视化效果,我们使用了两个功能:
- 提示文字
- LoRA模型
阿布扎比扩张
除了建筑物之外,高速公路等基础设施也可以使用人工智能生成工具进行可视化和升级。
在这种情况下,提示足以创建中东城市的一致可视化。然而,仔细观察建筑就会发现建筑风格缺乏变化。
一个好的提示描述就可以让我们将基础图像变成逼真的可视化效果
为了创建此可视化效果,我们使用了一项功能:
- 提示文字
联邦城
包含许多元素的城市天际线视图对生成工具来说是一个巨大的挑战。请注意,在这个例子中,与原始图像的相似性在某些区域不够准确。然而,生成的图像仍然完全可以唤起人们对大都市被大片开放空间包围的印象。
有时我们可能需要尝试生成几次,直到将水体置于正确的位置。
为了创建这种可视化效果,我们使用了两个功能:
- 提示文字
- 风格形象
景观与绿地
生成式人工智能还可以作为布置绿地区域的灵感来源。
在初始阶段,无需景观设计师的参与,生成式人工智能可以用于创建可能激发新方法的参考图像。
在提示中加入“池塘”或“迷宫”等词语,会导致绿色区域的不同配置
该开放空间研究的其他绿地替代方案。
为了创建这些可视化效果,我们使用了一项功能:
- 提示文字
结论和期望
AI 渲染图像的惊人质量是毋庸置疑的。这项技术代表着一种强大的资源,应该在我们的设计工作流程中加以考虑。然而,生成式 AI 并不是灵丹妙药:我们必须了解它的优势,并意识到它的局限性。试图将它用于错误的目的可能会非常令人沮丧。
生成式人工智能快速发展
用于创建这些示例的一些工具是在调查前几天推出的。新模型不断得到训练,我们预计在不久的将来结果会越来越好。
对未来的期望
显然,人工智能图像生成器发展非常迅速,其惊人的结果让所有人都感到惊讶。尽管如此,仍有改进的空间。目前最大的挑战之一是提高对生成图像的控制水平。当然,当真正的 3D 人工智能生成的建筑成为现实时,可视化行业的真正颠覆才会到来。但在此之前,使用人工智能生成工具进行城市设计可视化的前景非常令人兴奋!
如果您对有关该主题的更多文章感兴趣,希望了解有关如何使用这些工具的更多详细信息,请在评论中告诉我们。