AEC行业和人工智能时代
建筑，工程和建筑（AEC）行业正在经历数字化转型，这是由于人工智能和机器学习技术的越来越多。在这种进化的最前沿是Twinknowledge这是一家开创性的AEC AI公司，该公司重新构想了该行业如何设计和评论建筑图纸。
在这篇博客文章中，我们将探讨Twinknowledge如何与亚马逊网络服务（AWS）原型和云工程（PACE）团队要克服一个关键的挑战：跨客户范围扩展其计算机视觉（CV）平台，以在几天之内有效地处理数千种建筑图纸，同时保持高精度。该解决方案结合了大型语言模型（LLM）和简历模型的力量，以创建AI仪的工作流，从而显着增强人类审查过程。
Twinknowledge的使命是通过利用AI来增强人类审查过程，使AEC专业人员能够找到并纠正更多错误，从而减少施工文件中的错误并提高整体项目效率。但是，该公司面临的可扩展性约束限制了他们实施更广泛的生成AI策略的能力。通过利用亚马逊萨吉马人MLOPS功能并为数据摄入和验证建立强大的管道，AWS PACE团队帮助Twinknowledge突破了这些限制。
我们将详细介绍该解决方案如何解决立即扩展挑战，而且还为增强的搜索功能和AI驱动的见解奠定了基础。通过这种技术深入的潜水，您将了解如何精心策划AWS服务，以创建强大的可扩展AI解决方案，以增强人类专业知识而不是取代它。
行业的信息问题
如今，二维绘图集已成为建筑中真相的来源。它们是由建筑师组成的项目设计工作的综合，并移交给了总承包商，以构成项目执行的基础。在该领域，超过70％的行业仍以其原始形式使用它们：作为纸张蓝图（请参阅Bluebuilding Future：Bluebeam AEC技术Outlook 2025，Blubeam）。这些设计文件代表了建筑项目的直接风险来源。为了减轻这种风险，公司努力通过控制措施来规范这些设计，例如从过去的项目中学到的经验教训，详细的范围文件，要求和标准文件以及旨在使事情正确的广泛协调。公司任命质量保证（QA） /质量控制（QC）董事和审阅者团队，以确保文档质量。尽管这些审稿人，这些文件通常很常见 - 长达数千页的内容 - 包含违规，设计错误以及缺少关键的设计决策和设计细节。
根据联合Plangrid-FMI行业报告，施工断开``所有建筑返工的近四分之一都是由于不正确或隐藏的项目信息（22％），使美国建筑行业每年耗资超过143亿美元。大多数信息都生活在PDF文件中 - 书面合同文件，信息请求，最重要的是绘图集。该报告进一步表明AEC专业人员支出：
- 5.5小时每周搜索项目数据
- 5小时每周解决与信息有关的冲突
- 每周4小时解决错误和返工
这是与信息问题相关的每周总计14.5小时的可避免工作。
这些问题对行业来说并不新鲜。二维绘图集一直是建筑的标准，但是AEC行业正在以其当前的劳动力和项目情报系统的速度达到平稳状态，以便在绘图集上执行QA/QC。这一挑战是由关键的劳动力过渡加剧了：根据国家建筑教育与研究中心的数据，预计41％的建筑专业人员将在2031年退休。熟练的劳动：卷土重来的故事，带着数十年来的默契设计知识。
TwinkNowledge是一家应用AI的公司，以解锁施工文档中有价值的见解并检测绘图集中的错误，并通过将AI功能与AEC专业人士相结合，以扩展功能并增强绘图QA/QC审查，从而确认了解决这一挑战的机会。
他们的方法将LLM与简历集成在一起，以创建一个综合系统，该系统将图纸集中的设计信息映射到其预期的设计驱动程序：经验教训，需求和标准。这种集成需要处理，并将文本设计信息和图形设计信息同时结合到单个知识库中，以通过LLMS进行分析。
但是，现成的多模式AI模型被证明不足以用于图形信息处理。需要以一种可以组织，访问和呈现给审稿人的方式以对他们有意义的方式（例如，在图纸集的结构中）进行处理，访问和呈现的图形信息。这意味着根据绘图集中的信息的结构化来解析和处理图形信息：作为对详细信息的计划视图，绘制详细信息，介绍了参考时间表，并带有其自己的参考文献。
为此，TwinkNowledge构建了专有数据管道，该管道首先将绘制设置信息与文本信息分开，然后采用内部简历模型来解析其本机格式的绘图集。但是，图纸集结构在其视觉取向和项目之间的表示方面有所不同。为了解决这个问题，twinknowledge微调了每个公司和每个项目的基础简历模型，并以逐项项目的基础上以近人类级别提供信息理解。
该解决方案虽然有效，但却揭示了一个新的挑战：需要在Twinknowledge快速扩展的客户群中扩展和操作微调过程。由于他们的客户投资组合预计在短期内将增加一倍，因此他们需要有效的解决方案来扩展其为AEC行业的项目人工智能功能。为此，他们求助于AWS PACE团队。
扩展的TwinkNowledge解决方案语句
所有施工图的背后都是无形的知识网络 - 学习，标准，协调和依赖关系的设计驱动因素系统以及构成项目真理的完整来源的实际设计。当前的行业实践涉及该系统中的现场检查合规性，这种方法导致效率低下的行业每年数十亿美元。当人类评论者擅长合规评估所需的批判性思维时，他们面临两个关键局限性：
- 大量的项目信息进行处理
- 用于促进设计合规映射的项目信息系统不足
相比之下，LLM在处理和存储大量文本数据方面表现出色，以供近距离访问。Twinknowledge的解决方案将经过特殊训练的CV模型与LLM相结合，以块和将图形信息从绘制集合转换为文本数据，同时保留其原始结构和关联。这样，Twinknowledge利用LLM嵌入了嵌入，因此将项目上的所有文本和图形设计信息连接到相同的高维矢量空间中，从而使LLMS可以访问连接的信息。Twinknowledge的LLM经过了构造语言，可以在图集中找到并连接设计图形（即详细信息）的设计驱动信息。通过TwinkNowledge，这可以在100％的覆盖范围内完成，这对当前行业标准的现场检查系统大幅增加。
twinknowledge的管道用于分解和嵌入项目信息
上图显示了Twinknowledge的两个不同的管道，用于分解和嵌入项目信息：用于文档分析的文本处理管道和用于绘制设置处理的简历管道。该管道包括一个过程，该过程提取绘图集结构信息，例如名称和号码，标题块中的最新日期，视图/详细信息/时间表标题，甚至在页面上的物理边界，以及存储这些信息是元数据。
为了为每个客户和每个项目有效地扩展该解决方案，TwinkNowledge与AWS PACE团队一起设计了可扩展的软件体系结构。重点集中于扩展三个关键方面：
- 标记绘图集信息的处理，例如详细信息，详细信息标题和titleBlock'
- 培训一般简历模型的工作流程
- 客户特定CV模型的推理执行
该团队的长期目标是实施一条全面的端到端MLOP管道，该管道简化了整个机器学习生命周期的AEC文档处理（请参阅AWS Summit ANZ 2022端到端的建筑师对于深度管道体系结构）。该管道将包括三个关键组成部分：数据摄入和标签，模型培训和推理工作流程。通过整合这些组件，TwinkNowledge-Aws团队旨在创建一个无缝的流程，以提高效率，确保数据质量并加速模型开发和部署。
端到端MLOP管道的建筑图
上图说明了设想的MLOPS管道的高级体系结构：
- 建筑文档摄入和标签：这个初始阶段涉及收集，处理和标记AEC文档和图纸。
- 培训管道：使用准备好的数据开发，训练和验证机器学习模型。
- 推理工作流程：部署训练模型以实时分析新的AEC文档的最后阶段。
扩展了AWS PACE原型的概述
任何成功的机器学习项目的基础在于组织良好，高质量的数据。在AEC文档处理的背景下，由于施工图和文档的多样性，这尤其至关重要。数据摄入和标签工作流旨在通过智能自动化和健壮的组织来应对这些挑战。
AWS架构图，用于数据摄入和标签
我们的数据摄入和标签过程的体系结构利用了几种AWS服务来确保效率和可扩展性：
- 从Web前端，用户可以上传施工文档并触发处理管道。
- 亚马逊cognito用于对Web应用程序中的用户进行身份验证。
- AWS Web应用程序防火墙（WAF），使用托管规则集，保护Web应用程序免受通用漏洞的影响。
- 亚马逊API网关用于创建和管理REST API资源和方法，以及与AWS Lambda的通信。AWS Lambda
- 提供无服务器的计算资源并促进与其他服务的通信。亚马逊简单存储服务（Amazon S3）
- 存储从文档中提取的上传数据和图像。当将新的施工文档设置为S3时
- AWS步骤功能启动了状态机。一个AWS Fargate集群在一个内部执行文档分类和图像生成作业亚马逊虚拟私人云私人子网。
- Amazon DynamoDB存储有关每个施工文档处理项目的元数据。
- 亚马逊简单通知服务（Amazon SNS）向用户发送通知，让他们知道管道已经完成。
- Amazon Cloudfront用于分发React Frontend Web应用程序。
- 亚马逊弹性容器注册表（ECR）用于存储用于管道的Docker容器图像。
- AWS X射线和Amazon CloudWatch用于跟踪和监视。
- AWS云形式用于将资源作为基础架构作为代码（IAC）。
通过自动化数据摄入和标签的关键方面，为机器学习准备AEC文档所需的时间和精力大大减少了。这种方法不仅加速了开发周期，还可以确保数据制备的一致性，从而导致更可靠的模型培训和改善的推理结果。
该工作流程中对数据组织的强调使数据版本化，实验跟踪和模型谱系可以更轻松，以维护和改善动态AEC行业的机器学习模型的关键方面。
结论
通过这种合作，我们展示了将AWS服务与创新的MLOP实践相结合可以改变AEC行业中的文档处理工作流程，并帮助扩展行业转换AI。该解决方案不仅解决了Twinknowledge的直接挑战，而且还为未来的AI功能奠定了坚实的基础。
此实施的关键要点包括：
- 将MLOP与Amazon SageMaker相结合以创建可持续可扩展的AI解决方案的力量
- ai aigment的工作流如何增强而不是替代文档审查过程中的人类专业知识
- 建立灵活体系结构的重要性，可以通过推进AI技术来发展
随着AEC部门继续数字化和采用AI技术，Twinknowledge平台等解决方案将在推动效率和创新方面发挥越来越重要的作用。该解决方案的成功部署仅标志着将域专业知识与AWS全面的机器学习能力相结合时可能的开始。
要了解有关AWS如何支持您的组织AI计划或探索类似解决方案的更多信息，请联系您的AWS帐户团队或访问AWS解决方案库。