当TS Imagine首次开始使用Snowflake时,它只是在寻找一种管理数据的方法。三年后,Snowflake正在为这家金融科技公司转型成为一家由人工智能驱动的企业提供动力。
总部位于蒙大拿州博兹曼,但没有中央总部,Snowflake是一家数据云供应商。哪个平台的使客户能够存储和分析数据。此外,在过去的几年里,供应商已经将人工智能作为重点开发一个环境,使客户能够开发、部署和管理人工智能、机器学习模型和应用。
TS Imagine是一家总部位于纽约市的基于SaaS的金融服务供应商,提供前台交易、投资组合管理和金融风险评估能力。该公司成立于2021年,由TradingScreen和Imagine Software合并而成。
合并后,TS Imagine需要一种方法来整合和组织来自1999年成立的TradingScreen和1993年成立的Imagine Software多年的数据。
雪flake就是这样。然而现在,随着雪flake从一个数据管理平台发展成为了一个更广泛的平台,一个AI环境TS Imagine随之进化,并使用Snowflake平台来驱动其转型。
“我们是一家以云为先的公司,也是一家Snowflake优先的公司,”TS Imagine的首席运营官兼首席数据和分析官托马斯·博登斯基说道。“现在又多了一个:AI优先。”
使用Snowflake,TS Imagine可以访问以前无法获取的数据以辅助决策。它利用人工智能管理某些流程,并从中获得了财务收益。
然而,它首先只需要进行组织。
从Snowflake开始
当TradingScreen和Imagine Software在2021年5月合并后,新成立的公司面临挑战TradingScreen和Imagine Software各自带来了超过二十年的数据积累。此外,新成立的公司还拥有两个数据团队;两套技术栈;并且计划扩展到新的领域,如固定收益证券交易。
TS Imagine 需要一种方法来统一这些数据,并且它需要在一个系统中完成这一任务,以帮助其扩张。
伯登斯基说:“我们很快就把数据确定为需要重点关注的领域。”“从战略上我们知道我们必须采取行动。我们必须随时准备好数据,因为它用于交易和风险管理。我们需要解决客户本不该遇到的问题。”
TS Imagine 管理着超过 2000 万种金融工具——可以交易或交换的资产,如股票、债券、贷款、基金和存款证。每个金融工具及其持有者都会生成数据,这意味着 TS Imagine 需要管理海量的数据以满足客户的需求。
因此,它需要一个足够简单的数据管理平台,以便用户可以在需要时轻松访问数据,并且该平台还能处理大规模的数据。
其中一个选项包括TradingScreen和Imagine Technologies之前使用的平台。其他选项则包括专门用于分类金融交易的参考数据以及启用此类数据的平台,例如Markit EDM和GoldenSource。语义建模用于金融工具。
最终,TS Imagine选择了Snowflake。
及时性是TS Imagine做出决定的关键因素,因为其需要尽快行动。实时访问数据根据Bodenski的说法,为了告知并执行交易。Snowflake的广度和深度——规模——也是如此。
最后,简洁发挥了重要作用。
Snowflake 支持 Python 和 SQL 代码。如果 TS Imagine 选择了一个需要 Java 或 C++ 的平台,那么它的许多开发人员可能不具备使用该平台所需的技能。但由于 Python 和 SQL 可以在 Snowflake 上使用,54 名数据科学家、工程师和其他数据专家已经具备了所需的技术能力。
“我们觉得有了Snowflake,就有了一个能够赋能我们的平台,”Bodenski说道。“我们能够在一夜之间从一个小团队成长为一个大型组织。”
现在,TS Imagine 将所有数据存储在 Snowflake 中,并运行所有的数据管理流程,如数据质量监控管道监控和自动化回归测试,在Snowflake中。
添加AI
大约在TS Imagine 的数据在Snowflake上顺利运行一年多后,OpenAI发布了ChatGPT。
2022年11月发布的ChatGPT在生成式人工智能能力上相比此前的工具有了显著提升。许多组织尤其关注其自然语言处理(NLP)和自动化能力。
企业很快认识到,如果他们能够将这些能力与专有数据结合,以了解组织的运营情况,他们就能获得诸如显著好处之类的收益。更广泛地使用分析工具由于自然语言处理和流程自动化带来的效率提升。
在看到生成式人工智能在企业中的潜力的组织中包括TS Imagine。
当ChatGPT引起轰动时,博登斯基说他们非常兴奋。“我的所有高管同行都对数据感兴趣,而且每次会议都会讨论到ChatGPT。”
TS Imagine 已经尝试使用自然语言处理和机器学习来自动化任务,例如数据分类和目录编制。然而,将非结构化数据转换为结构化数据以供模型和应用程序使用被证明是困难的。
非结构化数据,如文本、图像和音频文件,估计占所有数据的四分之三以上。挖掘非结构化数据至关重要达到全面理解一个组织的程度。
当时Snowflake仍然主要专注于数据管理,TS Imagine将ChatGPT的生成式人工智能能力视为最终访问其非结构化数据的一种方式,特别是电子邮件和PDF文档中的文本。
博登斯基说:“我们需要将其转换为结构化内容,使其更具操作性。”
TS Imagine开发了一个AI工程团队,与数据专家合作,利用存储在Snowflake中的数据来训练ChatGPT分析文本。
它使用开源数据库ChromaDB创建了一个AI管道来将非结构化数据向量化为了给它结构,使用LangChain来开发一个检索增强生成使用(RAG)管道来发现训练其模型所需的相关数据,并使用Google Cloud的容器来运行其生成式AI工作负载。
根据Bodenski的说法,结果是这些模型在分析超过500个客户文本时能够提供精确、准确的输出。
他说:“它的拨备率高得令人难以置信,以至于我们可以依赖它。”
然而,TS Imagine 并没有根据生成式 AI 的输出自动化最终决策。它仍然安排人类来检查输出的准确性并作出任何最终决定。
对于接下来的一年,TS Imagine继续使用ChatGPT来支撑其生成式AI的发展和分析。直到Snowflake开始开发自己的生成式AI环境。
雪flake全方位AI
像TS Imagine这样的企业并非在ChatGPT发布后唯一认识到生成式AI潜在价值的公司。
随着数据作为AI的底层引擎——用于训练和告知AI模型和应用的信息——从MicroStrategy和Monte Carlo等专业公司到亚马逊网络服务(AWS)、谷歌云和微软等科技巨头,所有这些数据分析和数据管理供应商都参与其中。将生成式AI作为重点他们的产品开发计划。
雪 Flake 对手Databricks在为客户创建AI模型和应用的环境建设方面特别积极。起步较慢的Snowflake也开始效仿。
托马斯·博登斯基首席运营官兼首席数据和分析官,TS Imagine
2023年5月,Snowflake收购了搜索引擎专家Neeva,以获取生成式能力。五个月后,供应商介绍了Cortex一个用于AI开发的环境,包括访问大模型和向量搜索等功能。从那时起,Snowflake继续添加旨在支持AI和机器学习开发的工具,包括自己的大模型以及一个聊天机器人的开发框架。
通过Cortex使用Snowflake提供的与TS Imagine利用ChatGPT、ChromaDB、LangChain和Google Cloud拼凑起来的功能相同的能力,这家金融服务专家决定将其AI运营迁移到Snowflake。
根据博登斯基的说法,整个过程很简单,一个工程师一周内就完成了全部工作。
“现在所有的人工智能都仅在Snowflake上运行,”他说。
迁移完成后,仅通过消除使用各种平台创建AI管道的成本,而是使用Snowflake提供的工具TS Imagine 在培训和管理其生成式人工智能能力方面的支出减少了30%。
“这对我们就很重要了,”博登斯基说。“它为我们提供了一站式服务。我们可以使用我们熟悉的技术构建整个AI管道。”
它的数据已经存储在Snowflake中,TS Imagine只需在此数据之上构建AI管道,而无需将数据移动到其他可能意外暴露数据的系统。此外,在一个环境中集成了AI管道的所有必要组件,开发新模型或应用程序仅需几天时间。
结果
自从迁移以来的一年里,TS Imagine 使用 ChatGPT 开发了生成式人工智能能力,并将其迁移到 Snowflake,在此之后,该公司又开发了五个其他的生成式人工智能管道。针对不同的应用.
除了分析电子邮件和PDF之外,生成式人工智能的一个关键应用是监控客户服务。TS Imagine每月平均收到5000个咨询。完全理解与客户服务相关的所有内容具有挑战性。
如果你是全球客户服务中心的负责人,要做到全面了解情况并不容易,博登斯基说。“而如果你是一位区域经理,也很难掌握所有正在发生的事情。”
凭借其客户服务平台,TS Imagine 现在可以对每个客户服务事件进行分类,自动分配敏感度等级,并且理解请求的情感、紧迫性和复杂性。
博登斯基说:“那些都是必须手动完成的步骤。”
实际上,通过使用Snowflake开发和部署生成式AI工具,TS Imagine节省了数千个工作小时——其中包括原本需要专门用于分析电子邮件的4000个小时——这些工作本来都需要手动完成。
“它使我们能够利用人力去做更具有分析性、更具知识导向的工作,”Bodenski说。“我们可以让人们在其他任务上更加高效。”
尽管它有很多好处,像大多数利用生成式AI来改善运营的企业一样,TS Imagine也在解决一些问题。
使用Snowflake开发生成式AI工具的过程非常顺利,但要使模型和应用程序保持一致地运行交付可以信赖的结果仍然令人担忧,据博登斯基说。
他说:“大型语言模型产生的内容仍然存在挑战。”
准确性一直是生成式人工智能的问题。即使使用高质量的数据进行训练,模型和应用程序有时仍然会输出错误甚至怪异的结果,这些结果被称为幻觉。
为了应对这些不准确性,TS Imagine为其RAG管道针对每个查询运行多次,以尝试剔除任何异常值。然而,该公司仍然确保始终有专人负责采取任何行动,而不是信任模型或应用程序自行从输出到操作的自动执行。
“我们需要不断关注结果,”博登斯基说。“而且你真的需要找到合适的应用场景。这些东西并不能解决所有问题。你需要找到合适的应用场景,这样才能获得高精度率。即便如此,输出的结果有时候也很奇怪。”
未来的计划
根据Bodenski的说法,使用Snowflake进行AI开发和部署一年后,TS Imagine已经运行了六个RAG管道,并计划添加更多的AI应用。
到目前为止,该公司使用生成式人工智能所做的只是自动化流程以提高员工的工作效率。它还没有开发出能够让业务用户使用的AI助手。使用自然语言查询和分析数据.
TS Imagine 使用 Snowflake 开发了其客户可以用来分析数据的应用程序。但这些应用程序是传统的分析应用程序,而不是基于人工智能的应用程序。
下一步是将生成式AI添加到那些应用程序中,以使客户能够扩大他们对BI的使用超越数据专家在分析金融交易和策略时的作用。
“我们追求的目标是自助分析,”Bodenski说道。“金融交易中涉及大量数据,有了这些数据,我们的客户可以进行自助服务。我们希望通过我们的产品将人工智能带给客户。这就是最终目标。”
埃里克·阿维顿是TechTarget编辑部的资深新闻作家,拥有超过25年的记者经验。他负责报道分析和数据管理。