印度企业使用 NVIDIA AI 构建的法学硕士为超过 10 亿本地语言使用者提供服务

2024-10-24 06:21:12 英文原文

作者:Vishal Dhupar

– 这些只是印度问候语的三种形式,印度拥有 22 种宪法承认的语言,以及根据国家人口普查记录的 1,500 多种语言。大约 10% 的居民说英语,这是互联网上最常用的语言。作为世界上人口最多的国家,印度正在快速推进数字化进程,其企业和当地初创公司正在开发多语言人工智能模型,使更多印度人能够用他们的主要语言与技术进行互动。这是一个案例研究主权人工智能– 国内人工智能基础设施的发展建立在本地数据集的基础上,反映了一个地区的特定方言、文化和实践。

这些项目正在构建印度语和英语的语言模型,可以为企业的客户服务人工智能代理提供支持,快速翻译内容以扩大信息获取范围,并使服务能够更轻松地覆盖超过 14 亿的多元化人口。为了支持此类举措,NVIDIA 发布了印地语的小型语言模型,印地语是印度最流行的语言,拥有超过 5 亿使用者。现在可作为

英伟达NIM

微服务,该模型,被称为Nemotron-4-Mini-Hindi-4B,可以轻松部署在任何 NVIDIA GPU 加速系统上,以优化性能。印度 IT 服务和咨询公司 Tech Mahindra 是第一家使用 Nemotron Hindi NIM 微服务开发名为 Indus 2.0 的 AI 模型的公司,该模型专注于印地语及其数十种方言。Indus 2.0 利用 Tech Mahindra 的高质量微调数据进一步提高模型准确性,为银行、教育、医疗保健和其他行业的客户提供提供本地化服务的机会。

Tech Mahindra 将在展会上展示 Indus 2.0

NVIDIA 人工智能峰会,于 10 月 23 日至 25 日在孟买举行。该公司还使用 NVIDIA NeMo 来开发其主权大语言模型(法学硕士)平台,TeNo。

NVIDIA NIM 让印地语采用人工智能就像 Ek、Do、Teen 一样简单

Nemotron Hindi 模型有 40 亿个参数,源自Nemotron-4 15B,由 NVIDIA 开发的 150 亿参数多语言语言模型。该模型结合真实印地语数据、合成印地语数据和等量的英语数据进行了修剪、提炼和训练,使用NVIDIA NeMo,一个用于开发生成式人工智能的端到端云原生框架和微服务套件。

数据集是用创建的NVIDIA NeMo 策展人,它通过大规模处理高质量多模态数据进行训练和定制来提高生成式 AI 模型的准确性。NeMo Curator 使用NVIDIA RAPIDS库可加速多节点 GPU 系统上的数据处理管道,从而降低处理时间和总拥有成本。它还提供用于合成数据生成、数据过滤、分类和重复数据删除的预构建管道和构建块,以处理高质量数据。

经过 NeMo 微调后,最终模型在参数高达 80 亿的 AI 模型的多个精度基准上领先。打包为 NIM 微服务,它可以轻松地用于支持教育、零售和医疗保健等跨行业的用例。

它作为NVIDIA 人工智能企业软件平台,使企业能够获得更多资源,包括技术支持和企业级安全性,以简化生产环境的人工智能开发。

众多企业为多语言人群提供服务

印度各地的创新者、大型企业和全球系统集成商正在使用 NVIDIA NeMo 构建定制语言模型。

公司位于NVIDIA 创始阶段尖端初创公司计划正在使用 NeMo 开发多种印度语言的人工智能模型。

萨尔瓦姆人工智能为企业客户提供语音转文本、文本转语音、翻译和数据解析模型。公司开发了萨尔瓦姆1号,印度第一个本土的多语言法学硕士,从头开始接受国内人工智能基础设施的培训NVIDIA H100 张量核心 GPU

萨尔瓦姆1号– 开发使用NVIDIA 人工智能企业软件包括 NeMo Curator 和 NeMo Framework – 支持英语和 10 种主​​要印度语言,包括孟加拉语、马拉地语、泰米尔语和泰卢固语。

Sarvam AI 还使用 NVIDIA NIM 微服务,英伟达 Riva对于对话式人工智能,NVIDIA TensorRT-法学硕士软件和NVIDIA Triton 推理服务器以亚秒级延迟优化和部署对话式人工智能代理。

另一个 Inception 初创公司,格纳尼.ai,建立了多语言语音转语音法学硕士,为人工智能客户服务助理提供支持,每天为印度和美国的 150 多家银行、保险和金融服务公司处理约 1000 万次实时语音交互。该模型支持 14 种语言并经过培训使用 NVIDIA Hopper GPU 和 NeMo Framework 处理超过 1400 万小时的对话语音数据。

Gnani.ai 使用 TensorRT-LLM、Triton 推理服务器和Riva NIM 微服务优化虚拟客户服务助理和语音分析的人工智能。

使用 NeMo 构建法学硕士的大型企业包括:

  • 翻转卡丁车沃尔玛控股的印度大型电子商务公司正在整合NeMo 护栏,一个开源工具包,使开发人员能够向法学硕士添加可编程护栏,以增强对话式人工智能的安全性系统。
  • 克鲁特里姆是 Ola 集团企业的一部分,该集团旗下还包括印度顶级的乘车预订平台之一,该公司正在开发一种多语言印度基础模型,该模型使用米斯特拉尔 NeMo 12B,由 Mistral AI 和 NVIDIA 开发的最先进的法学硕士。
  • 佐霍公司位于钦奈的全球科技公司将使用 NVIDIA TensorRT-LLM 和 NVIDIA Triton 推理服务器为其超过 700,000 名客户优化和交付语言模型。该公司将使用在 NVIDIA Hopper GPU 上运行的 NeMo,从头开始为 100 多个业务应用程序预训练窄、小型、中型和大型模型。

印度的全球顶级系统集成商也为其客户提供 NVIDIA NeMo 加速解决方案。

  • 印孚瑟斯将使用 NVIDIA AI 堆栈开发特定工具和解决方案。该公司的卓越中心还在开发人工智能驱动的小语言模型,该模型将作为服务提供给客户。
  • 塔塔咨询服务开发了基于AI的解决方案NVIDIA NIM 代理蓝图适用于电信、零售、制造、汽车和金融服务行业。TCS 产品包括 NeMo 支持的特定领域语言模型,可以进行定制,以解决客户查询并回答员工针对 IT、HR 或现场操作等所有企业职能部门的公司特定问题。
  • 维普罗正在使用 NVIDIA AI Enterprise 软件(包括 NIM Agent Blueprints 和 NeMo)帮助企业轻松开发自定义对话式 AI 解决方案(例如数字人类)以支持客户服务交互。

Wipro 和 TCS 还使用 NeMo Curator 的合成数据生成管道来生成英语以外语言的数据,以便为客户定制法学硕士。

要了解有关 NVIDIA 与印度企业和开发商合作的更多信息,请观看公司创始人兼首席执行官黄仁勋 (Jensen Huang) 在NVIDIA 人工智能峰会。

关于《印度企业使用 NVIDIA AI 构建的法学硕士为超过 10 亿本地语言使用者提供服务》的评论


暂无评论

发表评论

摘要

Namaste、vanakkam、sat sri akaal——这些只是印度问候语的三种形式,印度拥有 22 种宪法认可的语言,而且根据国家人口普查记录还有 1,500 多种语言。为了支持此类举措,NVIDIA 发布了印地语的小型语言模型,印地语是印度最流行的语言,拥有超过 5 亿使用者。Sarvam AI 还使用 NVIDIA NIM 微服务、用于对话式 AI 的 NVIDIA Riva、NVIDIA TensorRT-LLM 软件和 NVIDIA Triton 推理服务器来优化和部署具有亚秒级延迟的对话式 AI 代理。Zoho Corporation 是一家总部位于钦奈的全球科技公司,将使用 NVIDIA TensorRT-LLM 和 NVIDIA Triton 推理服务器为其超过 700,000 名客户优化和交付语言模型。Wipro 正在使用 NVIDIA AI Enterprise 软件(包括 NIM Agent Blueprints 和 NeMo)来帮助企业轻松开发自定义对话式 AI 解决方案(例如数字人类)以支持客户服务交互。合十礼,瓦纳卡姆,萨斯里阿卡勒