通过人工智能平衡创新和责任——下一个平台

2024-09-26 20:12:49 英文原文

委托：强大的数据治理是道德、合规和高效的人工智能项目的关键。这就是为什么创新和责任之间的平衡是微妙但至关重要的。

在纽约一间熙熙攘攘的办公室里，一位名叫艾米丽的数据科学家正在与时间赛跑。她的团队正在开发一种人工智能算法，旨在彻底改变个性化客户体验。该项目雄心勃勃、前景广阔，有潜力推动前所未有的业务增长。然而，Emily 有一个挥之不去的担忧：数据治理。尽管她很兴奋，但她知道，如果没有强大的数据治理，该项目可能会面临道德困境、合规问题，甚至数据泄露。艾米丽的故事并不是独一无二的。它反映了当今组织在平衡创新追求与数据管理责任之间面临的更广泛挑战。

人工智能已成为现代创新的基石，推动医疗保健等各个领域的进步、金融、娱乐。人工智能处理和分析大量数据的能力使企业能够发现洞察并做出以前难以想象的决策。然而，权力越大，责任越大。为人工智能功能提供动力的相同数据也在治理、隐私和道德使用方面提出了重大挑战。

数据治理是确保数据在其整个生命周期中得到正确管理的框架。它涉及维护数据质量、安全性和合规性的政策、程序和技术。为了使人工智能真正具有变革性，组织必须像优先考虑人工智能开发一样优先考虑数据治理。

数据治理在人工智能中的重要性

随着组织越来越多地采用人工智能技术，需要强大的数据治理变得至关重要。强大的数据治理确保人工智能系统不仅高效、准确，而且符合法律和道德标准。数据治理可以通过以下四个关键方面来增强人工智能项目：

• 确保数据质量：人工智能算法的好坏取决于它们所训练的数据。质量差的数据会导致模型不准确，进而导致业务决策出现缺陷。数据治理可确保数据准确、完整和可靠，为人工智能计划提供坚实的基础。
• 合规性和隐私：凭借 GDPR 和 CCPA 等严格法规，合规性是数据治理的一个关键方面。人工智能项目必须遵守这些规定，以避免巨额罚款和法律后果。数据治理框架帮助组织管理同意、匿名化数据并实施强大的安全措施来保护敏感信息。
• 道德人工智能：随着人工智能系统越来越多地融入决策过程，确保数据的道德使用至关重要。数据治理提供了防止偏见、确保公平并保持人工智能算法透明度的指南。这不仅可以建立与客户的信任，还可以降低与不道德的人工智能实践相关的风险。
• 运营效率：有效的数据治理简化了数据管理流程，减少了冗余并提高了效率。这使得数据科学家和分析师能够专注于从数据中提取价值，而不是处理数据质量问题或合规性障碍。

PowerScale 是一种存储解决方案，旨在处理大量非结构化数据，使它是人工智能应用的理想解决方案。它也是技术如何通过以下功能驱动和加强强大的数据治理实践的一个主要示例：

可扩展性和性能

实现运营效率包括最大限度地提高可扩展性和性能。PowerScale 旨在无缝扩展，以满足人工智能应用不断增长的数据需求，同时保持顶级性能。根据内部测试，将使用 OneFS 9.8 分布式文件系统的 PowerScale F910 的流写入与使用 OneFS 9.5 分布式文件系统的 PowerScale F900 的流写入进行比较，新的 F910 提供更快的 AI 洞察时间，速度提升高达 127%改进的流性能（实际结果可能有所不同）。它加速了 AI 管道的模型检查点和训练阶段，使 GPU 得到充分利用，每个集群拥有高达 300 PB 的存储空间。这可确保模型训练不间断并防止GPU闲置，有效加速AI管道。

此外，PowerScale支持GPU Direct和RDMA（远程直接内存访问）技术，进一步优化存储和GPU之间的数据传输。GPU Direct 支持 GPU 和存储系统之间绕过 CPU 进行直接通信，从而减少延迟并提高吞吐量。RDMA 允许数据通过网络在存储和 GPU 内存之间直接传输，从而最大限度地减少 CPU 参与并进一步减少瓶颈，从而增强了这一点。这些技术共同确保大型数据集得到有效管理，并且数据保持可访问性和可管理性，从而在我们的人工智能就绪数据平台上促进高质量的人工智能开发。

数据安全性和合规性

PowerScale 还支持气隙环境，提供通过将关键系统与不安全的网络隔离来提供额外的安全层。这可确保您最敏感的数据远离外部威胁，从而显着降低网络攻击的风险。气隙配置对于具有严格合规性要求的行业尤其重要，例如金融、医疗保健和政府，这些行业中数据的完整性和机密性至关重要。通过将气隙保护与全面的安全措施相结合，PowerScale 提供了强大的解决方案，满足数据安全和法规遵从性的最高标准。

数据生命周期管理

PowerScale 提供用于管理的工具数据从创建到归档的整个生命周期，确保数据在每个阶段都根据治理策略进行处理。这不仅包括存储，还包括分类、保留和删除，这有助于组织保持对法规要求的合规性。通过自动化这些流程，PowerScale 降低了人为错误的风险，确保一致地应用数据治理。此外，它支持分层策略，允许组织将不常用的数据移动到成本较低的存储，同时保持关键数据的可访问性，随着人工智能工作负载的发展优化成本和性能。

灵活性和集成

PowerScale 可以灵活地根据您需要的时间、地点和方式构建基础架构。其各种节点类型和软件服务可实现基础设施的适当规模和扩展，以满足不同的工作负载需求。此外，PowerScale 还可与现有数据管理工具和工作流程无缝集成，包括 Hadoop 分布式文件系统 (HDFS)、NFS 和 SMB 协议。对于人工智能驱动的工作流程，它支持流行的数据管道工具，例如 Apache Spark 和 TensorFlow。这种广泛的集成功能使 PowerScale 能够轻松融入现有环境，使数据团队能够利用其当前的工具，同时获得 PowerScale 提供的可扩展性和性能优势。

创新与责任之间的平衡微妙但至关重要。组织必须培育一种重视数据治理和技术进步的文化。这涉及：

• 领导层承诺：领导者必须优先考虑数据治理并分配资源来开发和维护强大的框架。这一承诺为整个组织定下了基调，并强调了负责任的数据管理的重要性。
• 跨职能协作：数据治理不仅仅是 IT 部门的责任。它需要所有职能部门之间的协作，包括法律、合规和业务部门。这可以确保数据治理政策全面并与组织目标保持一致。
• 持续改进：数据治理是一个持续的过程，必须随着不断变化的法规、技术和业务需求而发展。定期审查和更新治理政策可确保其有效性和相关性。

平衡创新与责任的旅程仍在继续。随着人工智能不断发展并融入我们生活的各个方面，数据治理的作用变得越来越重要。PowerScale 举例说明了技术解决方案如何支持这种平衡，提供有效、负责任地管理数据所需的工具。

最终，这不仅关乎人工智能能够实现什么，还关乎其如何实施。优先考虑数据治理的组织将能够更好地充分利用人工智能的潜力，同时保持利益相关者的信任和信心。就像艾米丽举的例子一样，企业必须认识到创新和责任齐头并进，确保未来以诚信和责任的方式实现人工智能的进步。

了解戴尔解决方案如何帮助您利用人工智能进行转型.

由 Dell Technologies 供稿。

Kelley Pargmann 是 Dell Technologies 存储和 AI 高级产品营销经理。

委托：强大的数据治理是道德、合规和高效的人工智能项目的关键。这就是为什么创新和责任之间的平衡是微妙但至关重要的。道德人工智能：随着人工智能系统越来越多地融入决策过程，确保数据的道德使用至关重要。这使得数据科学家和分析师能够专注于从数据中提取价值，而不是处理数据质量问题或合规性障碍。PowerScale是一种存储解决方案，旨在处理大量非结构化数据，使其成为人工智能应用的理想解决方案。