所有洞见

人工智能数据可访问性的复杂性

Mark Katz
CTO, Financial Services

2024年5月15日

The Intricacies of Data Accessibility for AI

让数据变得易于访问:解开复杂局面

人工智能已成为各行各业创新的焦点,各企业都在探索如何利用其力量实现商业成功。Chat GPT等技术的兴起引发了新一轮的创造力和实验浪潮,各公司都在探索人工智能的应用。虽然虚拟助手等生成式人工智能为用户提供了无缝的数字体验,但金融服务等更先进的行业已开始部署推荐引擎和投资组合优化,以检测信用卡欺诈并为交易决策提供更好的洞见。

然而,随着企业将人工智能模型整合到其运营中,他们也在处理大量数据集,这些数据集主要是非结构化的。这意味着企业需要高质量的数据基础设施来管理生成式人工智能的新架构。这是2024年2月在纽约举行的Hitachi Vantara Exchange活动讨论的焦点。

当企业寻求应用生成式人工智能的先进模型时,以下是在处理数据管理问题时需要考虑的一些关键事项,以及可以采用的一些策略来降低数据可访问性的风险。

负责任的人工智能和数据管理

企业中非结构化数据的激增导致我们数据管理方法的转变。仅仅将数据托管在云中已不再可行,必须将数据管理工具嵌入到数据内容中以识别个人身份信息、控制访问权限并建立保管链。借助生成式人工智能,企业必须在采用新的数据管理工具的同时确保稳定性、安全性和与业务目标的战略一致性。

在训练生成式人工智能模型时,它们不仅吸收了社交媒体平台上的数据知识库,还吸收了产生这些模型的社会中隐含的所有偏见。这可能会导致生成式人工智能犯下名为“幻觉”的错误,这些错误本质上是模型中的内在偏见;您肯定不希望出现这种情况。这就是负责任且可解释的人工智能发挥作用的地方;通过强制模型自我解释,您可以促进人工智能部署的透明度和问责制。

负责任的人工智能强调,需要通过促进包容性的人工智能训练实践来减少模型中的偏见和错误。可解释的人工智能是一项类似的举措,旨在提高人工智能决策过程的可见性,从而更好地控制和理解人工智能的输出。随着企业努力应对生成式人工智能的计算需求,从大型语言模型缩减为小型语言模型也正在成为一种提高效率和专注于特定用例的解决方案。

多云环境中的数据管理和隐私

在我们简化数据可访问性时,确保适当的分段至关重要,这为企业提供了遵守监管要求的机会。例如,欧盟GDPR客户现在对其数据抱有隐私期望,从而加大了对数据使用的审查力度。客户现在要求负责任地处理数据,增加了对数据使用的限制,包括居住地要求和删除权。

不合规意味着背离信任。尤其在金融和医疗保健等行业,信任是基础,一旦失去就很难恢复。监管机构正在将关注点从隐私扩展到网络弹性,例如影响整个行业的《数字运营弹性法案》(DORA)等举措。

在向网络弹性过渡的过程中,不可变数据的重要性显而易见。然而,面对勒索软件威胁,仅有不变性是不够的。了解最后一个已知的良好恢复点变得至关重要,因此需要采用全面方法来大规模恢复数据。

网络弹性态势的关键要素包括数据不变性、恢复点知识以及大规模恢复能力。对能够处理成千上万个实例恢复的产品的需求确保了在面临网络威胁时业务的连续性。

数字化转型的可行见解

我们在此探讨的人工智能用例是极其复杂的环境;其中包括生成式人工智能、网络弹性和隐私、云和混合云。每个企业的数字化转型战略都将是一段旅程,选择合适的技术合作伙伴至关重要。在面临各种挑战的环境中,拥有能够提供全套功能的合作伙伴可确保更稳健、更全面的数字化转型。

在我们继续这段旅程时,关键的收获很明确:强大的能力和出色的数据意味着以智慧和韧性驾驭未来的责任。

访问我们的Hitachi iQ解决方案页面,了解如何利用人工智能转变业务运营及其他领域

其他资源:

洞见文章:在人工智能和混合云时代构建牢不可破的数据基础设施

视频:利用日立融合和超融合解决方案改善基础设施

解决方案简介:Hitachi iQ:为行业需求量身定制的人工智能解决方案套件:非常适合投资人工智能/机器学习的企业