所有洞见

与客户一起踏上生成式人工智能学习之旅

Premkumar Balasubramanian Premkumar Balasubramanian
CTO, Hitachi Digital Services

2023年12月18日


这是“我们的生成式人工智能之旅”系列的第三个故事。

说到生成式人工智能,一个不言而喻的事实是,每个人都在边做边学。或许这是因为创新步伐如此之快,学习曲线不断飙升。

想想最近的进展,包括微软计划将Chat GTP-4 Turbo集成到Copilots中以处理“复杂且更长的任务”;谷歌推出Gemini套件,包括Ultra、Pro和Nano型号,支持从高端硬件到手机的一切;甚至苹果在GitHub上发布了专为Apple芯片设计的机器学习 ML-Explore (MLX) 阵列框架。

有时,这种节奏让人眼花缭乱。日立数字服务公司和我们的母公司日立有限公司在人工智能领域已经深耕了几十年,我们每天都在学习有关生成式人工智能的功能、机会和潜在风险的新知识。

如果云提供商、系统制造商、软件开发商等公司的人告诉你他们已经搞定了一切,请谨慎行事。技术发展如此之快,很少有人能在短时间内找到所有答案。另一方面,如果他们倾听并承诺与您合作,与您合作,在生成式人工智能的帮助下解决您的问题并实现您的目标,那么他们就值得考虑。

我非常熟悉这个领域以及人工智能的发展。作为日立数字服务公司的首席技术官,我直接与大型全球客户合作,帮助他们克服挑战,通过数字解决方案实现业务目标。正如我的同事在前两篇文章中所说,生成式人工智能和人工智能的出现,为各大企业带来了引人注目的机会,同时也带来了重大风险,这并不令人意外。利用这项技术至关重要,但要尽可能深思熟虑。

在我的工作中,我们喜欢构建解决方案,并尽可能开始将解决方案的某些方面模板化,以便在其他类似的客户挑战中快速重复使用。但生成式人工智能在很大程度上改变了这种理念,主要是因为这些类型的解决方案针对特定工作负载、特定行业中的特定客户,具有超特定的参数。换句话说,这些类型的解决方案很少可以打包并重复使用。

然而,随着生成式人工智能的快速应用,客户理解水平也出现了一种模式。我见识到了精明的、不太精明的和不精明但热情高涨的企业。

有趣的是,这三类的区别往往不在于挑战或选择,而在于严重性或规模。

做出关键决策

举例来说,每个企业都必须尽早了解生成式人工智能为他们带来的基本选择。

我应该使用哪种引擎?对我来说,本地部署是不是比在云中完成这项工作更好?(如果使用云,我是否会面临被云提供商锁住的风险?)

然后,讨论将转向人工智能的本质以及应采用哪种大型语言模型 (LLM)。像LLaMA 2这样的小型模型是在70亿到700亿个参数上进行训练的,非常适合在本地或云端运行,而OpenAI的GPT-3和GPT-4是在1750亿到1万亿个参数上进行训练的,通常最好在云端提供的计算能力下使用。

正如我在最近的一篇文章中所说的那样,在判断本地LLM和内部部署是否比利用公共云更有益时,需要考虑的事项包括但不限于培训频率和培训数据。

我在Hitachi Vantara的同事Bharti Patel在公司从事生成式人工智能的工作,在本地构建了自己的系统来支持LLaMA 2的工作。她说,这样做的原因之一是为了更好地控制数据和LLM的管理。

客户角度

这些只是客户每天都在应对的各种问题和决定中的一部分。正如我上面提到的,安全性、数据隐私和模型偏见问题日益成为人们关注的焦点。我们合作过的一家全球银行决心消除其生成式人工智能产生响应/结果,或使用不雅或冒犯性语言回答查询的风险。

我们开始着手将多项领先技术直接应用于快速工程(即为生成式人工智能模型编写自然语言文本指令)和负责任的人工智能(即毒性分析、幻觉控制等)。尤其值得指出的是,我们应用了检索增强生成(RAG),这是一种结合外部数据集信息的人工智能技术,允许人工智能模型从知识源检索相关信息,并将其与生成的文本合并。

利用这些技术和工具,我们构建了一个名为AI Compass的程序,可以通过情绪、毒性、潜在越狱、拒绝等不同参数测量人工智能模型。当公司从概念验证转向生成式人工智能的用例时,这一点至关重要。

对于银行来说,这非常合适,因为它需要的不仅仅是毒性分析——它需要确保所有地点在上述多个维度上的响应都合规且一致。

制造业机会

有时,客户认为他们需要一种工具或技术,但经过评估后,却发现另一种方法更为有效。在另一个生成式人工智能的实例中,一家住宅产品制造商希望利用该技术帮助公司更好地实现其复杂定价系统的自动化。对于外行来说,许多改造产品在定价方面都有依赖关系。从定制尺寸到可用的各种材料,从区域性到季节性,提出的每个部分都面临许多挑战,需要克服这些挑战才能推荐出一个公平的价格。该公司渴望的是一种自动化这一过程的方法。事实是,他们有很多历史数据可以利用,但需要一种方法来快速生成答案以完成更多销售。

在与那家公司共同探讨了这一挑战后,我们都意识到这不仅仅是一个生成式人工智能用例。相反,这是更传统的机器学习和规范自动化的绝佳机会,然后我们可以将其与生成式人工智能相结合,以便客户更轻松地使用。因此,我们与那家公司一起踏上了征程,日立数字服务的团队与日立美国有限公司的数据科学家和工程师一起确定范围并执行。

要说我们从生成式人工智能领域的工作学到了什么,那就是我们需要与客户、合作伙伴以及自身团队一起努力。我们都在快速学习并不断前进。我们的执行主席Gajen Kandiah在不久前的一篇文章中说得最好,他鼓励读者不要拖延对生成式人工智能的采用。开始项目,进行实验,但要谨慎行事,并做好防护。

相关内容

·追踪我们生成式人工智能的第一步

·细说我们的生成式人工智能之旅

·用创造性地方法采用人工智能


Premkumar Balasubramanian

Premkumar Balasubramanian

Prem leads innovation for Hitachi Digital Services, with responsibility for strategy and support of GTM pursuits. Including repeatable customer solutions and thought leadership focused on cloud, data, IoT and GenAI..He previously held a similar position at Hitachi Vantara.