Fazendo a jornada de aprendizado da GenAI com os clientes

Esta é a terceira história da série "Nossa Jornada GenAI".

Uma das verdades não ditas sobre a IA generativa (GenAI) é que todos estão aprendendo à medida que avançam. Talvez isso se deva ao fato de o ritmo da inovação ser tão rápido que a curva de aprendizado continua a subir.

Considere até mesmo os avanços mais recentes, incluindo os planos da Microsoft de integrar o Chat GTP-4 Turbo ao Copilots para lidar com "tarefas complexas e mais longas"; o lançamento do pacote Gemini de modelos Ultra, Pro e Nano que suportam tudo, desde hardware de última geração até telefones celulares; e até mesmo o lançamento da Apple no GitHub de sua estrutura de matriz ML-Explore (MLX) para aprendizado de máquina projetada para o silício da Apple.

Às vezes, o ritmo pode parecer vertiginoso. Nós, da Hitachi Digital Services, juntamente com nossa matriz, a Hitachi Ltd., trabalhamos com IA há décadas e até mesmo nós estamos aprendendo coisas novas sobre os recursos, as oportunidades e os possíveis riscos da GenAI todos os dias.

Na verdade, se alguém de um provedor de nuvem, fabricante de sistemas, desenvolvedor de software, etc., disser que tem tudo planejado, seja cauteloso. A tecnologia está avançando tão rapidamente que muito poucos têm todas as respostas em um determinado dia. Por outro lado, se eles ouvirem e se comprometerem a trabalhar com você, em parceria com você, para resolver seus problemas e atingir suas metas com a ajuda da GenAI, vale a pena considerá-los.

Estou muito familiarizado com esse espaço e com o desenvolvimento da GenAI e da IA. Em minha função como diretor de tecnologia da Hitachi Digital Services, trabalho diretamente com grandes clientes globais para ajudá-los a superar desafios e atingir metas de negócios por meio de soluções digitais. Cada vez mais, e não surpreendentemente, como meus colegas afirmaram nas duas histórias anteriores, o advento da GenAI e da IA representa algumas das oportunidades mais dramáticas para as empresas, bem como alguns riscos significativos. É fundamental se envolver com a tecnologia, mas da maneira mais ponderada possível.

Na minha linha de trabalho, gostamos de arquitetar soluções e, sempre que possível, começar a modelar determinados aspectos delas para reutilização rápida em outros desafios comparáveis do cliente. Mas a GenAI mudou muito essa filosofia, principalmente porque esses tipos de soluções são voltados para cargas de trabalho específicas, para clientes específicos em setores específicos com parâmetros ultraespecíficos. Em outras palavras, muito poucas dessas soluções do tipo “floco de neve” podem ser empacotadas e reutilizadas.

Um padrão, no entanto, que surgiu com a rápida adoção da GenAI está nos níveis de compreensão do cliente. Identifiquei a organização experiente, a menos experiente e a não experiente, mas entusiasmada.

É interessante notar que, muitas vezes, o que separa essas três categorias não é o desafio ou a escolha, mas a gravidade ou a escala.

Tomando as decisões críticas

Por exemplo, toda organização deve entender desde o início as opções básicas que a aguardam com a GenAI.

Qual mecanismo devo usar? A opção no local é melhor para mim do que fazer esse trabalho na nuvem? (E, se eu for para a nuvem, corro o risco de me tornar refém do provedor de nuvem?)

Em seguida, a discussão se volta para os detalhes da IA e para qual tipo de grandes modelos de linguagem (LLM) deve ser empregado. Modelos menores, como os modelos LLaMA 2, são treinados com 7 bilhões a 70 bilhões de parâmetros e são adequados para serem executados no local ou na nuvem, enquanto o GPT-3 e o GPT-4 da OpenAI são treinados com 175 bilhões a 1 trilhão de parâmetros e, normalmente, são mais bem utilizados com o poder de computação oferecido pela nuvem.

Como afirmei em um artigo recente, alguns dos aspectos a serem considerados ao determinar se um LLM local e uma pegada no local podem ser mais vantajosos do que aproveitar a nuvem pública incluem, entre outros, a frequência e os dados de treinamento.

Por exemplo, como minha colega da Hitachi Vantara, Bharti Patel, escreveu recentemente, seu trabalho com a GenAI na empresa levou-a a criar seu próprio sistema no local para dar suporte ao trabalho com o LLaMA 2. Entre os motivos da mudança, segundo ela, estava o maior controle dos dados e o gerenciamento do LLM.

A perspectiva do cliente

Essas são apenas algumas das diversas questões e decisões com as quais vejo os clientes lutando todos os dias. Por exemplo, como mencionei acima, cada vez mais a segurança, a privacidade dos dados e as questões relacionadas à parcialidade dos modelos são uma preocupação fundamental. Um banco global com o qual trabalhamos tinha a intenção de eliminar o risco de seus bots GenAI produzirem respostas/resultados ou responderem a consultas com linguagem ofensiva ou não parlamentar.

Começamos a trabalhar e aplicamos várias tecnologias de ponta diretamente da engenharia de prontidão, que é o processo de escrever instruções de texto em linguagem natural para os modelos GenAI, à IA responsável (ou seja, análise de toxicidade, controles de alucinação etc.). Em especial, aplicamos a geração aumentada de recuperação (RAG), uma técnica de IA que combina informações de conjuntos de dados externos, permitindo que os modelos de IA recuperem informações relevantes de uma fonte de conhecimento e as incorporem ao texto gerado.

Trabalhando com essas tecnologias e ferramentas, criamos um programa, chamado AI Compass, que mede um modelo de IA em diferentes parâmetros, como sentimento, toxicidade, possíveis fugas da prisão, recusas etc. Isso é extremamente importante à medida que as empresas passam de provas de conceito para casos de uso de GenAI de produção.

E isso foi mais do que apropriado para o banco, porque ele precisava de mais do que apenas uma análise de toxicidade, precisava garantir que todos os locais estivessem em conformidade e fossem consistentes em suas respostas nas várias dimensões mencionadas acima.

Oportunidades de produção

Às vezes, os clientes acreditam que precisam de uma ferramenta ou tecnologia, mas, após a avaliação, outra abordagem é muito mais eficaz. Em outro exemplo da GenAI, um fabricante líder de produtos residenciais queria aproveitar a tecnologia para ajudar a empresa a automatizar melhor seu sistema de preços extremamente complicado. Para os não iniciados, muitos produtos de reforma têm dependências quando se trata de preços. Do dimensionamento personalizado aos inúmeros tipos de materiais disponíveis, da regionalidade à sazonalidade, cada peça proposta vem com uma série de desafios a serem superados antes de se recomendar um preço justo. O que a empresa desejava era uma forma de automatizar esse processo. E a verdade é que eles tinham muitos dados para aproveitar, muitos dados históricos, mas precisavam de uma maneira de gerar respostas rapidamente para fechar mais vendas.

Depois de analisar o desafio com a empresa, percebemos que não se tratava apenas de um caso de uso da GenAI. Em vez disso, tratava-se de uma grande oportunidade para o aprendizado de máquina mais tradicional e a automação prescritiva que poderiam ser agrupados com a GenAI para facilitar o consumo pelos clientes. Por isso, embarcamos em uma jornada com a empresa, com meu grupo na Hitachi Digital Services trabalhando junto com cientistas de dados e engenheiros da Hitachi America Limited para definir o escopo e a execução.

Se nosso trabalho em IA e GenAI nos ensinou alguma coisa, é que estamos todos juntos nisso, com nossos clientes e parceiros, e dentro de nossos próprios grupos. Estamos todos aprendendo rápido juntos e avançando. Nosso presidente executivo, Gajen Kandiah, disse isso da melhor forma em uma publicação feita há pouco tempo, quando incentivou os leitores a não demorarem a se envolver com a GenAI. Iniciem projetos, experimentem, mas façam isso com cautela, com cuidado.

Relacionado

·       Rastreando nossos primeiros passos GenAI

·       Apresentando nossa jornada GenAI

·       Uma abordagem generativa para IA