Porque a IA não deve atuar de forma independente na tomada de decisão corporativa

Scott Zoldi, Chief Analytics Officer da FICO
A IA responsável prioriza a transparência, a ética e a supervisão humana, sendo essencial para mitigar os riscos da IA e para verdadeiramente construir confiança na sua utilização. Muitos modelos de IA são caixas-pretas, desenvolvidos sem a devida consideração pela interpretabilidade, ética ou segurança dos resultados. Para estabelecer um grau de confiança, as organizações precisam investir em IA responsável, que oferece padrões de IA robusta, explicável, ética e auditável.
Guiados por uma IA responsável, os desenvolvedores podem definir as condições que levam algumas transações a terem menos supervisão humana e, outras, a terem mais. Mas podemos tirar totalmente as pessoas do processo de tomada de decisão nas empresas? Não. Vamos discutir de forma mais aprofundada alguns pontos da IA responsável para compreender este quadro.
Uma das melhores práticas que as organizações podem adotar é manter um padrão corporativo no desenvolvimento de modelos de IA, o que dita algoritmos e processos de IA apropriados para habilitar funções que mantêm as pessoas no processo.
Leia também: IBM z17: Banco Mercantil integra IA diretamente ao core bancário
Isso geralmente inclui o uso de IA interpretável, permitindo que humanos revisem e entendam o que a IA aprendeu no que diz respeito a respostas palatáveis para o público-alvo, viés, uso ético e segurança. A IA auditável irá, então, codificar as decisões humanas no processo (human-in-the-loop) e as diretrizes de monitoramento para uso operacional. Em outras palavras, a utilização vai sendo auditada pelos desenvolvedores humanos, que também levam em conta o feedback dos usuários humanos que interagem com a IA, para um refinamento constante.
Isso inclui aprovar ou recusar o uso de dados, remover agentes de dados ilegais ou antiéticos, e garantir que os padrões de governança e regulamentação sejam atendidos. A IA responsável utiliza um blockchain imutável que dita como monitorar a IA em operação. Dessa forma, o poder de decisão dos operadores humanos pode validar, anular, apoiar e reverter as decisões da IA, tornando o modelo “humilde”.
É fundamental que haja um processo bem definido muito antes da IA entrar em operação. Quando ocorrer uma crise, uma orientação pré-definida claramente por humanos deve ser seguida, a IA não pode simplesmente tomar uma decisão às pressas. Esse blockchain definirá quando os humanos podem anular a IA por meio de modelos alternativos, dados de suporte ou processos investigativos. Essa estrutura é definida em coordenação com os desenvolvedores, que sabem os pontos fortes e fracos do modelo que projetaram, assim como quando ele estiver operando de forma não prevista.
Empresas que adotam a IA responsável garantem que o uso seja feito de acordo com as regras, utilizando um manual de operação e um sistema de monitoramento – o que pode ajudar as unidades de negócios a obterem um enorme valor, definindo os critérios nos quais as empresas equilibram os riscos do negócios e a regulamentação. Os especialistas e analistas do domínio controlam como usar seu conhecimento técnico e a IA auditável irá monitorar o sistema para identificar riscos e emitir alertas.
A prevenção começa com a transparência
Para prevenir um retrocesso na IA hoje, devemos ir além das alegações aspiracionais e ostentosas, partindo para discussões honestas sobre os riscos dessa tecnologia. Temos que definir o quão envolvidos os humanos devem ser. As empresas devem capacitar sua liderança em ciência de dados a fim de definir o que é uma IA de alto risco e o quão preparadas ou despreparadas elas estão para terem, de fato, uma IA responsável. Isso remete à governança e à regulamentação. As empresas têm de retomar práticas que possam ter sido negligenciadas durante o hype da GenAI.
Essas organizações deveriam começar revisando como a regulamentação da IA está se desenvolvendo e verificar se elas dispõem das ferramentas adequadas para abordar e testar suas aplicações desta tecnologia. Caso não estejam preparadas, precisam buscar entender os impactos nos negócios de uma possível remoção da IA de seu conjunto de ferramentas e se preparar para começar a definir padrões corporativos para o desenvolvimento e operação da IA.
O próximo passo seria identificar e classificar os problemas do negócio mais adequados para IA tradicional ou IA generativa. A IA tradicional pode ser estruturada para cumprir regulamentos, utilizando algoritmos que atendam aos objetivos de negócios. Além disso, é aconselhável manter sistemas de backup para as aplicações e recorrer a tecnologias mais seguras sempre que a IA auditável indicar que uma decisão da IA atualmente utilizada não for confiável.
A estratégia de IA não pode ser delegada a executivos ou engenheiros de software com conhecimento limitado sobre os detalhes e riscos dos algoritmos. Embora implementar IA possa parecer simples, garantir que ela seja responsável, segura e controlada é complexo, exigindo padrões, maturidade e compromisso. Os cientistas de dados podem ajudar as empresas a encontrar os caminhos certos para adotar os tipos adequados de IA para diferentes aplicações de negócios, conformidades regulatórias e resultados otimizados para o público-alvo. Em resumo, Inteligência Artificial + Inteligência Humana = Inteligência Aplicada, a solução mais forte. Por isso a IA não deve atuar de forma independente na tomada de decisões dentro das empresas.