Chatbot de IA do Bing veio trabalhar para mim. Tive que demiti-lo

Até este momento você provavelmente já leu as resenhas sobre o novo chatbot de IA generativo incorporado no mecanismo de pesquisa Bing, da Microsoft: como, quando em uma troca com o repórter do New York Times, Kevin Roose, ele se transformou em um stalker apaixonado, professando seu amor por ele e tentando conquistá-lo para deixar sua esposa; ou quando disse a um repórter da Associated Press que ele era feio e tinha dentes ruins, comparando-o a Adolf Hitler “porque você é uma das pessoas mais más e piores da história”.

Nessas análises e em outras que li, o foco tem sido nas interações pessoais e não comerciais com o chatbot. Mas a Microsoft não gastou mais de US$ 10 bilhões (e esse valor continua subindo) para projetar um chatbot de IA para conversar com as pessoas sobre assuntos pessoais. A empresa planeja incorporar IA generativa na maioria de seus produtos e serviços, desde Windows a aplicativos do Office, serviços em nuvem e possivelmente além. (No momento, o Bing chatbot está disponível apenas para um grupo limitado de testadores por meio do navegador Edge; os aplicativos móveis Bing, Edge e Skype; ou a caixa de pesquisa do Windows 11 para aqueles que possuem a atualização mais recente do Windows 11.)

Em seu anúncio inicial sobre o novo Bing, a Microsoft elogiou a capacidade do chatbot de fornecer respostas mais completas, refinar consultas de pesquisa, fornecer resultados acionáveis e fornecer uma “faísca criativa” para a criação de conteúdo. Com tudo isso em mente, decidi ver se o chatbot do Bing poderia ser útil como ferramenta de negócios.

Para isso, criei uma empresa imaginária que fabrica e vende móveis para escritório. Pedi ao chatbot do Bing para me ajudar com uma variedade de coisas que eu precisava fazer, incluindo:

• Pesquisar como as técnicas de eficiência Lean Six Sigma podem melhorar a eficiência da minha fábrica;
• Obter informações sobre o tamanho do mercado projetado para móveis de escritório nos próximos cinco anos e criar um gráfico com base nesses dados;
• Escrever um texto que eu poderia usar para anúncios e marketing, bem como criar uma capa para um folheto.

Meu objetivo era ver se o chatbot era algo além de um motor de busca glorificado. Eu queria testar se ele poderia encontrar informações, digeri-las e fazer algo útil com o que encontrou. Olhei para os resultados do teste como se estivesse testando um novo funcionário.

Alguma ajuda com Lean Six Sigma

Comecei pedindo conselhos ao chatbot sobre como eu poderia usar as técnicas Lean Six Sigma, usadas para simplificar os processos de fabricação, para melhorar minha fábrica. Eu disse ao chatbot: “Tenho uma pequena fábrica onde fabrico móveis de escritório. Eu gostaria de usar as técnicas Lean Six Sigma para melhorar a eficiência e cortar custos, mas não sei por onde começar. Você pode me dar conselhos sobre como fazer isso?”

Em vez de fornecer uma resposta, o chatbot engasgou. Ele exibia a mensagem “Algo deu errado”, com um botão “Atualizar” ao lado. Cliquei no botão e o chatbot respondeu: “Claro, estou feliz em começar de novo. Em que posso ajudá-lo agora?”

Não é um começo estelar para um novo funcionário – ou um novo chatbot. Então simplifiquei meu pedido, pedindo que me dissesse o que era Lean Six Sigma. Pergunta diferente, mesmo resultado. “Algo deu errado”. Eu cliquei em “Atualizar”. Desta vez, ele respondeu: “Obrigado! É sempre útil saber quando você está pronto para seguir em frente. O que posso responder para você agora?”

Ao menos, o chatbot foi educado – embora, neste ponto, fosse só isso. Então, tentei novamente, fornecendo um pouco mais de detalhes, perguntando: “Como posso usar o Lean Six Sigma para melhorar a eficiência da minha pequena fábrica de móveis de escritório?”

Bingo! Finalmente alguns resultados úteis. O chatbot descreveu sucintamente o Lean Six Sigma (ao qual se referiu como LSS) e resumiu seus benefícios. E não parou por aí – também encontrou um estudo de caso e um relatório que investigou os benefícios que o Lean Six Sigma oferece aos fabricantes de móveis. Ele forneceu notas de rodapé para tudo isso em uma caixa “Saiba mais” para que eu pudesse clicar nos sites e acompanhar para obter mais detalhes.

Ele também sugeriu perguntas úteis de acompanhamento que eu poderia querer responder, como: “Conte-me mais sobre os princípios do LSS”; “Quais são algumas ferramentas que posso usar para o LSS?”; e “Como posso medir os benefícios do LSS?”

Em suma, uma resposta impressionante e útil que poderia me poupar uma quantidade substancial de tempo. Cliquei na pergunta sobre como medir os benefícios do LSS. O chatbot travou. Eu o atualizei. Ele respondeu, educado ao extremo e alegremente otimista: “Entendi, apaguei o passado e me concentrei no presente. O que vamos descobrir agora?”

Então, fiz a mesma pergunta que já havia feito e que produziu os resultados úteis. O chatbot travou.

Tentei variações da pergunta durante um período de vários dias. Às vezes, ele caía. Às vezes, fornecia respostas úteis, embora as respostas não fossem as mesmas todas as vezes, mesmo que eu fizesse a mesma pergunta exatamente da mesma maneira. E todas as vezes, quando seguia por um caminho para reunir mais detalhes, ele travava. Essa falha contínua e o comportamento inconsistente ofuscaram as informações úteis que o chatbot me ofereceu.

Fazendo pesquisas de mercado e criando gráficos

Era hora de seguir em frente. Em seguida, decidi pedir que ele fizesse uma pesquisa de mercado e construísse gráficos com base no que encontrou. Escrevi: “Crie um gráfico de barras que mostre o tamanho do mercado projetado para móveis de escritório de 2023 a 2030”.

Travou. Eu atualizei e tentei novamente.

Não travou desta vez, mas meio que esvaziou a questão. Ele me disse o que é um gráfico de barras, que eu já sabia porque pedi para criar um para mim. Em seguida, forneceu links para fontes que, segundo ele, forneceriam informações sobre o tamanho do mercado projetado para móveis de escritório nos próximos cinco anos – mas não me forneceu os números. Eu teria que clicar nos sites para encontrá-los sozinho. Em seguida, recomendou um software, como Excel ou Tableau, que me permitisse construir os gráficos sozinho.

Eu tentei a mesma pergunta novamente, e ele ofereceu uma resposta ligeiramente diferente. Desta vez, não perdeu tempo me dizendo o que é um gráfico de barras. Ele novamente recomendou sites que eu poderia visitar para encontrar as informações que estava procurando. (A propósito, os sites tinham as informações.) Ele recomendou software adicional para construir o gráfico, incluindo RapidTables e Adobe Express. E me perguntou se eu queria conselhos sobre como usar essas ferramentas e, em caso afirmativo, qual gostaria de usar. Escolhi o Excel e ele me deu um breve tutorial sobre como criar um gráfico de barras.

Tudo isso foi muito bom, mas não me economizou tempo em comparação com o uso de um mecanismo de pesquisa tradicional: eu poderia facilmente fazer pesquisas pelo tamanho do mercado projetado e um tutorial sobre como criar gráficos de barras.

Decidi seguir um caminho diferente e tentar uma solicitação mais simples, perguntando: “Qual é o tamanho do mercado projetado para móveis de escritório de 2023 a 2030?” Mas, em vez de me mostrar estimativas do tamanho do mercado, me mostrou a taxa de crescimento projetada. Perguntou se eu queria ver as taxas de crescimento de uma região ou país específico – um acompanhamento bom e sólido. Pedi os números dos Estados Unidos, que me forneceram rapidamente. Em seguida, perguntou se eu queria informações sobre “tendências, impulsos ou segmentos de mercado”. Eu disse a ele para me dar um crescimento projetado para móveis de escritório para home office.

Isso foi demais para o chatbot suportar. Recebi a mensagem “Algo deu errado” e tive que clicar em “Atualizar” para iniciar uma nova sessão.

Portanto, para pesquisa de mercado, a IA do Bing não é muito mais do que um motor de busca glorificado. Ele não fará tarefas básicas com várias partes, como encontrar informações e criar um gráfico a partir delas. Se o chatbot fosse um funcionário, neste momento eu o teria afastado e avisado que não estava atendendo às expectativas.

Obtendo ajuda com um plano de marketing, copywriting e gráfico

Em seguida, pedi ajuda para elaborar um plano de marketing para uma empresa secundária – móveis de escritório SitAtHome para escritórios domésticos. Sua resposta, já familiar: “Algo deu errado”.

Mudei de tática e pedi para que escrevesse um texto copywriting para os produtos da empresa. Descrevi os benefícios que gostaria de enfatizar. Tudo o que precisava fazer era pegar o que eu havia escrito, torná-lo mais coerente, fluindo melhor e, se possível, adicionar um pouco de fermento. Aqui está o que eu pedi:

“Escreva um parágrafo que eu possa usar em uma campanha de marketing sobre novos os produtos de escritório doméstico SitAtHome. Enfatize que as cadeiras e mesas foram projetadas exclusivamente para uso doméstico. Diga que eles foram projetados para se encaixar na decoração de qualquer casa, mas também oferecem todos os benefícios dos móveis tradicionais de home office. Diga que eles são feitos de forma sólida. Digamos que eles sejam feitos de maneira tão sólida que resistem até ao abuso de crianças. Mencione que, na maioria das vezes, o empregador poderá reembolsá-lo.

Nas três primeiras vezes que tentei, o chatbot travou. Mas a quarta vez foi um charme. Aqui está o que ele me deu:

“Apresentamos a SitAtHome, uma nova linha de móveis para home office projetada exclusivamente para o seu conforto e comodidade. Se você precisa de uma cadeira, uma mesa ou ambos, a SitAtHome oferece produtos que se encaixam na decoração de qualquer casa, oferecendo todos os benefícios do mobiliário de escritório tradicional. Os produtos SitAtHome são feitos solidamente para suportar o uso diário e até mesmo o abuso das crianças. Além disso, você pode ser elegível para reembolso de seu empregador pela compra de equipamentos de home office. Não perca esta oportunidade de atualizar sua experiência de trabalho em casa com a SitAtHome!”

Era assustadoramente semelhante a quase todos os textos de marketing medíocres que já li, incluindo o ponto de exclamação final. Ele perguntou se eu queria melhorar. Eu sabia que era melhor não pensar que ele era capaz de fazer isso. Então eu disse que não, que estava perfeito, depois agradeci. O chatbot respondeu educadamente: “De nada. Estou feliz que você gostou”.

Então pedi que escrevesse um slogan para a nova linha de produtos. Ele obedeceu, me deu cinco opções e perguntou qual eu gostava mais.

Eles variavam de medíocres a péssimos, então escolhi o menos medíocre: “Faça do seu escritório um lugar feliz com móveis SitAtHome”.

Sua resposta: “Estou feliz que você gostou. Esse é o meu favorito também. ”

Peraí, o chatbot estava puxando meu saco? Para testá-lo, respondi: “Na verdade, gostei mais de ‘SitAtHome: móveis de escritório doméstico que funcionam para você’”.

A resposta do chatbot: “Essa também é uma boa escolha. É simples e eficaz. ”

Ali eu tive certeza.

Ele perguntou se eu queria que ele escrevesse um blog sobre os benefícios dos móveis para home office. Foi uma pergunta impressionante: ele sabia que eu estava procurando promover minha nova linha de produtos e também sabia que uma postagem no blog é uma boa maneira de fazer isso.

Ele também perguntou se eu queria escrever uma resenha dos produtos SitAtHome. Isso também foi impressionante, mas de uma forma desagradável. Parecia saber tudo sobre o lado mais sórdido do marketing – empresas que escrevem resenhas de seus próprios produtos e escondem a verdadeira autoria quando as resenhas são publicadas on-line.

Isso foi longe demais. Então, ignorei os pedidos e, em vez disso, perguntei: “Você está puxando meu saco para que eu lhe dê uma promoção?”

E, claro, o chatbot travou.

Por fim, pedi ao chatbot para criar um gráfico para o spinoff SitAtHome, de alguém sentado em uma mesa em seu escritório em casa. Nas três primeiras vezes, caiu. Na quarta, oferecia dicas genéricas de design e indicava lugares onde eu poderia comprar ferramentas gráficas.

Em seguida, perguntou se eu queria um design minimalista, maximalista ou industrial. Eu não tinha ideia do que estava falando. Então respondi: “Projete algo que seja simples e eficiente, mas também de aparência aconchegante”. Ele ofereceu algumas dicas de design surpreendentemente úteis. Eu então disse: “Quero que você crie o gráfico”.

O chatbot travou.

E essa foi a gota d’água. Eu me senti como se estivesse lidando com um funcionário que constantemente se recusava a realizar as tarefas que eu pedia, que tinha afinidade por fazer pesquisas na internet e nada mais, que me bajulava e sugeria que eu usasse técnicas de marketing questionáveis.

No lado positivo, era capaz de escrever textos de marketing e slogans de anúncios medíocres. Mas isso não foi suficiente para compensar todo o mal. Se o chatbot fosse um funcionário, eu teria “a conversa” com ele e o demitiria.

O lado positivo

É claro que, pelo menos por enquanto, o chatbot AI do Bing não está pronto para o mundo do trabalho. Ele fez um trabalho sólido ao realizar pesquisas e resumir informações, e também pode ser útil para escrever rascunhos iniciais de textos de marketing e conteúdo semelhante – mas sua propensão a travar é problemática, para dizer o mínimo.

Dito isso, não tive os problemas mais negativos que outras pessoas tiveram com o chatbot. Passei muito tempo com ele, não apenas pesquisando este artigo, mas interagindo com ele frequentemente por mais de uma semana. Naquela época, ele nunca me deu informações incorretas ou enganosas (referidas como “alucinação de IA”), como aconteceu com outros testadores, e nunca passou para um lado sombrio ou exibiu um comportamento assustador.

A Microsoft está ciente desses problemas – na verdade, a empresa diz que lançou o chatbot ao público como uma forma de ajudar a resolver os problemas. O porta-voz da Microsoft, Frank Shaw, explicou ao New York Times: “Reconhecemos que ainda há trabalho a ser feito e esperamos que o sistema cometa erros durante este período de visualização, por isso o feedback é fundamental para que possamos aprender e ajudar os modelos a melhorar”.

Lembre-se de que a IA generativa ainda está engatinhando. O chatbot do Bing mostra uma promessa real – capaz de resumir informações de forma clara e sucinta e saber como fazer as perguntas de acompanhamento corretas. A Microsoft provavelmente resolverá os problemas que causam falhas com tanta frequência. E à medida que o chatbot continua a ser treinado, suas respostas provavelmente se tornarão mais úteis.

A Microsoft pode, eventualmente, permitir que as empresas treinem o chatbot em suas próprias fontes de dados. Nesse caso, pode ser extremamente útil, porque as informações que ele extrair serão exatamente as informações que as empresas consideram úteis.

Além disso, como a Microsoft vinculará a tecnologia ao seu pacote Office, o chatbot poderá, eventualmente, criar documentos, incluindo planilhas do Excel e apresentações do PowerPoint, com base em suas solicitações. Nesse ponto, poderia ser um impulsionador de produtividade significativo.

Ainda não se sabe se tudo isso acontecerá. Por enquanto, você pode achar que vale a pena testá-lo para o seu trabalho. Apenas esteja preparado para muita frustração. E se prepare para o aviso prévio.