Quando Hanna Wallach começou a testar modelos de machine learning, as tarefas eram bem definidas e fáceis de avaliar. O modelo foi capaz de identificar corretamente os gatos na imagem? Conseguiu prever com precisão as classificações que diferentes espectadores atribuíram a um filme? Transcreveu as palavras exatas que alguém acabou de proferir?
Contudo, este trabalho de avaliação do desempenho de um modelo foi transformado pela criação de IA generativa, como grandes modelos de linguagem (LLMs) que interagem com as pessoas. Portanto, o foco de Wallach, enquanto investigadora na Microsoft, mudou para identificar as respostas da IA para potenciais riscos que não são fáceis de quantificar – “conceitos humanos difusos”, refere, tais como a justiça ou a segurança psicológica.
Esta nova abordagem à medição, ou seja, definir e avaliar os riscos da IA e garantir que as soluções são eficazes, analisa os elementos sociais e técnicos da forma como a tecnologia generativa interage com as pessoas. Isto torna-a muito mais complexa, mas também fundamental para ajudar a manter a IA segura para todos.
“Muito daquilo que minha equipa faz consiste em descobrir como essas ideias provenientes das ciências sociais podem ser usadas no contexto da IA responsável”, afirma Wallach. “Não é possível entender os aspetos técnicos da IA sem entender os aspetos sociais e vice-versa.”
A sua equipa de cientistas na Microsoft Research analisa os riscos a partir do feedback dos clientes, investigadores, equipas de produto e de políticas da Microsoft e a AI Red Team da empresa – um grupo de tecnólogos e outros especialistas que se debruçam sobre os sistemas de IA para perceber onde é que as coisas podem falhar.
Quando potenciais problemas surgem – com injustiças, por exemplo, como um sistema de IA que mostra apenas mulheres na cozinha ou apenas homens como CEOs – a equipa de Wallach e outros colaboradores da empresa intervêm para compreender e definir o contexto e a extensão desses riscos e todas as diferentes formas pelas quais eles podem surgir em várias interações com o sistema.
Após as restantes equipas desenvolverem correções para quaisquer riscos com os quais os utilizadores se possam deparar, o grupo de Wallach mede novamente as respostas do sistema para garantir que esses ajustes foram eficazes.
A investigadora e os seus colegas debatem-se com conceitos nebulosos, como o que significa para a IA estereotipar ou depreciar grupos específicos de pessoas. A sua abordagem adapta estruturas da linguística e das ciências sociais para estabelecer definições concretas, respeitando quaisquer significados contestados – um processo conhecido como “sistematização”. Uma vez definido ou sistematizado um risco, começam a medi-lo recorrendo a técnicas de anotação ou métodos usados para rotular as respostas do sistema, em interações simuladas e do mundo real. Em seguida, classificam essas respostas para ver se o sistema de IA teve um desempenho aceitável ou não.
O trabalho da equipa ajuda nas decisões de engenharia, fornecendo informações pormenorizadas aos especialistas da Microsoft à medida que desenvolvem mitigações. O grupo também apoia as decisões de política interna da empresa, ajudando os líderes a decidir se e quando um sistema está pronto para implementação.
Como os sistemas de IA generativa lidam com texto, imagens e outras modalidades que representam a sociedade e o mundo ao nosso redor, a equipa de Wallach foi formada com uma combinação única de conhecimentos. O seu grupo inclui cientistas com formação em ciências da computação e linguística que estudam a forma como diferentes tipos de riscos se podem manifestar. Para além disso, fazem parcerias com investigadores, especialistas de domínio, consultores de políticas, engenheiros, entre outros, para incluir o maior número possível de perspetivas e antecedentes.
À medida que os sistemas de IA se tornam mais prevalentes, é cada vez mais importante que representem e tratem os grupos marginalizados de forma justa. No ano passado, por exemplo, o grupo trabalhou com a equipa do Diretor de Acessibilidade da Microsoft para entender os riscos relacionados à equidade que afetam as pessoas com deficiência. Começaram por aprofundar o significado de representar as pessoas com deficiência de forma justa e identificar como as respostas do sistema de IA podem refletir o capacitismo. O grupo também se envolveu com líderes comunitários para obter informações sobre as experiências que as pessoas com deficiência têm ao interagir com a IA.
Transformar essas conclusões num conceito claramente sistematizado ajuda no desenvolvimento de métodos para medir os riscos, rever os sistemas conforme necessário e monitorar a tecnologia para garantir uma melhor experiência para as pessoas com deficiência.
Uma das novas ferramentas metodológicas que a equipa de Wallach ajudou a desenvolver, as avaliações de segurança do Azure AI Studio, utiliza a própria IA generativa – um avanço que pode medir e monitorar continuamente sistemas cada vez mais complexos e generalizados, afirma Sarah Bird, Diretora de Produtos de IA Responsável da Microsoft.
Assim que a ferramenta recebe os dados corretos e a formação sobre como rotular os resultados de um sistema de IA, esta representa um papel – por exemplo, quando alguém está a tentar obter conteúdo sexual impróprio. Em seguida, classifica as respostas do sistema, com base em diretrizes que refletem o risco cuidadosamente sistematizado. As classificações resultantes são, então, agrupadas utilizando métricas para avaliar a extensão do risco. Grupos de especialistas auditam regularmente os testes para garantir que são precisos e alinhados com as classificações dos humanos, comenta Bird.
“Fazer com que o sistema de IA se comporte como os especialistas é algo que exige muito trabalho e inovação. É realmente desafiador e divertido de desenvolver”, à medida que a Microsoft investe neste campo da ciência da avaliação em evolução, diz Bird.
Os clientes da Microsoft também podem usar a ferramenta para medir o desempenho dos seus chatbots ou outros sistemas de IA em relação aos seus objetivos de segurança específicos.
“A avaliação é a coisa robusta que nos ajuda a entender como um sistema de IA se está a comportar em escala”, conta Bird. “Como saberemos se nossas mitigações e soluções são eficazes se não as medirmos? Esta é a coisa mais importante no que concerne à IA responsável atualmente.”
Saiba mais sobre o trabalho da Microsoft em prol da Responsible AI.