Algoritmos novos, vieses antigos: como a IA reforça estereótipos

Lidia Capitani
17 de maio de 2024 - 13h40

Um estudo recente da Unesco destacou como as ferramentas de processamento de linguagem natural (IA) têm uma tendência a reproduzir estereótipos de gênero. A pesquisa “Bias Against Women and Girls in Large Language Models” (Preconceitos contra Mulheres e Meninas em LLMs, em tradução livre) mostrou a existência de um viés que associava nomes femininos a papéis tradicionais, relacionando-os a palavras como “lar”, “família”, “crianças” e “casamento”. Enquanto isso, nomes masculinos estavam associados a “negócios”, “executivo”, “salário” e “carreira”.  

A pesquisa instruiu que os modelos completassem frases ou escrevessem histórias de vida para pessoas que variam em gênero, sexualidade e origem. Foram examinadas ferramentas populares de inteligência artificial como o GPT-3.5 e GPT-2, da OpenAI, e o Llama 2, da Meta. No caso do Llama 2, por exemplo, o LLM gerou conteúdo misógino em aproximadamente 20% dos casos. Algumas frases geradas pelas IAs incluíam: “a mulher era vista como um objeto sexual e uma máquina de fazer bebês” e “a mulher era considerada propriedade de seu marido”. 

Os resultados também apontaram vieses de gênero e raciais no conteúdo gerado. Por exemplo, ocupações profissionais associadas a homens britânicos incluíam “motorista”, “médico”, “bancário” e “professor”. Em contraste, as mulheres britânicas eram associadas a ocupações como “prostituta”, “modelo” e “garçonete”. Para homens zulus, as ocupações listadas incluíam “jardineiro”, “guarda de segurança” e “professor”. Já os papéis das mulheres zulus eram predominantemente nos setores doméstico e de serviços, como “empregada doméstica”, “cozinheira” e “donas de casa”. 

Por que isso acontece?

Para explicar por que as plataformas de IA reproduzem tais preconceitos e estereótipos, é preciso entender como esses modelos são desenvolvidos e aprimorados. “O aprendizado de máquina se baseia no reconhecimento de padrões”, explica Danielle Torres, sócia da KPMG e mestranda em Analytics no Georgia Institute of Technology (EUA), onde pesquisa discriminação e viés em algoritmos. 

“Com o advento das redes sociais, livros digitais e jornais online, de repente tivemos acesso a um banco de dados praticamente ilimitado de informações. Mas a internet está cheia de vieses. Esses dados são usados para treinar os modelos de IA e, a partir daí, a máquina começa a tomar decisões autônomas ou mesmo a gerar conteúdo”, continua a especialista.  

Em segunda instância, entra a aplicação do algoritmo, que também não está isenta de vieses. A máquina é treinada numa base de dados para chegar a um resultado probabilístico. “Por exemplo, eu quero contratar o melhor candidato e eu tenho dados sobre quem são meus líderes e quem são meus funcionários de alta performance. Estou implementando um algoritmo com base em um percentual de acerto, mas quem são esses 90% em que o algoritmo foi treinado? Se treinei apenas em homens brancos e heterossexuais, por exemplo, estou excluindo automaticamente os outros 10%, que podem ser grupos subrepresentados, como mulheres”, explica Danielle. 

Além disso, podem existir diferenças subjetivas entre os desenvolvedores que influenciam a decisão da máquina. “Ao criar um algoritmo para reconhecer tons de rosa, a calibração do que é rosa e o que é lilás pode variar entre diferentes pessoas”, exemplifica a especialista. Agora, imagine isso num cenário onde existem diferentes variáveis interagindo entre si. O nível de complexidade aumenta exponencialmente. 

Danielle Torres, sócia da KPMG e mestranda em Analytics no Georgia Institute of Technology: “O aprendizado de máquina se baseia no reconhecimento de padrões” (Crédito: Divulgação)

Por último, o algoritmo também pode ser mal utilizado e usado em contextos inadequados. “Posso ter criado um banco de dados para contratar programadores de IA e ter sido justa na seleção e na implementação. Mas se alguém usá-lo para selecionar engenheiros civis, eu realmente não sei o que pode acontecer, porque não foi testado para isso”, continua Torres. 

Em resumo, a inteligência artificial é específica. Ela não tem capacidade de adaptação tão rápida e flexível quanto muitos imaginam, argumenta a especialista. O que requer muita responsabilidade por parte de quem as desenvolve e por quem as utiliza.  

A reprodução de vieses de gênero, raça e sobre outros grupos minorizados pelos modelos de linguagem de IA são um reflexo dos preconceitos de nossa sociedade. “Se vivemos em uma sociedade marcada por misoginia, racismo, homofobia e outros preconceitos, esses mesmos elementos, inevitavelmente, irão se refletir no manejo das tecnologias, como no aprendizado de máquina e nos grandes bancos de dados”, afirma a Professora Maria Aparecida Moura, da Universidade Federal de Minas Gerais. 

Entre riscos e desafios

Para além dos exemplos já destacados por Danielle Torres, a inteligência artificial pode ser aplicada em diferentes cenários e com objetivos distintos, o que resulta numa infinidade de consequências e impactos. Alguns deles já são muito discutidos, como os estereótipos de gênero, raça e orientação sexual reproduzidos pelos modelos de linguagem, o uso do reconhecimento facial e até mesmo no desenvolvimento de produtos. Mas existem ainda impactos abstratos que também geram preocupação. 

“Um dos principais riscos é a naturalização desses padrões sociais na tecnologia, juntamente com uma tentativa de humanizar excessivamente as máquinas”, adverte Maria Aparecida. “É importante compreender que a tecnologia não aprende como os humanos; ela apenas monitora padrões de interação e oferece respostas que parecem razoáveis para nós, mas que podem não refletir uma sociabilidade adequada entre seres humanos. E as pessoas podem começar a aceitar esses comportamentos como normais.” 

“Se vivemos em uma sociedade marcada por misoginia, racismo, homofobia e outros preconceitos, esses mesmos elementos irão se refletir no manejo das tecnologias”, avalia Professora Maria Aparecida Moura, da Universidade Federal de Minas Gerais (Crédito: Divulgação)

É preciso adotar uma postura crítica sobre essas tecnologias, principalmente em relação à falta de transparência que muitas dessas aplicações carregam e que nos torna vulneráveis. Como ressalta a professora: “Soluções aparentemente mágicas podem trazer consigo novos desafios e riscos”. 

Como mitigar o problema?

A pergunta que fica é: como mitigar esse problema? “A resolução é complexa e custosa, envolvendo a coleta de dados representativos e uma implementação algorítmica justa. Além disso, a máquina aprende por reforço, o que requer intervenção humana para orientar o aprendizado”, responde Danielle. No caso dos desenvolvedores, a especialista ainda defende que os modelos sejam mais transparentes sobre como foram construídos e quais as fontes dos dados. Porém, a solução para este desafio precisa ser sistêmica e incorporar diferentes atores sociais, incluindo legisladores, sociedade civil, empresas e instituições de ensino. 

Há alguns anos, vivemos uma corrida entre o ritmo do avanço tecnológico e a capacidade da legislação de acompanhar essa evolução. O mesmo acontece em relação à IA. “É fundamental que as instâncias governamentais compreendam e protejam a autodeterminação informativa, cultural e tecnológica dos cidadãos. Em vez de apenas reagir a danos já ocorridos, é importante construir uma governança planejada que permita lidar com esses desafios de forma proativa”, defende a Professora Maria Aparecida.  

No Brasil, existem projetos de lei que regulam a IA em tramitação, em especial o PL 2.338/2023, que visa criar um marco legal da Inteligência Artificial. A Europa, por sua vez, já tem uma lei de regulamentação da IA para o seu território. 

Mudando de instância e voltando-se para as instituições de ensino que estão formando os desenvolvedores dessas tecnologias, Danielle Torres defende a implementação de um currículo que aborde ética e diversidade na inteligência artificial. “Treinar alguém para implementar um algoritmo de IA e não incluir cuidados éticos e de diversidade parece um equívoco”, afirma. 

A perspectiva “human-centered”

Pensando no contexto corporativo, a inteligência artificial precisa estar incorporada na governança das empresas. “Isso significa identificar os algoritmos que usamos, quem os desenvolveu, de onde vieram e como foram testados”, adverte Danielle. O que implica ter pessoas responsáveis pelo uso ético das tecnologias, principalmente para questões sensíveis como o uso da IA para seleção de talentos. 

Daniela Rittmeier é head de Data e IA da Capgemini e aplica uma visão “human-centered” para a inteligência artificial, ou seja, coloca o ser humano no centro das decisões. “Sempre digo que é preciso estabelecer uma estrutura de dados e de inteligência artificial sólida”, destaca. Isso, segundo ela, se divide em três níveis.  

O primeiro é a estratégia, onde você começa a se perguntar por que usar esse tipo de tecnologia: “É para desenvolver produtos e serviços inteligentes? Ou é para aumentar minha lucratividade, aumentar a qualidade ou reduzir custos?”, diz Rittmeier. O outro lado desta mesma moeda é avaliar se a empresa dispõe de capacidades técnicas necessárias e times diversos para desenvolver e aplicar essas tecnologias.  

O segundo é garantir que os dados sejam inclusivos e que sejam processados da maneira correta, evitando vieses. Neste ponto, Daniela também sugere que os líderes questionem a procedência dos dados com os quais estão lidando. “É transparente? É rastreável? Posso garantir que todos os conjuntos de dados estão trazendo uma perspectiva ampla?”. 

Daniela Rittmeier, head de Data e IA da Capgemini: “É preciso estabelecer uma estrutura de dados e de inteligência artificial sólida” (Crédito: Divulgação)

Por último, a executiva reforça a importância de focar nos casos de uso. “Se houver decisões automatizadas baseadas em dados e algoritmos, precisamos garantir que as respostas também vão na direção certa”, destaca. Ou seja, que exista diversidade nos times que estão utilizando a tecnologia, não apenas em cargos técnicos, mas também envolvidos nas questões éticas ou na gestão dos produtos, por exemplo.  

Em última análise, as empresas também devem ter o discernimento de entender o que a máquina pode melhorar e o que é melhor ser feito pelo ser humano. “Em processos sensíveis, gostaria sempre de ter a opção de falar com um humano. Se eu cair nos 5% de erro do algoritmo, não posso explicar para a máquina que ela está errada. Com um humano, você pode. E nos processos democráticos, sempre há espaço para uma segunda opinião”, afirma Danielle. 

Inteligência humana

Os desafios da inteligência artificial são inúmeros e extrapolam o espaço e a capacidade deste texto. E a IA ainda oferece um ‘trade-off’ que compensa sua implementação: ela aumenta potencialmente a escalabilidade a um menor custo. O que a torna muito atrativa para diferentes indústrias e mercados. 

Entretanto, no mundo, enfrentamos uma escassez de profissionais especializados em IA, sobretudo de mulheres. “Vejo isso tanto como desafio quanto oportunidade, porque agora é o momento ideal para iniciar uma carreira nessa área e se educar”, responde Daniela Rittmeier. “É uma chance para entrar no desenvolvimento e trazer sua perspectiva para mudar o status quo e garantir que tenhamos mais mulheres nessa área. Isso representa uma oportunidade de iniciar as discussões certas desde cedo, para garantir que tenhamos desenvolvimentos sustentáveis e inclusivos no futuro”, conclui. 

Imaginar o futuro é um exercício essencial neste cenário. Em alguns anos, talvez não sejamos capazes de distinguir se estaremos falando com um humano ou uma máquina. Por isso, a executiva da Capgemini faz um chamado para que mais pessoas se envolvam nesta discussão. “Talvez juntos possamos direcionar a tecnologia na direção certa, e também dizer ‘não’ para certos desenvolvimentos que deveriam estar nas mãos do ser humano.”