A amarga verdade da IA: ela não é neutra e pode falhar com seus vieses

Este artigo foi escrito por Safa Ghnaim em colaboração com o Goethe-Institut Brazil e publicado originalmente em DataDetoxKit.org. Uma versão editada é republicada pela Global Voices sob um acordo de parceria. 

Embora possa parecer uma “tecnologia neutra”, a inteligência artificial (IA) também tem seus vieses – não é a ferramenta objetiva que as pessoas pensam que é. A IA é concebida por pessoas e treinada com base em conjuntos de dados. Assim como você, as pessoas que a constroem têm determinadas crenças, opiniões e experiências que influenciam as suas escolhas, quer elas percebam ou não. Os engenheiros e as empresas que constroem e treinam a IA podem pensar que determinadas informações ou objetivos são mais importantes do que outros. Dependendo dos conjuntos de dados que “alimentam” as ferramentas de IA que constroem – como algoritmos ou chatbots – essas máquinas podem apresentar resultados tendenciosos. É por isso que a IA pode produzir dados incorretos, gerar falsas suposições ou tomar as mesmas más decisões que uma pessoa.

IA não é mágica: máquinas programadas por pessoas têm suas falhas

Algumas pessoas falam sobre IA como se fosse mágica, mas “inteligência artificial” é apenas uma máquina. Simplificando, ferramentas de IA são programas de computador que foram alimentados com muitos dados para ajudá-los a fazer previsões. “IA” se refere a uma variedade de ferramentas projetadas para reconhecer padrões, resolver problemas e tomar decisões em uma velocidade e escala muito maiores do que os humanos.

Mas, como qualquer ferramenta, a IA é projetada e programada por humanos. As pessoas que criam essas máquinas dão a elas regras a serem seguidas: “Faça isso; mas não faça aquilo.” Saber que as ferramentas de IA são sistemas automatizados com suas próprias limitações influenciadas por humanos pode lhe dar mais confiança para falar sobre as capacidades e desvantagens da IA.

Quando as pessoas falam sobre IA, elas podem estar falando sobre muitas coisas. Confira alguns exemplos de ferramentas de IA que são populares e suas falhas:

Geradores de texto criam conteúdo com base em certas palavras-chave (ou “prompts”) que você define. Elas são treinadas em grandes quantidades de texto da internet, com diferentes níveis de qualidade. Você já deve ter ouvido falar delas como “grandes modelos de linguagem” (LLMs) ou por aplicativos como ChatGPT, ou até mesmo termos mais casuais como “chatbots” ou “assistentes de IA”. Embora essas ferramentas sejam conhecidas por apresentarem uma inteligência semelhante à humana, como tirar notas altas em provas , elas também são conhecidas por “alucinar”, o que significa que também geram textos imprecisos.

Geradores de imagens criam fotos ou vídeos com base em determinadas palavras-chave que você define. Você já deve ter ouvido falar deles como geradores de imagens ou pelos nomes de produtos específicos, como DALL-E ou Stable Diffusion. Essas ferramentas podem produzir imagens e vídeos incrivelmente verossímeis, mas também são conhecidas por reduzir o mundo a estereótipos e podem ser usadas para ‘sextorsão’ (sextortion) e assédio .

Sistemas de recomendação mostram a você o conteúdo que eles “preveem” que você tem mais probabilidade de clicar ou interagir. Esses sistemas trabalham em segundo plano em mecanismos de busca, feeds de mídia social e na reprodução automática no YouTube. Você já deve ter ouvido falar deles como algoritmos. Essas ferramentas podem lhe dar mais do que você já está interessado e também podem empurrá-lo para certas ciladas. Os sistemas de recomendação são usados ​​em decisões importantes como contratação de emprego, admissão em universidades, empréstimos imobiliários e outras áreas da vida cotidiana.

Enquanto alguns especialistas acreditam que ferramentas de IA, como chatbots, estão ficando “mais inteligentes” por conta própria, outros dizem que elas estão cheias de erros. Aqui estão algumas razões pelas quais você pode querer pensar sobre sobre os vieses de aprendizado de máquina por trás da IA:

• Alguns dos dados nos quais eles são treinados podem ser pessoais, protegidos por direitos autorais ou usados ​​sem permissão.
• Dependendo dos conjuntos de dados, eles podem estar repletos de discurso de ódio, teorias da conspiração ou informações simplesmente erradas .
• Os dados podem ser tendenciosos em relação a determinadas pessoas, gêneros, culturas, religiões, empregos ou circunstâncias.

As ferramentas de IA também são treinadas com base em dados que deixam coisas de fora. Se houver pouca ou nenhuma informação sobre um grupo de pessoas, idioma ou cultura nos dados de treinamento, ela não será capaz de gerar nenhuma resposta sobre eles. Um estudo importante de 2018 por Joy Buolamwini chamado Gender Shades (algo como ”matizes de gênero”) identificou como os sistemas de reconhecimento facial disseminados tinham dificuldade para identificar rostos de pessoas de cor, especialmente mulheres negras. Na época do estudo, essas ferramentas falhas já eram usadas rotineiramente pela polícia nos Estados Unidos .

Chamar a atenção para os preconceitos para evitar reproduzi-los

Agora que você já conhece alguns dos pontos fracos que podem existir nos conjuntos de dados da IA, criados por pessoas como a gente, vamos dar uma olhada em nós mesmos. Como o funcionamentos do cérebro humano pode esclarecer os vieses da IA?

Há tipos de vieses profundamente enraizados nos indivíduos, nas organizações, culturas e sociedades. Pense sobre a questão ao refletir sobre estas perguntas:

• Como você espera que os outros se apresentem, incluindo a forma como se comportam, se vestem e falam?
• Há algum grupo sujeito a mais riscos, punições ou estigmatização por causa de sua aparência ou à forma como se comporta, se veste ou fala?

Os vieses sobre os quais você acabou de refletir geralmente se baseiam em suposições, atitudes e estereótipos, que há muito tempo fazem parte das culturas e podem influenciar inconscientemente sua tomada de decisões. Essa é a razão pela qual eles são chamados de ”vieses implícitos” – geralmente, estão programados no seu pensamento, são difíceis de identificar e desconfortáveis de confrontar.

Vieses implícitos comuns incluem:

• Viés de gênero: a tendência para tirar conclusões precipitadas sobre pessoas de gêneros diferentes com base em preconceitos ou estereótipos.
• Viés racial e/ou étnico: a tendência de tirar conclusões precipitadas sobre pessoas com base na cor da pele, origem cultural e/ou aspectos étnicos.

Harvard tem uma enorme biblioteca de testes de vieses implícitos que você pode testar gratuitamente online para ver como se sai e em quais áreas pode trabalhar. Com muitos vieses implícitos, pode parecer uma jornada até mesmo identificar essas crenças. É pouco provável que isso seja possível da noite para o dia, mas porque não começar agora?

Tudo é ampl(ia)do

Agora que já viu exemplos comuns destes padrões de pensamento e vieses implícitos, imagine como pareceriam numa escala muito maior. Padrões de pensamento e preconceitos implícitos como esses podem afetar não só indivíduos, mas grupos inteiros de pessoas, especialmente quando são “codificados” em sistemas de computador.

Usando o Perchance.org , software gratuito de geração de texto para imagem, a palavra-chave “mulher bonita” mostra os seguintes resultados:

Se a ferramenta criou seis imagens de “mulheres bonitas”, por que todas elas parecem quase idênticas?

Experimente você mesmo — os resultados são diferentes?

Estudos mais abrangentes foram conduzidos sobre esse tema, todos com resultados semelhantes. Você pode ler sobre um deles e ver infográficos aqui: “Humanos são tendenciosos. A IA generativa é ainda pior.”

Ferramentas de IA não são neutras ou imparciais. Elas são criadas e de propriedade de pessoas com suas próprias motivações. Mesmo ferramentas de IA que incluem “aberto” em seu nome podem não ser necessariamente transparentes sobre como operam e podem ter sido programadas com com vieses embutidos.

Você pode fazer perguntas críticas sobre como os modelos de IA são criados e treinados para ter uma ideia de como a IA faz parte de um sistema mais abrangente:

• Quem são os donos das empresas que criam modelos de IA?
• Como essas empresas lucram?
• Quais são os sistemas de poder criados ou mantidos pelas essas empresas?
• Quem mais se beneficia das ferramentas de IA?
• Quem corre mais risco de sofrer danos causados ​​por esses sistemas de IA?

As respostas para essas perguntas podem ser difíceis ou impossíveis de encontrar. Isso, por si só, é significativo.

Como a tecnologia é construída por pessoas e informada por dados (que também são coletados e rotulados por pessoas), podemos pensar na tecnologia como um espelho das questões que já existem na sociedade. E podemos contar com o fato de que as ferramentas baseadas em IA reforçam os desequilíbrios de poder e sistematizam e perpetuam vieses, mas mais rapidamente que nunca.