Imagine que você esteja visitando amigos que moram há anos numa praia onde você nunca esteve. Na beira d’água há bandeiras vermelhas, indicando perigo para os banhistas. Mas seus amigos insistem que não há risco. O que você faz? Confia neles, que já conhecem aquela praia, ou acata a autoridade responsável pela segurança no mar?
Atualmente, a ciência mundial tem enfrentado um desafio ético semelhante, que está alterando as dinâmicas de autoridade intelectual na produção de conhecimento. Os acadêmicos estão mergulhando cada vez mais fundo no mar de águas perigosas da Inteligência Artificial (IA).
As novas tecnologias de Inteligência Artificial baseadas em grandes modelos de linguagem – chamadas de “nova IA” – estão transformando as pesquisas acadêmicas. Embora algumas instituições já estejam criando regras para o uso de IA nas pesquisas, elas estão mais focadas em questões como proteção de dados, autoria, manipulações intencionais, ou até fabricação de resultados. No entanto, essas ferramentas também podem ser empregadas em diversas outras fases da produção científica, que a princípio podem parecer menos problemáticas, ou nem tanto: vão desde a revisão bibliográfica até a tradução de artigos, influenciando também a escolha de metodologias e a análise de dados.
Ainda não temos o distanciamento histórico necessário para avaliar, com clareza, todas as implicações desse cenário. Porém, o problema dessa nova interferência na forma de se produzir conhecimento não se restringe apenas em facilitar a má conduta intencional. Trata-se de uma questão ética inerente à forma inexplicável como a nova IA funciona.
Evolução da IA: melhor performance, menor confiabilidade
Na década de 1980, diferentes abordagens de IA já buscavam avanços em áreas como interfaces inteligentes, explicação automatizada, sumarização e tradução de textos. Uma das mais influentes foi a dos antigos sistemas especialistas, que eram alimentados com informações obtidas junto a especialistas humanos. Esse tipo de IA das antigas manipulava e representava as informações operando a partir de instruções explicitamente programadas – tais como as da prova automática de teoremas, execução de regras de produção, ou inferências derivadas de redes semânticas.
Isso permitia explicar para os usuários, de formas muito sofisticadas, de que maneira as conclusões dos sistemas especialistas eram geradas. Inclusive, eles eram acoplados a sistemas de explicação, que além de dialogar na língua dos usuários, também usavam recursos como imagens, gráficos, animações e hipertexto – que humanos poderiam interpretar –, para fornecer instruções explícitas sobre como eram feitas as inferências e gerados os resultados.
Porém, algumas limitações técnicas, como a baixa capacidade de processamento dos computadores da época e a dificuldade de converter o conhecimento de especialistas humanos em regras programáveis, resultaram em um período de estagnação no progresso da inteligência artificial, conhecido como o “inverno da IA”.
Em contraste, hoje as representações geradas pela nova IA são notoriamente gigantescas e ininteligíveis para os seres humanos, o que é popularmente chamado de “caixa-preta da IA”. Isso acontece justamente pelo mecanismo que faz ela ter um desempenho surpreendente em tantas tarefas. Nela, os resultados emergem a partir de vários cálculos em camadas, interligados de uma forma que simula conexões entre neurônios. Esses dados numéricos são criados por associações implícitas, no que chamamos de “representações sub-simbólicas”.
Por exemplo, em um modelo de IA que reconhece rostos, um modelo simbólico o descreveria com regras explícitas, como: “um rosto tem dois olhos, um nariz e uma boca”. Já o modelo sub-simbólico aprende padrões diretamente a partir das imagens, reajustando o peso entre as conexões a cada imagem adicionada ao sistema, sem regras pré-definidas. E o treinamento dessa rede com grandes volumes de dados permite capturar relações complexas nos dados, usando como base informações que não são traduzíveis em palavras ou regras lógicas estruturadas.
Portanto, como esse processo não é diretamente acessível nos mesmos termos de uma justificativa fornecida por um especialista humano, surgem questões sobre a confiabilidade e a transparência do conhecimento gerado por essas ferramentas. No meio acadêmico, essas questões geram desafios epistemológicos importantes. Afinal, nós, pesquisadores e professores, somos trabalhadores do conhecimento. E a nova IA nos colocou diante da possibilidade de trabalhar com conhecimento gerado artificialmente por software. Ao utilizarmos essas ferramentas, até que ponto podemos confiar em suas respostas sem compreendermos totalmente seus mecanismos internos?
Que crédito damos às nossas fontes de informação e conhecimento?
A filósofa Linda Zagzebski propõe o conceito de autoridade epistêmica para descrever uma relação que vai além da simples confiança em fontes de conhecimento. Envolve uma hierarquia, na qual reconhecemos a superioridade de alguém em um determinado assunto, admitindo nossa própria lacuna de conhecimento. Segundo a autora, concedemos autoridade epistêmica a quem nos dá razões para acreditar no que diz, nos levando a adotar esse conhecimento como nosso. Neste ato, reconhecemos o poder intelectual do outro sobre nós, tornando evidente que se trata de um conceito relacional, onde nós estamos tão implicados quanto a outra parte.
No entanto, essa relação tem se tornado mais complexa. De um lado, a contestação da autoridade epistêmica de cientistas e especialistas vem crescendo, impulsionada pela disseminação de desinformação e pelo fortalecimento do negacionismo em diferentes áreas. Os filósofos Mirko Farina e Andrea Lavazza discutem, além deste, fenômenos como o crescimento do “opinionismo” — a crença de que qualquer opinião, independentemente de embasamento, deve ter o mesmo peso que um conhecimento cientificamente validado. Acredito que a profusão de influenciadores digitais também sugere uma corrosão em nossa capacidade de julgar o conhecimento humano.
Simultaneamente, a sociedade parece estar concedendo crescente autoridade epistêmica a inteligências artificiais sem questionar de maneira tão rigorosa sua validade. Isso é mais um sinal da transformação na maneira como legitimamos o conhecimento, deslocando para sistemas automatizados parte da confiança antes depositada em humanos. Essa mudança pode ter implicações profundas para a educação, a pesquisa e a forma como a sociedade em geral acessa e valida informações.
Ao longo de minha trajetória de mais de três décadas como pesquisadora e professora de Interação Humano-Computador no Departamento de Informática da PUC-Rio, busquei levar estudantes a uma observação crítica sobre a tecnologia. Ao trabalhar com teoria e prática na interação entre pessoas e tecnologias, sempre busquei deixar claro que tecnologias não têm geração espontânea: são frutos de crenças, intenções, interesses, condições e talentos de seres humanos, sejam engenheiros, programadores ou corporações. O mesmo se aplica à nova IA. É importante compreender que o conhecimento gerado por essas ferramentas não é neutro.
Desafio ético de autoconsciência
Diante desse cenário, pesquisadores e educadores têm a responsabilidade de encabeçar a construção de uma relação crítica com a nova IA. Precisamos de um programa de boa forma epistêmica (uma espécie de ‘epistemic fitness’), que consiste em nos perguntar e responder: Concedo alguma autoridade epistêmica à versão do ChatGPT ou DeepSeek que hoje uso para produzir conhecimento ou ensinar? Por que e com base em quais critérios?
Já para os desenvolvedores que criam novos modelos da nova IA (categoria da qual também faço parte), uma pergunta importante seria: O que credencia o meu software como uma autoridade epistêmica? Esse tipo de ponderação já deu início a um novo e importante esforço na ciência da computação pelo desenvolvimento da IA neuro-simbólica. Trata-se de um modelo híbrido entre o antigo, mais simbólico e explicável, e o novo, que opera com maior volume de dados. Acredito que esta poderá tornar a “nova IA” mais explicável no futuro.
Por fim, remetendo ao cenário de abertura do artigo: o que orienta nossa decisão sobre mergulhar ou não no mar, ou na IA inexplicável para gerar conhecimento científico? A autoridade epistêmica dos guarda-vidas e de cientistas da computação, que afirmam se tratar de zonas não seguras? Ou a confiança em nossos amigos e colaboradores entusiastas da IA, que dizem não haver perigo?
Essas reflexões não dizem respeito apenas às implicações éticas das grandes empresas de tecnologia, mas também à conduta moral e individual de quem é comprometido com a qualidade e a legitimidade na busca do conhecimento ou, como muitos preferem, da verdade. É incômodo, mas pode ser libertador. São perguntas sobre nós mesmos e não sobre os heróis ou vilões da tecnologia. Sobre eles, há muitas respostas prontas nas redes e na mídia. Mas, sobre nós, é preciso parar e pensar. Muito.
