Como saber se um texto foi feito por IA (e por que falha)

Não existe forma fiável de o provar: a própria OpenAI desligou o seu detetor em 2023 por baixa precisão. E um estudo de Stanford mostrou que os detetores classificam como artificiais mais de metade dos textos escritos por falantes não nativos — um enviesamento estrutural, não margem de erro.

A pergunta aparece em todo o lado: como saber se um texto, um trabalho da faculdade, um artigo ou um vídeo foi feito por inteligência artificial. Há dezenas de sites a prometer a resposta com um botão.

A resposta honesta é desconfortável: não há hoje nenhuma forma fiável de o provar — e as ferramentas que dizem fazê-lo erram de uma maneira muito particular. Erram sobretudo contra quem escreve numa língua que não é a sua.

Isso tem um nome e tem estudo publicado. E se você é imigrante, estudante estrangeiro, ou escreve em português sendo de outro país, isto interessa-lhe diretamente.

A primeira pista: a OpenAI desligou o próprio detetor

Em julho de 2023, a OpenAI — a empresa que faz o ChatGPT — anunciou que estava a descontinuar o classificador que tinha lançado para identificar texto gerado por IA. O motivo declarado foi a baixa taxa de acerto.

Pense no que isto significa. A empresa que construiu o modelo, que tem acesso ao funcionamento interno dele e todo o interesse comercial em oferecer uma ferramenta dessas, concluiu que não conseguia detetar de forma fiável o texto produzido pelo seu próprio sistema. E desligou.

Quando um site pequeno lhe promete hoje 99% de precisão, vale a pena lembrar-se deste episódio.

O estudo que devia terminar a discussão

Em 2023, investigadores de Stanford publicaram um trabalho com um título que não deixa dúvidas: «GPT detectors are biased against non-native English writers» — os detetores de GPT são enviesados contra quem não tem o inglês como língua materna. É de Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu e James Zou.

A conclusão central, nas palavras do resumo: os detetores classificam sistematicamente como «gerado por IA» os textos escritos por falantes não nativos, enquanto identificam corretamente os textos de falantes nativos.

Os números que ficaram conhecidos deste trabalho são duros: nos ensaios de exame de proficiência escritos por estudantes não nativos, a taxa média de falsos positivos rondou os 61% — mais de metade acusada sem ter feito nada. E a esmagadora maioria desses ensaios foi assinalada por pelo menos um dos detetores testados.

Não é margem de erro. É um enviesamento estrutural contra um grupo inteiro de pessoas.

Por que é que eles erram assim

A explicação é técnica mas simples de perceber, e explica tudo o resto.

A maioria dos detetores funciona medindo uma coisa chamada perplexidade — grosso modo, quão previsível é o texto. Um texto com vocabulário simples, frases diretas e construções comuns é previsível. E texto gerado por IA também tende a ser previsível. Os detetores concluem, portanto, que texto simples é texto de máquina.

Agora junte as duas pontas: quem escreve numa segunda língua usa, naturalmente, vocabulário mais simples e estruturas mais diretas. Não por falta de ideias — por prudência linguística. É exatamente o perfil que o detetor lê como artificial.

O resultado é perverso: quanto melhor você escreve na sua língua materna, mais «humano» o detetor o considera; quanto mais cuidadoso você é numa língua estrangeira, mais «robô» ele o acha.

O que isto significa para quem vive fora do seu país

Se você é brasileiro a estudar em Portugal, angolano numa universidade europeia, ou qualquer pessoa a escrever num idioma que aprendeu depois, está no grupo que estas ferramentas penalizam por desenho.

E o problema não é hipotético. Universidades usam estas ferramentas para acusar alunos de fraude. Empregadores usam-nas para descartar candidaturas. Plataformas usam-nas para despublicar textos. Em todos esses casos, a pessoa acusada raramente tem forma de se defender — porque a acusação vem de uma percentagem num ecrã, que soa a ciência.

Várias instituições perceberam isto. A Universidade de Vanderbilt, nos Estados Unidos, desativou a deteção de IA da ferramenta que usava, com um raciocínio que vale a pena guardar: mesmo uma taxa de erro de 1%, aplicada a 75 mil trabalhos por ano, dá cerca de 750 acusações injustas anuais. E as taxas reais medidas são muito superiores a 1%.

Então como se sabe, de facto?

Não por uma percentagem. Quem avalia a sério olha para o processo, não para o texto isolado:

• Histórico de versões — um documento escrito ao longo de dias, com correções, frases apagadas e reescritas, tem um rasto. Um texto colado de uma vez não tem;
• Conhecimento específico do autor — quem escreveu consegue explicar as escolhas, defender os argumentos e responder a perguntas sobre o que escreveu;
• Coerência com o resto do trabalho da pessoa — uma mudança abrupta de estilo diz mais do que qualquer ferramenta;
• Erros que só um humano comete — referências mal citadas, opiniões inconsistentes, exemplos pessoais.

Há também sinais frequentes em texto de máquina, embora nenhum seja prova: estrutura repetitiva demais, ausência total de exemplos concretos, factos plausíveis mas falsos — sobretudo datas, números e citações inventadas com toda a confiança. Essa última é a mais útil: verifique um facto verificável do texto. Se a citação não existe, aprendeu mais do que qualquer detetor lhe diria.

Se for acusado injustamente

Acontece, e acontece mais a quem escreve em segunda língua. O que fazer:

1. Peça o relatório completo, não a percentagem. Que ferramenta foi usada, que versão, que trechos foram assinalados;
2. Apresente o histórico de versões do documento. O Google Docs e o Word guardam-no automaticamente, e é a prova mais forte que existe;
3. Cite o estudo de Stanford. Que os detetores são enviesados contra falantes não nativos não é opinião sua — está publicado e é citável;
4. Ofereça-se para explicar o trabalho oralmente. É a verificação que nenhuma ferramenta substitui, e costuma encerrar o assunto;
5. Peça a política escrita da instituição sobre uso de deteção automática. Muitas não têm nenhuma — e isso, por si só, enfraquece a acusação.

Como se proteger antes de ser acusado

Se escreve trabalhos, candidaturas ou textos que podem passar por uma destas ferramentas, há hábitos simples que constroem a sua defesa antes de precisar dela:

• Escreva dentro do documento, não cole de fora. Um texto escrito no Google Docs ou no Word deixa um histórico de versões automático. Um texto colado de uma vez aparece como um único bloco surgido do nada — e é assim que parece, mesmo quando é seu;
• Não apague os rascunhos. As versões intermédias, com frases cortadas e reescritas, são a prova mais convincente que existe;
• Guarde as notas de pesquisa — capturas de ecrã, links, apontamentos à mão fotografados. Mostram o percurso, não só o resultado;
• Inclua alguma coisa que só você poderia escrever: um exemplo da sua experiência, uma referência ao contexto do seu país, uma observação pessoal. É o que nenhum modelo teria produzido e o que mais depressa convence um avaliador humano;
• Se usou IA para ajudar, diga-o. Usar para rever gramática, organizar ideias ou traduzir é legítimo na maioria dos contextos — o que costuma ser proibido é entregar como seu um texto que não escreveu. Declarar o uso protege-o muito mais do que escondê-lo.

O último ponto merece ênfase para quem escreve em segunda língua: usar uma ferramenta para corrigir gramática não é fraude, e nunca foi. Mas é exatamente esse uso legítimo que os detetores mais penalizam — porque o texto corrigido fica mais previsível. Ter o histórico guardado resolve a questão antes de ela começar.

A conclusão em duas linhas

Não existe hoje forma fiável de provar que um texto foi feito por IA. Existe uma indústria a vender essa certeza, e existem pessoas — desproporcionalmente imigrantes e estudantes estrangeiros — a pagar a conta dos erros dela.

Se alguém lhe apresentar uma percentagem como prova, a pergunta certa não é «quanto deu?». É «com que taxa de erro, e medida em quem?».

Perguntas frequentes

Existe alguma forma segura de saber se um texto foi feito por IA?

Não. Não existe hoje nenhum método fiável de o provar. A própria OpenAI descontinuou em julho de 2023 o classificador que tinha lançado para identificar texto gerado por IA, alegando baixa taxa de acerto.

Os detetores de IA são precisos?

Não o suficiente para servirem de prova. Além de falsos negativos, produzem falsos positivos em taxas elevadas — e concentrados num grupo específico: quem escreve numa língua que não é a sua.

Por que os detetores acusam mais quem não é falante nativo?

Porque medem previsibilidade do texto, através de uma métrica chamada perplexidade. Quem escreve numa segunda língua usa naturalmente vocabulário mais simples e construções mais diretas, que o detetor lê como padrão de máquina. O estudo de Stanford de 2023 documentou este enviesamento.

Qual é o estudo que mostra esse enviesamento?

«GPT detectors are biased against non-native English writers», de Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu e James Zou, de 2023. Nos ensaios de exame de proficiência escritos por não nativos, a taxa média de falsos positivos rondou os 61%, e quase todos foram assinalados por pelo menos um dos detetores testados.

As universidades usam esses detetores?

Algumas usam, outras desativaram-nos. A Universidade de Vanderbilt desativou a deteção de IA da ferramenta que usava, com o argumento de que mesmo 1% de erro em 75 mil trabalhos anuais produziria cerca de 750 acusações injustas por ano — e as taxas reais medidas são bem superiores a 1%.

O que fazer se for acusado injustamente de usar IA?

Peça o relatório completo e não apenas a percentagem; apresente o histórico de versões do documento, que o Google Docs e o Word guardam automaticamente; cite o estudo de Stanford sobre o enviesamento; ofereça-se para explicar o trabalho oralmente; e peça a política escrita da instituição sobre deteção automática.

Há sinais de que um texto foi escrito por máquina?

Há indícios, nenhum deles prova: estrutura muito repetitiva, ausência de exemplos concretos, e sobretudo factos plausíveis mas falsos — datas, números e citações inventadas com aparente confiança. Verificar um facto citável do texto costuma ser mais revelador do que qualquer ferramenta.

E para vídeos e áudios, dá para detetar?

Os mesmos limites aplicam-se, e por vezes de forma ainda mais acentuada. Nenhuma ferramenta disponível ao público oferece garantia, e o critério útil continua a ser o mesmo: verificar a origem e o contexto, em vez de confiar numa percentagem.

Leia também

• A IA vai dominar o mundo? A resposta com números, não com opiniões
• As profissões que acabam até 2030 — e as que a IA não consegue tocar
• Os donos da IA assinaram que ela pode acabar com a humanidade. Mas recusaram parar seis meses
• IA para quem não é técnico: 6 tarefas que você já consegue automatizar hoje