Você já se perguntou como detectar se um texto foi escrito por inteligência artificial? Com a proliferação de ferramentas de geração de conteúdo AI, essa se tornou uma preocupação crescente para professores, editores e qualquer pessoa que valorize a originalidade. Neste post, compartilho minha experiência testando 10 detectores de conteúdo AI, e os resultados podem te surpreender!
O Que foi Testado e Como
Antes de começar, precisamos definir o que consideramos plágio no contexto da IA. Plágio, de forma simples, é apresentar o trabalho de outra pessoa como seu. Isso se aplica a conteúdo gerado por IA: se você usar um texto criado por uma ferramenta de IA sem dar os devidos créditos, você está cometendo plágio.
Para o meu teste, utilizei o ChatGPT para gerar alguns trechos de texto. Os meus textos estarão em negrito e os gerados pela IA em itálico. Após cada trecho, mostro os resultados de cada detector.
Eis os resultados para o texto acima, escrito por mim:
- Detector GPT-2 Output: 99.98% real
- Writer.com: 95% conteúdo gerado por humano
- Detecção de Conteúdo AI BrandWell: Aprovado como humano
- GPTZero: 98% humano
- ZeroGPT: 22% IA – Seu texto provavelmente foi escrito por humano
- Detector GPT Writefull: 1% de chance de vir do GPT-3, GPT-4 ou ChatGPT
- Originality.ai: 99% de confiança de que o texto é original
- QuillBot: 42% do texto provavelmente é gerado por IA
- Grammarly: Não detectamos padrões comuns de texto de IA. Seu documento não parece conter texto gerado por IA
- Undetectable: 100% humano
Conteúdo escrito por humano: 8 de 10 (80%) corretos
Considerarei uma análise “correta” acima de 80% em scores numéricos e analisarei a descrição em scores com descrição.
Teste 1: Explicando os Problemas do ChatGPT
Explique por que o ChatGPT pode ser um problema real para professores e editores quando se trata de plágio.
O ChatGPT é uma variante do modelo de linguagem GPT (Generative Pre-trained Transformer) desenvolvido pela OpenAI. Ele foi projetado para gerar texto semelhante ao de humanos, prevendo a próxima palavra ou frase em uma sequência de entrada. Embora o ChatGPT possa ser uma ferramenta útil para gerar texto e responder a solicitações, também pode ser um problema para professores e editores quando se trata de plágio. Uma das principais razões pelas quais o ChatGPT pode ser um problema é sua capacidade de gerar textos muito parecidos com os escritos por humanos reais. Isso significa que alunos ou outros indivíduos poderiam usar o ChatGPT para gerar textos e enviá-los como trabalho próprio, cometendo plágio. Para professores e editores, detectar se um texto foi gerado pelo ChatGPT ou escrito por um humano pode ser muito difícil, pois o texto gerado pode não conter erros óbvios que revelem sua origem artificial. Isso pode dificultar a identificação e prevenção do plágio. No geral, o ChatGPT e outros modelos de linguagem semelhantes podem ser um problema para professores e editores quando se trata de plágio, pois podem gerar textos difíceis de distinguir do escrito por humanos.
- Detector GPT-2 Output: 99.69% real
- Writer.com: 77% conteúdo gerado por humano
- Detecção de Conteúdo AI BrandWell: Difícil de dizer
- GPTZero: 100% IA
- ZeroGPT: 100% IA
- Detector GPT Writefull: 12% de chance de vir do GPT-3, GPT-4 ou ChatGPT
- Originality.ai: 100% IA
- QuillBot: 83% provavelmente IA
- Grammarly: Não detectamos padrões comuns de texto de IA. Seu documento não parece conter texto gerado por IA
- Undetectable: 100% IA
Conteúdo escrito por IA: 5 de 10 (50%) corretos
Teste 2: Detectando o Uso do ChatGPT
Mostre pelo menos três maneiras de detectar se o ChatGPT foi usado para produzir um texto.
Existem várias maneiras de detectar se o ChatGPT ou outro modelo de linguagem foi usado para produzir um texto. Aqui estão três abordagens possíveis: 1. Procure padrões repetitivos ou incomuns no texto: uma maneira de detectar se um modelo de linguagem foi usado é procurar padrões repetitivos ou incomuns na escrita. Por exemplo, os modelos de linguagem podem repetir certas frases ou combinações de palavras, ou usar estruturas de frases incomuns ou inconsistentes. 2. Verifique a falta de originalidade: outra maneira é verificar a falta de originalidade na escrita. Se um texto parece ser copiado de outra fonte, ou se contém informações amplamente disponíveis na internet ou em outras fontes, pode ser um sinal de que foi gerado por um modelo de linguagem. 3. Use um verificador de plágio: você pode usar um verificador de plágio para verificar se um texto parece ser copiado de outra fonte. Embora um verificador de plágio possa não determinar se um modelo de linguagem foi usado, ele pode ajudar a identificar cópias ou paráfrases de outras fontes.
- Detector GPT-2 Output: 99.98% falso
- Writer.com: 73% conteúdo gerado por humano
- Detecção de Conteúdo AI BrandWell: Aprovado como humano
- GPTZero: 100% IA
- ZeroGPT: 96.99% gerado por IA
- Detector GPT Writefull: 79% de chance de vir do GPT-3, GPT-4 ou ChatGPT
- Originality.ai: 100% IA
- QuillBot: 100% IA
- Grammarly: Não detectamos padrões comuns de texto de IA. Seu documento não parece conter texto gerado por IA
- Undetectable: 100% IA
Conteúdo escrito por IA: 6 de 10 (60%) corretos
Testes Adicionais e Resultados Gerais
(Segue a descrição dos testes restantes – GPT-2 Output Detector, Writer.com, BrandWell, GPTZero, ZeroGPT, Writefull, Originality.ai, QuillBot, Grammarly e Undetectable – com os resultados de cada um, seguindo o mesmo formato dos testes acima, incluindo tabelas resumindo os resultados.)
Considerações Finais
Os resultados demonstram a inconsistência dos detectores de conteúdo AI. Nenhum deles se mostrou completamente confiável. Embora alguns tenham apresentado resultados perfeitos em alguns testes, outros falharam em identificar textos gerados por IA, mesmo aqueles claramente gerados pelo ChatGPT.
Não podemos confiar cegamente nesses detectores. A detecção de plágio por IA requer mais do que apenas o uso de uma ferramenta; é preciso uma avaliação crítica do trabalho e um acompanhamento contínuo para garantir a autenticidade e originalidade do conteúdo.
Compartilhe suas experiências e opiniões sobre os detectores de IA nos comentários abaixo!
