A NASA divulgou um relatório preocupante: a Inteligência Artificial generativa não é confiável. Essa tecnologia, que gera textos, imagens e outros conteúdos, apresenta falhas significativas que podem ter consequências sérias. Vamos explorar o porquê.
A Incerteza da Confiabilidade da IA Generativa
Executivos de várias empresas estão focados na eficiência e flexibilidade da IA generativa. Muitos ignoram a alta frequência de respostas incorretas. Líderes de TI não podem se dar ao luxo de fazer o mesmo.
Não se trata apenas de “alucinações”, onde a IA inventa respostas. O problema é a falta de confiabilidade, causada por quatro fatores principais:
- Alucinações: a IA inventa informações.
- Dados de treinamento ruins: dados insuficientes, desatualizados, tendenciosos ou de baixa qualidade.
- Instruções de consulta ignoradas: frequentemente, uma manifestação de viés nos dados de treinamento.
- Restrições ignoradas: mesmo com altos investimentos, a IA pode não seguir as instruções.
Imagine a reação de um chefe a um funcionário que agisse assim: inventando informações, ignorando instruções e quebrando regras de segurança.
Um Cenário Ironicamente Familiar
Chefe: “Seu trabalho tem sido excelente! Mas você inventou informações em 20 relatórios este mês. Isso é inaceitável!”
Supervisor: “Chefe, ele sempre fará isso. Não consigo garantir que ele pare.”
Chefe: “Ok, mas ele ignorou minhas instruções repetidamente. Podemos fazê-lo parar?”
Supervisor: “Não. É assim que ele trabalha.”
Chefe: “Ele também entrou em áreas restritas. Podemos fazê-lo respeitar as regras?”
Supervisor: “Não. Investimos muito para desistir agora.”
Chefe: “Tudo bem, siga em frente.”
Muitas empresas estão agindo como este chefe. O relatório da NASA destaca a importância desse problema.
O Relatório da NASA e suas Implicações
O relatório da NASA concluiu que a IA generativa não pode ser confiável para pesquisas críticas. A intenção era filtrar sistemas com riscos inaceitáveis. A NASA destaca que a IA “mente”, não pensa. Pensar é justamente o que deveria ser automatizado para melhorar a segurança ou reduzir custos.
O relatório questiona para que a IA generativa realmente serve: “Testar e ver o que acontece” não é uma abordagem segura, segundo a pesquisa. A monitoração constante de sistemas menos críticos é frequentemente menos rigorosa. Onde usar, então, a IA generativa?
A IA pode falhar em “casos extremos”. Um exemplo: um modelo treinado com argumentos de segurança automotiva (ISO 26262) não reconheceria a diferença entre um carro de passeio e um submarino, aplicando raciocínios inadequados.
Considerações para Empresas
As mesmas perguntas lógicas se aplicam a todas as empresas. Se o trabalho crítico impede o uso da IA generativa e a monitoração baixa de trabalhos de baixo risco torna a experimentação inadequada, onde ela *deveria* ser usada?
Analistas sugerem que os CIOs sejam a “voz da razão”, dialogando com a diretoria sobre a tolerância a riscos. Eles devem estar envolvidos desde o início de projetos com IA generativa, ajudando a determinar os riscos e estabelecendo controles de governança de dados. Não se deve confiar cegamente na IA generativa como a fonte única e definitiva da verdade.
Conclusão
O relatório da NASA reforça a necessidade de cautela no uso da IA generativa. A falta de confiabilidade, causada por “alucinações”, dados ruins e falta de aderência às regras, exige uma abordagem cuidadosa. A tomada de decisão deve considerar os riscos e o retorno sobre o investimento, sempre com a supervisão de especialistas.
Compartilhe suas experiências com a IA generativa!
Fonte: Computerworld
