IAgen sem alucinação
segurança no processo judicial
Palavras-chave:
Inteligência artificial generativa, confabulação, entropia probabilística, entropia semântica, metacogniçãoResumo
Review do trabalho de pesquisadores de Oxford, publicado na revista Nature, sobre o fenômeno das alucinações da IA do machine learning, notadamente da IAgen. Os pesquisadores detectaram a razão de 80% das alucinações (quadro entrópico probabilístico prévio à ocorrência), denominaram esse subconjunto de confabulações e definiram a otimização heurística e procedimental a ser feita no algoritmo (inclusão de uma função de clusterização com base em implicação bidirecional) para detectar se a entropia é ou não semântica, o que permite prevenir e evitar o problema. Além disso, metodologicamente, explicitaram outras razões dos problemas, de que não se ocuparam, mas que são relevantes para fins jurídicos, que não dependem do algoritmo, em si, mas do manejo das bases de dados de treinamento e da gestão da supervisão de treinamento.
Referências
FARQUHAR, S., KOSSEN, J., KUHN, L. et al. Detecting hallucinations in large language models using semantic entropy. Nature 630, 625–630 (2024). Disponível em: <https://doi.org/10.1038/s41586-024-07421-0>. Acesso em: 10 ago. 2025.
