O benchmark SuperGLUE tem uma série de dez tarefas, que incluem itens como resposta a perguntas, uso de contexto, premissa e outros componentes de linguagem para testar IA. A Microsoft usa o exemplo de uma tarefa com o seguinte:
Dada a premissa “a criança ficou imune à doença” e a pergunta “qual é a causa disso?”, O modelo é solicitado a escolher uma resposta entre dois candidatos plausíveis: 1) “evitou exposição à doença” e 2) “Ele recebeu a vacina para a doença”.
Para completar a tarefa, deve-se conhecer a relação entre a premissa e as opções. Isso é incrivelmente simples para um ser humano, pois temos todo o conhecimento de base de que precisamos, mas uma IA pode lutar contra isso. Para lidar melhor com tarefas como essa, a Microsoft atualizou sua IA para uma versão maior, com 48 camadas de transformador e 1,5 bilhão de parâmetros. Resumindo, o modelo deBERTa de IA agora tem mais desempenho do que nunca, com 90,3 pontos, o que o coloca no topo da tabela de classificação. Para referência, a linha de base humana teve uma pontuação de 89,8 em terceiro lugar.
Leia também: Como Atualizar Whatsapp GB 2021?
No geral, o que isso significa para o futuro da IA e sua implementação em nossas vidas diárias? Bem, a Microsoft busca “oferecer suporte a produtos como Bing, Office, Dynamics e Azure Cognitive Services, alimentando uma ampla gama de cenários envolvendo interações homem-máquina e humano-humano por meio de linguagem natural (como chatbot, recomendação, resposta a perguntas, pesquisa, assistência pessoal, automação de suporte ao cliente, geração de conteúdo e outros). ” A empresa baseada em Redmond também lançará o código-fonte do modelo DeBERTa ao público para qualquer uso que as pessoas possam pensar. Em última análise, este é um grande salto em frente e “marca um marco importante em direção à IA geral”.