← Todas as notícias

Baidu abre os pesos do ERNIE 5.5 Flash Base: MoE de 280B, contexto estendido a 1M e três pontos a medir antes de integrar

Segundo o Machine Heart, em 5 de novembro de 2026, a Baidu lançou e abriu os pesos do modelo base pré-treinado ERNIE 5.5 Flash Base: MoE esparso, 280B de parâmetros totais e 14B ativados por token, pré-treinado em 33.5T tokens, contexto de treino de 128K, estendido a 1M no ajuste fino e na inferência, com pesos em FP8 e BF16 e receitas para vLLM e SGLang.

Publicado Atualizado

O que mudou

Em 5 de novembro de 2026, o Machine Heart noticiou que a Baidu lançou a nova geração de modelo base ERNIE 5.5 Flash Base e abriu seus pesos. As especificações do relato são: MoE esparso, 280B de parâmetros totais, 14B ativados por token, pré-treinado do zero em 33.5T tokens, contexto de treino de até 128K, estendido a 1M tokens nas etapas de ajuste fino e inferência; Transformer de 43 camadas, hidden size de 4096, 64 cabeças de atenção, com todas as camadas, exceto a primeira, usando blocos MoE no feed-forward. Os pesos estão no Hugging Face em duas versões, FP8 e BF16, e as comunidades de vLLM e SGLang disponibilizaram cookbooks correspondentes. O relato destaca três mudanças de arquitetura. A atenção combina MLA e HCA: das 43 camadas, apenas 6 são MLA, que preservam acesso de contexto completo em nível de token, e as outras 37 são HCA, atenção fortemente comprimida, que condensa cada 128 tokens em uma entrada de cache; as camadas MLA introduzem ainda a atenção esparsa DSA, com um indexer leve escolhendo, para cada query, as top-k posições históricas de maior pontuação, e o relato afirma que sua loss de pré-treinamento fica em linha com a da atenção densa. As camadas MoE usam Multi-Router: vários roteadores sigmoid inicializados de forma independente pontuam ao mesmo tempo, com 512 experts roteados por bloco e seleção de 10 mais 1 expert compartilhado a cada vez, e os tokens são projetados em um espaço latente de 2048 dimensões para o cálculo e depois mapeados de volta. No objetivo de treino, o ECHO deixa de acoplar um módulo MTP externo e faz a última camada do backbone assumir também a previsão de tokens futuros, atuando na inferência como draft embutido para decodificação especulativa. Há ainda outras mudanças: resíduos mHC, cabeça de saída MultiMax, vocabulário BPE de cerca de 200K (números separados em grupos de três), entre outras; o operador FlashMask-4 para head dim grande já está aberto no repositório do PaddlePaddle. O relato afirma que, na comparação oficial, o ERNIE 5.5 Flash Base lidera de modo geral em benchmarks de conhecimento, raciocínio, matemática, código, multilíngue e contexto longo frente a DeepSeek-V4-Flash Base, Hy3-preview-Base e MiMo-V2.5-Base; na comparação item a item com o DeepSeek-V4-Flash-Base (284B de parâmetros, 13B ativados), a maior diferença aparece em código, com HumanEval+ de 82.3 contra 69.5, LiveCodeBench de 40.1 contra 31.9 e FullStackBench de 54.6 contra 43.3, ao mesmo tempo em que fica um pouco atrás em algumas poucas avaliações, como o ChineseSimpleQA. O relato diz ainda que a versão final do ERNIE 5.5 Flash deve sair em breve.

Impacto para desenvolvedores

Esta é uma abertura de pesos, não o lançamento de um serviço pronto para chamar. O relato não traz informações sobre API no ar, preço de hospedagem ou termos comerciais, nem indica o tipo de licença; pesos abertos e licença de código aberto são coisas distintas, e se o uso comercial e a redistribuição são permitidos depende do texto da licença no model card ou no repositório. Publicar os pesos transfere a direção seguinte para quem usa: trata-se de um modelo Base e, segundo o relato, ele já tem capacidade geral completa, mas para virar um produto conversacional ou de agentes é preciso acoplar ajuste fino por instruções, aprendizado por reforço ou adaptação de domínio. Para integração e implantação, o efeito mais prático está em dois pontos. O primeiro é a estrutura de custo. A HCA comprime o KV da maioria das camadas em uma entrada a cada 128 tokens, e só 6 camadas MLA mantêm acesso token a token; a intenção de projeto descrita é reduzir o custo de pre-fill e a ocupação de KV cache em contexto longo. Estimar memória e concorrência com a experiência de atenção densa provavelmente leva a erro, mas o desempenho real da atenção comprimida em recuperação de granularidade fina também precisa ser verificado nas suas próprias tarefas, e não se deduz diretamente de um bom resultado geral em benchmarks de contexto longo. O segundo é o caminho de inferência. O ECHO faz a última camada do backbone atuar como draft e, segundo o relato, quase não adiciona parâmetros e tem taxa de aceitação superior à do MTP externo, mas se essa aceleração é ativada na stack de inferência usada e como é configurada depende da implementação das receitas de vLLM/SGLang, e não entra em vigor automaticamente pelo modelo. Os 280B de parâmetros totais também significam que, mesmo ativando apenas 14B por token, os pesos em si ainda exigem memória de várias GPUs; em uma estimativa grosseira de cerca de um byte por parâmetro em FP8, só os pesos ficam na casa das centenas de GB, uma conta a fazer antes de implantar. No plano competitivo, o relato posiciona o ERNIE 5.5 Flash Base na faixa Flash, citando como rivais dessa faixa DeepSeek-V4-Flash Base, Hy3-preview-Base e MiMo-V2.5-Base. Para desenvolvedores, ter mais uma base disponível é positivo, mas todos os benchmarks do relato são declarados pela própria empresa, e a versão específica dos modelos comparados não pôde ser confirmada nesta checagem; seu valor de referência está na direção, não nos números absolutos.

Integração e avaliação

As sugestões a seguir são condicionais e inferências, não fatos do relato. Decisão um: começar pelos pesos FP8 ou BF16. O fato correspondente do relato é que a Baidu publicou as duas versões, FP8 e BF16. Se o objetivo é servir diretamente ao público e as GPUs de destino têm bom suporte a FP8, pode-se começar pelo FP8 para reduzir memória e ganhar vazão; se você ainda vai continuar o pré-treinamento, fazer ajuste fino mais pesado, ou o hardware tem suporte limitado a FP8, comece pelo BF16. O ponto de bifurcação é se o uso é só inferência ou também treino. Critério testável: escolha um conjunto representativo de entradas próprias, rode a mesma bateria de avaliação nas duas versões e registre a consistência das métricas de tarefa, o pico de memória, a latência do primeiro token e a vazão; quantifique a perda de qualidade antes de decidir, em vez de presumir que o FP8 é isento de perdas. Decisão dois: contexto de 1M é atrativo ou armadilha. O fato correspondente do relato é contexto de treino de 128K, estendido a 1M no ajuste fino e na inferência. Se a sua carga é perguntas e respostas sobre documentos longos, código em escala de repositório ou contexto de agentes de longa duração, vale fazer um teste em degraus de comprimento antes de definir o limite; se é só conversa curta ou tarefa de um turno, planejar o contexto dentro de 128K é mais seguro. O ponto de bifurcação é se você realmente precisa colocar em uma única requisição muito mais do que 128K. Critério testável: rode um conjunto próprio de recuperação ou de perguntas e respostas em degraus como 32K, 128K, 256K e 1M, registrando acurácia, latência do primeiro token e memória de KV conforme o comprimento varia, e encontre o ponto em que a acurácia cai de forma clara antes de fixar o limite. Decisão três: treinar agora sobre o Base ou esperar a versão final. O relato diz que a versão final deve sair em breve, sem data nem especificações, então a escolha é, na prática, entre usar os dados e o pipeline de treino que você já tem e esperar um modelo Chat/Agent pronto para uso. A condição é ter ou não dados de domínio em escala e experiência em pós-treinamento; sem isso, o custo de treinar sobre o Base pode superar o ganho. Critério testável: faça um teste em pequena escala com os dados de SFT existentes, compare com o modelo em produção em um conjunto de validação do domínio e veja se o ganho cobre de forma estável o custo de substituição e operação. Para acompanhar, vale observar três pontos: o texto da licença no model card, os itens de configuração efetivos de contexto longo e decodificação especulativa nas receitas de vLLM/SGLang, e se a versão final virá com o mesmo critério de avaliação do Base.

Limites e pontos a confirmar

As informações deste texto vêm basicamente da própria empresa: a descrição da arquitetura, o desenho de roteamento e atenção, o efeito do ECHO e a comparação item a item com modelos como o DeepSeek-V4-Flash Base saem dos dados oficiais reproduzidos pelo relato, sem reprodução independente nesta checagem. As versões dos modelos rivais citados também estão fora do que é possível verificar, e os números de benchmark devem ser lidos como dados autodeclarados; além disso, a comparação é entre modelos Base e não pode ser transportada diretamente para conclusões sobre as versões Chat já em operação de cada empresa. Quanto à licença, o relato fala apenas em abertura de pesos, sem nome de licença nem cláusulas de uso comercial ou redistribuição; poder baixar os pesos não significa poder usá-los livremente, e é obrigatório conferir o model card e o repositório antes de colocar em produção. O relato também não menciona API nem serviço gerenciado. O ERNIE 5.5 Flash Base não está atualmente no catálogo de modelos da KimiSeek; os endereços de download e as receitas de inferência citados apontam para a Baidu e para as comunidades de vLLM e SGLang, e qualquer disponibilidade relatada segue a versão do fornecedor; se surgirem serviços gerenciados ou APIs, a disponibilidade e o preço devem ser conferidos com o fornecedor e na página de preços deste site. Além disso, 1M é a extensão nas etapas de ajuste fino e inferência, e o relato não informa a qualidade nesse comprimento: “seis benchmarks de contexto longo estáveis” não significa que o mesmo valha nas suas tarefas. A versão final ainda não foi lançada, e sua capacidade e o escopo de abertura permanecem desconhecidos.

Três minutos até a primeira chamada

Crie uma conta e uma chave de API. O custo das chamadas é descontado do seu saldo. 30% de desconto na primeira recarga. Recarregue ¥500, pague ¥350, receba ¥500 de saldo. Recarregue ¥1000, pague ¥850, receba ¥1000 de saldo A recarga mínima continua sendo ¥10, adequada para testes.

Fontes e processo editorial

刚刚,百度开源全新预训练基模:文心 5.5 Flash Base 主打效率

A IA auxiliou a análise e a tradução das fontes citadas, seguidas de verificações automáticas. Recomendações não são resultados de testes. Consulte o catálogo atual para preços e disponibilidade.