Microsoft lança Mage-VL, modelo multimodal 4B que corta 75% dos tokens visuais
Modelo usa estrutura de codecs de vídeo para acelerar inferência em 3,5 vezes mantendo precisão.
Microsoft lançou o Mage-VL, um modelo multimodal de 4 bilhões de parâmetros que entende imagens e vídeo processando apenas os patches que codecs de vídeo consideram relevantes. A Microsoft publicou o modelo em 25 de julho de 2026 sob licença Apache-2.0 no Hugging Face. O codificador visual Mage-ViT foi treinado do zero — sem inicialização de ViT pré-treinado em escala bilionária — e reduz o consumo de tokens visuais em mais de 75% comparado à amostragem uniforme de frames. Serve para quem precisa de compreensão de vídeo em tempo real sem infraestrutura de datacenter pesada.
Arquitetura nativa de codec elimina ViT congelado
O Mage-VL separa o fluxo de vídeo em frames âncora (I) e frames preditos (P), mantendo todo patch de frame âncora e retendo apenas os patches de frames P onde o codec gasta bits — as regiões que carregam movimento e detalhe novo. Essa esparsidade alinhada ao codec corta tokens visuais para cerca de um oitavo da amostragem densa e entrega até 3,5 vezes de aceleração no clock de inferência. O sistema emparelha dois componentes: o Mage-ViT, um Codec-ViT que aloca tokens pela importância espaço-temporal derivada do codec em grade compartilhada 16×16 com codificação rotacional 3D, e um decodificador causal Qwen3-4B-Instruct-2507 — o único componente pré-treinado — que consome o fluxo de tokens de tamanho variável via projetor MLP de duas camadas. A interface é agnóstica a codec: aceita H.264/AVC, HEVC/H.265 via vetores de movimento e energia residual, ou codec neural DCVC-RT via mapa de taxa aprendido, sem mudança de arquitetura ou re-treinamento.
Um único checkpoint cobre imagem, vídeo e streaming proativo
O repositório microsoft/Mage-VL entrega um único checkpoint que simultaneamente resolve entendimento de imagem, vídeo amostrado por frames, vídeo com codecs tradicionais, vídeo com codec neural DCVC-RT e gating de streaming proativo. Um design de processo duplo System 1 e System 2 adiciona streaming proativo dentro do mesmo modelo: um portão de cognição leve (System 1) observa cada janela rolante de codec e permanece silencioso em conteúdo rotineiro, invocando o VLM completo (System 2) apenas quando um evento digno de resposta se completa — sem pipeline multi-agente. O portão congelado lidera TimVal, F1, ROC-AUC e PR-AUC no benchmark SoccerNet de streaming e generaliza para transmissões reais da Copa do Mundo de 2026. A Microsoft também libera o microsoft/Mage-ViT como codificador visual autônomo do pré-treinamento em dois estágios.
Em benchmarks de vídeo e ancoragem temporal, o Mage-VL supera o Qwen3-VL-4B em todo relatório — maior ganho em tarefas de localização: +22,5 no QVHighlight, +17,1 no ActivityNet, +11,0 no VSI-Bench, +24,5 no VideoEval-Pro. Em inteligência espacial, abre +53,1 no CrossPoint e +5,2 no EmbSpatial. Em imagens estáticas, empata com Qwen3-VL-4B. No Food-101 passa de 96,1% e no ImageNet 86,3% a 676 tokens, com ganho monótono conforme o orçamento de tokens cresce, onde codificadores de resolução fixa saturam ou degradam. O modelo pesa 4B parâmetros no codificador visual mais 4B no backbone de linguagem, distribuído em três arquivos safetensors.
Licença Apache-2.0 permite uso comercial, modificação e distribuição, inclusive em produtos proprietários, desde que se preserve o aviso de copyright e a licença. Não há cláusula de copyleft viral; a obrigação recai sobre redistribuição do código original, não sobre obras derivadas que o incorporem. Para desenvolvedores no Brasil, o modelo entra no movimento de pesos abertos com diferencial claro: vídeo longo e streaming com orçamento de tokens drasticamente menor, rodando em nó único 8×B200 nos testes da Microsoft. Requisitos de hardware para inferência local não foram divulgados; o tamanho de 8B parâmetros totais em safetensors sugere viabilidade em GPU de alta memória, mas a Microsoft não publica VRAM mínima nem quantização oficial.
Fontes
Como fazemos: nossa equipe monitora diariamente os repositórios de código aberto em maior alta e produz esta cobertura com apoio de modelos de linguagem, sempre a partir de dados verificados na fonte primária — repositório, documentação oficial e ranking público. Os números de estrelas e a posição no ranking refletem o momento da coleta. Entenda o método.