quant-mind/Nex-N2.5-mini-W4A16-AutoRound

Nex-N2.5-mini-W4A16-AutoRound (Máxima Precisão)

Quantização de máxima precisão em W4A16 (INT4) do modelo multimodal e agentic nex-agi/Nex-N2.5-mini usando a biblioteca Intel AutoRound.

Visão Geral do Modelo

• —Modelo Base: nex-agi/Nex-N2.5-mini
• —Arquitetura: qwen3_5_moe (Qwen3_5MoeForConditionalGeneration)
• —Parâmetros Totais: 35B (~3B ativos por token)
• —Modalidades: Texto e Imagem (Multimodal Vision-Language)
• —Especialistas: 256 especialistas roteados + 1 especialista compartilhado (shared_expert) por bloco
• —Context Window: 262.144 tokens (262k)

Detalhes Técnicos da Quantização

• —Método: Intel AutoRound (SignRound Algorithm)
• —Precisão: W4A16 (Pesos em INT4 com group-size 128, Ativações em 16-bit / BF16)
• —Simetria: Simétrica (sym=True, otimizada para o kernel Marlin no vLLM e SGLang)
• —Iterações por Bloco (`iters`): 200 (otimização de erro quadrático mínimo)
• —Tuning Avançado: enable_minmax_tuning=True e enable_norm_bias_tuning=False (preserva RMSNorms e Gated Norms em BF16)
• —Amostras de Calibração: 128 amostras com janela de 2048 tokens (NeelNanda/pile-10k)
• —Formato: auto_gptq (compatível com GPTQ / Marlin kernels)
• —Camadas Preservadas em BF16:
• —shared_expert e shared_expert_gate (ativos em todos os tokens, preservando raciocínio central)
• —mlp.gate (router dos especialistas, preservado para estabilidade do vLLM)
• —mtp (Multi-Token Prediction)
• —lm_head e embeddings
• —Componentes de visão (visual encoder)

Como Utilizar

1. Com vLLM (Marlin Kernel):

vllm serve quant-mind/Nex-N2.5-mini-W4A16-AutoRound \
    --port 8000 \
    --max-model-len 4096 \
    --reasoning-parser qwen3 \
    --gpu-memory-utilization 0.90

2. Com Transformers / AutoGPTQ:

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "quant-mind/Nex-N2.5-mini-W4A16-AutoRound"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype=torch.bfloat16,
    trust_remote_code=True
)