MiniMaxAI/MiniMax-Text-01

1{2  "architectures": [3    "MiniMaxText01ForCausalLM"4  ],5  "attention_dropout": 0.0,6  "attn_type_list": [7    0,8    0,9    0,10    0,11    0,12    0,13    0,14    1,15    0,16    0,17    0,18    0,19    0,20    0,21    0,22    1,23    0,24    0,25    0,26    0,27    0,28    0,29    0,30    1,31    0,32    0,33    0,34    0,35    0,36    0,37    0,38    1,39    0,40    0,41    0,42    0,43    0,44    0,45    0,46    1,47    0,48    0,49    0,50    0,51    0,52    0,53    0,54    1,55    0,56    0,57    0,58    0,59    0,60    0,61    0,62    1,63    0,64    0,65    0,66    0,67    0,68    0,69    0,70    1,71    0,72    0,73    0,74    0,75    0,76    0,77    0,78    1,79    0,80    0,81    0,82    0,83    0,84    0,85    0,86    187  ],88  "auto_map": {89    "AutoConfig": "configuration_minimax_text_01.MiniMaxText01Config",90    "AutoModelForCausalLM": "modeling_minimax_text_01.MiniMaxText01ForCausalLM"91  },92  "bos_token_id": null,93  "eos_token_id": null,94  "head_dim": 128,95  "hidden_act": "silu",96  "hidden_size": 6144,97  "initializer_range": 0.02,98  "intermediate_size": 9216,99  "layernorm_full_attention_alpha": 3.5565588200778455,100  "layernorm_full_attention_beta": 1.0,101  "layernorm_linear_attention_alpha": 3.5565588200778455,102  "layernorm_linear_attention_beta": 1.0,103  "layernorm_mlp_alpha": 3.5565588200778455,104  "layernorm_mlp_beta": 1.0,105  "max_position_embeddings": 10240000,106  "model_type": "minimax_text_01",107  "num_attention_heads": 64,108  "num_experts_per_tok": 2,109  "num_hidden_layers": 80,110  "num_key_value_heads": 8,111  "num_local_experts": 32,112  "output_router_logits": false,113  "postnorm": true,114  "rms_norm_eps": 1e-05,115  "rope_theta": 10000000,116  "rotary_dim": 64,117  "router_aux_loss_coef": 0.001,118  "router_jitter_noise": 0.0,119  "shared_intermediate_size": 0,120  "shared_moe_mode": "sigmoid",121  "sliding_window": null,122  "tie_word_embeddings": false,123  "transformers_version": "4.45.2",124  "use_cache": true,125  "vocab_size": 200064126}