Team Ai
Modelpublic

Shuu12121/CodeModernBERT-Owl

sourceHugging Faceapache-2.0updated 2mo agoView on Hugging Face
6likes74downloads
Model Card

🦉CodeModernBERT-Owl

旧版のモデルです。こちらのモデルなど最新版をお使いください！！

モデルパラメータ / Model Parameters

パラメータ / Parameter値 / Value
vocab_size50,004
hidden_size768
num_hidden_layers12
num_attention_heads12
intermediate_size3,072
max_position_embeddings2,048
type_vocab_size2
hidden_dropout_prob0.1
attention_probs_dropout_prob0.1
local_attention_window128
rope_theta160,000
local_attention_rope_theta10,000

ライセンス / License

Apache-2.0