dragonkue/colbert-ko-0.1b

dragonkue/colbert-ko-0.1b

This is a Korean ColBERT model finetuned from skt/A.X-Encoder-base using PyLate. It maps sentences and paragraphs to sequences of 32, 64, 96, or 128-dimensional token embeddings, and uses the MaxSim operator for late-interaction retrieval.

Model Details

Model Description

• —Model Type: PyLate model
• —Base model: skt/A.X-Encoder-base <!-- at revision b5c71f3601aedf38372fe21383ac7d04991af187 -->
• —Document Length: 2048 tokens
• —Query Length: 32 tokens
• —Output Dimensionality: 128 (Matryoshka: 32 / 64 / 96 / 128)
• —Similarity Function: MaxSim
• —Language: Korean
• —License: Apache-2.0

Model Sources

• —Documentation: PyLate Documentation
• —Repository: PyLate on GitHub
• —Hugging Face: PyLate models on Hugging Face

Full Model Architecture

ColBERTWrapper(
  (0): Transformer({'max_seq_length': 2047, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
  (1): Dense({'in_features': 768, 'out_features': 128, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity', 'use_residual': False})
)

Usage

This model supports Matryoshka embeddings with multiple dimensions (32, 64, 96, 128) via separate projection heads (Jina-ColBERT-v2 style).

The model ships a bundled model.py so it can be loaded with the transformers library alone — no third-party retrieval package is required. The custom code is opt-in: pass trust_remote_code=True to from_pretrained.

Installation

pip install transformers torch

Quick Start

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("dragonkue/colbert-ko-0.1b")
model = AutoModel.from_pretrained(
    "dragonkue/colbert-ko-0.1b",
    trust_remote_code=True,
)
model.eval()
# model.cuda()  # optional

# Pick embedding dimension (32, 64, 96, or 128). Default is 128.
model.set_active_dim(128)

queries = ["검색 쿼리"]
documents = ["문서 내용"]

q_embs = model.encode(tokenizer, queries, is_query=True)
d_embs = model.encode(tokenizer, documents, is_query=False)

print(f"Query shape: {q_embs[0].shape}")  # (num_tokens, 128)
print(f"Doc shape:   {d_embs[0].shape}")  # (num_tokens, 128)

# ColBERT late-interaction (MaxSim) score for one (query, doc) pair
score = model.maxsim(q_embs[0], d_embs[0])
print(f"MaxSim: {score:.4f}")

Reranking

query = "대한민국의 수도는 어디인가요?"
candidates = [
    "대한민국의 수도는 서울이며, 인구가 가장 많은 도시이다.",
    "파리는 프랑스의 수도이고 에펠탑으로 유명하다.",
    "오늘 날씨는 맑고 기온은 25도 정도이다.",
]

q_embs = model.encode(tokenizer, [query], is_query=True)
c_embs = model.encode(tokenizer, candidates, is_query=False)

ranked = sorted(
    [(i, model.maxsim(q_embs[0], c_embs[i])) for i in range(len(candidates))],
    key=lambda x: x[1],
    reverse=True,
)
for rank, (i, score) in enumerate(ranked, start=1):
    print(f"  rank {rank}: score={score:.4f}  | {candidates[i]}")

Approximate Retrieval (PyLate PLAID, optional)

For PLAID indexing over a large corpus you can additionally use PyLate. PyLate loads the model as a standard sentence-transformers checkpoint (no trust_remote_code needed). The 128-dim head saved at 1_Dense/model.safetensors matches the Matryoshka 128-dim head, so PyLate produces the same embeddings as the snippet above.

from pylate import indexes, models, retrieve

model = models.ColBERT(model_name_or_path="dragonkue/colbert-ko-0.1b")

index = indexes.PLAID(
    index_folder="pylate-index",
    index_name="index",
    override=True,
)

documents_ids = ["1", "2", "3"]
documents = ["첫번째 문서입니다", "두번째 문서입니다", "세번째 문서입니다"]

documents_embeddings = model.encode(documents, is_query=False)
index.add_documents(
    documents_ids=documents_ids,
    documents_embeddings=documents_embeddings,
)

retriever = retrieve.ColBERT(index=index)
queries_embeddings = model.encode(["첫번째 문서 검색"], is_query=True)
scores = retriever.retrieve(queries_embeddings=queries_embeddings, k=3)
print(scores)

The PyLate path is fixed to the 128-dim head; for Matryoshka dimension switching (32 / 64 / 96 / 128), use the trust_remote_code=True path shown above.

<!--

Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details> -->

<!--

Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details> -->

<!--

Out-of-Scope Use

List how the model may foreseeably be misused and address what users ought not to do with the model. -->

<!--

Bias, Risks and Limitations

What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model. -->

<!--

Recommendations

What are recommendations with respect to the foreseeable issues? For example, filtering explicit content. -->

Evaluation Results (NDCG@10)

Comparison with Other Models (dim128)

Performance by Embedding Dimension

Differences across dimensions are small (within ≈0.01 on each benchmark) and can flip between runs on the more saturated benchmarks such as AutoRAG. The 128-dim head is the default; smaller dimensions trade a few points of NDCG for a 2–4× reduction in vector size.

Scores for dragonkue-colbert-ko-0.1b are measured here with raw MaxSim (no PLAID quantization) on transformers==5.3.0 and pytorch==2.9. Scores for the other models are reproduced from prior reports and may differ from a re-run on the same stack.

• —Loss: <code>src.losses.MatryoshkaColBERTLoss</code> with these parameters:

  {
      "dims": [
          32,
          64,
          96,
          128
      ],
      "weights": [
          0.25,
          0.25,
          0.25,
          0.25
      ],
      "temperature": 1.0
  }

Training Hyperparameters

Non-Default Hyperparameters

• —eval_strategy: steps
• —per_device_train_batch_size: 64
• —learning_rate: 1e-05
• —num_train_epochs: 2
• —warmup_ratio: 0.1
• —fp16: True
• —dataloader_drop_last: True
• —gradient_checkpointing: True
• —gradient_checkpointing_kwargs: {'use_reentrant': False}
• —router_mapping: {'anchor': 'query', 'positive': 'document', 'neg_0': 'document'}

All Hyperparameters

<details><summary>Click to expand</summary>

• —overwrite_output_dir: False
• —do_predict: False
• —eval_strategy: steps
• —prediction_loss_only: True
• —per_device_train_batch_size: 64
• —per_device_eval_batch_size: 8
• —per_gpu_train_batch_size: None
• —per_gpu_eval_batch_size: None
• —gradient_accumulation_steps: 1
• —eval_accumulation_steps: None
• —torch_empty_cache_steps: None
• —learning_rate: 1e-05
• —weight_decay: 0.0
• —adam_beta1: 0.9
• —adam_beta2: 0.999
• —adam_epsilon: 1e-08
• —max_grad_norm: 1.0
• —num_train_epochs: 2
• —max_steps: -1
• —lr_scheduler_type: linear
• —lr_scheduler_kwargs: {}
• —warmup_ratio: 0.1
• —warmup_steps: 0
• —log_level: passive
• —log_level_replica: warning
• —log_on_each_node: True
• —logging_nan_inf_filter: True
• —save_safetensors: True
• —save_on_each_node: False
• —save_only_model: False
• —restore_callback_states_from_checkpoint: False
• —no_cuda: False
• —use_cpu: False
• —use_mps_device: False
• —seed: 42
• —data_seed: None
• —jit_mode_eval: False
• —use_ipex: False
• —bf16: False
• —fp16: True
• —fp16_opt_level: O1
• —half_precision_backend: auto
• —bf16_full_eval: False
• —fp16_full_eval: False
• —tf32: None
• —local_rank: 0
• —ddp_backend: None
• —tpu_num_cores: None
• —tpu_metrics_debug: False
• —debug: []
• —dataloader_drop_last: True
• —dataloader_num_workers: 0
• —dataloader_prefetch_factor: None
• —past_index: -1
• —disable_tqdm: False
• —remove_unused_columns: True
• —label_names: None
• —load_best_model_at_end: False
• —ignore_data_skip: False
• —fsdp: []
• —fsdp_min_num_params: 0
• —fsdp_config: {'minnumparams': 0, 'xla': False, 'xlafsdpv2': False, 'xlafsdpgrad_ckpt': False}
• —fsdp_transformer_layer_cls_to_wrap: None
• —accelerator_config: {'splitbatches': False, 'dispatchbatches': None, 'evenbatches': True, 'useseedablesampler': True, 'nonblocking': False, 'gradientaccumulationkwargs': None}
• —parallelism_config: None
• —deepspeed: None
• —label_smoothing_factor: 0.0
• —optim: adamwtorchfused
• —optim_args: None
• —adafactor: False
• —group_by_length: False
• —length_column_name: length
• —ddp_find_unused_parameters: None
• —ddp_bucket_cap_mb: None
• —ddp_broadcast_buffers: False
• —dataloader_pin_memory: True
• —dataloader_persistent_workers: False
• —skip_memory_metrics: True
• —use_legacy_prediction_loop: False
• —push_to_hub: False
• —resume_from_checkpoint: None
• —hub_model_id: None
• —hub_strategy: every_save
• —hub_private_repo: None
• —hub_always_push: False
• —hub_revision: None
• —gradient_checkpointing: True
• —gradient_checkpointing_kwargs: {'use_reentrant': False}
• —include_inputs_for_metrics: False
• —include_for_metrics: []
• —eval_do_concat_batches: True
• —fp16_backend: auto
• —push_to_hub_model_id: None
• —push_to_hub_organization: None
• —mp_parameters:
• —auto_find_batch_size: False
• —full_determinism: False
• —torchdynamo: None
• —ray_scope: last
• —ddp_timeout: 1800
• —torch_compile: False
• —torch_compile_backend: None
• —torch_compile_mode: None
• —include_tokens_per_second: False
• —include_num_input_tokens_seen: False
• —neftune_noise_alpha: None
• —optim_target_modules: None
• —batch_eval_metrics: False
• —eval_on_start: False
• —use_liger_kernel: False
• —liger_kernel_config: None
• —eval_use_gather_object: False
• —average_tokens_across_devices: False
• —prompts: None
• —batch_sampler: batch_sampler
• —multi_dataset_batch_sampler: proportional
• —router_mapping: {'anchor': 'query', 'positive': 'document', 'neg_0': 'document'}
• —learning_rate_mapping: {}

</details>

Training Logs

<details><summary>Click to expand</summary>

</details>

Framework Versions

• —Python: 3.11.13
• —Sentence Transformers: 5.1.1
• —PyLate: 1.3.4
• —Transformers: 4.56.2
• —PyTorch: 2.8.0+cu128
• —Accelerate: 1.12.0
• —Datasets: 4.4.1
• —Tokenizers: 0.22.2-rc0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084"
}

PyLate

@misc{PyLate,
title={PyLate: Flexible Training and Retrieval for Late Interaction Models},
author={Chaffin, Antoine and Sourty, Raphaël},
url={https://github.com/lightonai/pylate},
year={2024}
}

Jina ColBERT v2

@article{jina-colbert-v2,
    title={Jina-ColBERT-v2: A General-Purpose Multilingual Late Interaction Retriever},
    author={Rohan Jha and Bo Wang and Michael Günther and Saba Sturua and Mohammad Kalim Akram and Han Xiao},
    year={2024},
    journal={arXiv preprint arXiv:2408.16672},
    url={https://arxiv.org/abs/2408.16672}
}

<!--

Glossary

Clearly define terms in order to be accessible across audiences. -->

<!--

Model Card Authors

Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction. -->

<!--

Full Evaluation Results

<details> <summary>Detailed metrics (click to expand)</summary>

dim128

dim96

dim64

dim32

</details>

Training Details

Training Dataset

parquet

• —Dataset: parquet
• —Size: 379,805 training samples
• —Columns: <code>anchor</code>, <code>positive</code>, and <code>neg_0</code>
• —Approximate statistics based on the first 1000 samples: | | anchor | positive | neg_0 | |:--------|:---------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------| | type | string | string | string | | details | <ul><li>min: 8 tokens</li><li>mean: 23.7 tokens</li><li>max: 56 tokens</li></ul> | <ul><li>min: 73 tokens</li><li>mean: 419.07 tokens</li><li>max: 1530 tokens</li></ul> | <ul><li>min: 92 tokens</li><li>mean: 334.91 tokens</li><li>max: 1423 tokens</li></ul> |
• —Samples: | anchor | positive | neg_0 | |:-------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | <code>트랜스카르파티아의 우크라이나인들은 무엇을 지지하나요?</code> | <code># 1 또한 루신의 일부로 간주됨 # 3 우크라이나인과 벨라루스인 사이의 과도기로 간주됨 # 3 렘코스의 민족적 소속은 이념적 갈등이 되었다.르모스 중에서 "카르파토-루테니아" 민족이라는 개념은 트랜스카르파티아와 해외에 거주하는 르모스에 의해서만 지지된다고 주장되어 왔다.4 역사적인 모라비아의 대부분의 주민들은 자신들을 체코인으로 간주했지만 상당수는 체코와는 다르게(보헤미아와 모라비아 사람들은 같은 공용어를 사용하지만) 모라비아 국적을 선언했다.5 또한 폴란드인을 고려했습니다.6 폴란드인들의 일부로 실레지아인들을 보여주는 자료들이 있다.어퍼 실레지아의 최남단 인구의 일부는 때때로 체코인(논란의 여지가 있음)으로 간주된다.</code> | <code>Ⅴ. 결 론<br>□ 우리나라에서는 지방자치단체간의 재정불균형을 완화할 목적으로 중앙정부가 지방교부세를 교부하고 있고 광역자치단체가 기초자치단체에 조정교부금을 교부하는 등 수직적 지방재정조정제도가 운영 중임<br>○ 이에 더하여 지방자치단체간의 수평적 지방재정조정제도인 지역상생발전기금을 운영하고 있음<br>- 지역상생발전기금은 수도권 3개 광역자치단체가 지방소비세의 일부를 출연하여 주로 비수도권 14개 광역자치단체에 배분하는 제도로써, 전국 17개 광역자치단체간의 재정불균형을 시정할 목적으로 도입되었음<br>◆ 하지만 지역상생발전기금과 관련된 제도 및 운영방식에 있어서 불충분하고 불합리한 측면이 있으므로 이에 대한 개선방안이 필요함</code> | | <code>극단의 일부로 간주되는 그룹은 무엇입니까?</code> | <code># 1 또한 루신의 일부로 간주됨 # 3 우크라이나인과 벨라루스인 사이의 과도기로 간주됨 # 3 렘코스의 민족적 소속은 이념적 갈등이 되었다.르모스 중에서 "카르파토-루테니아" 민족이라는 개념은 트랜스카르파티아와 해외에 거주하는 르모스에 의해서만 지지된다고 주장되어 왔다.4 역사적인 모라비아의 대부분의 주민들은 자신들을 체코인으로 간주했지만 상당수는 체코와는 다르게(보헤미아와 모라비아 사람들은 같은 공용어를 사용하지만) 모라비아 국적을 선언했다.5 또한 폴란드인을 고려했습니다.6 폴란드인들의 일부로 실레지아인들을 보여주는 자료들이 있다.어퍼 실레지아의 최남단 인구의 일부는 때때로 체코인(논란의 여지가 있음)으로 간주된다.</code> | <code>‘완판돌’ 슈퍼주니어가 코스메틱 브랜드 ‘에이바자르’의 전속 모델로 발탁됐다. 슈퍼주니어는 올해 1월부터 데일리 셀프케어 전문 브랜드인 ‘에이바자르’의 모델로 발탁돼 다양한 컬래버레이션 활동을 펼쳐나갈 예정이라 이목이 집중되고 있다. 더불어 ‘에이바자르’ 측은 “슈퍼주니어는 가수 활동뿐 아니라 각종 예능, 드라마 등에서 활발한 활동을 펼치고 있다. 이처럼 자유롭고 스일리시한 슈퍼주니어의 이미지가 브랜드와 부합한다고 생각해 모델로 발탁했다”며 “각국에 두터운 팬덤을 가지고 있는 슈퍼주니어와 함께 글로벌 시장으로 진출 예정”이라고 전해 전 세계에서 변함 없는 사랑을 받고 있는 슈퍼주니어의 인기를 다시 한 번 확인케 했다. 특히 슈퍼주니어는 지난해 11월 정규 8집 앨범 ‘PLAY’(플레이) 앨범 판매 20만장 돌파 기념 TV홈쇼핑에 출연해 방송 중 4,800여콜이라는 동시 접속 최다 콜 수로 상품을 매진 시키고, 단독 콘서트인 ‘슈퍼주니어 월드투어 - 슈퍼쇼7 (SUPER JUNIOR WORLD TOUR SUPER SHOW7)’도 티켓 예매 9분 만에 전일 매진을 기록해 추가 공연을 결정하는 등 떴다 하면 ‘매진’을 기록하며 ‘완판주니어’라는 수식어를 얻은 바 있기에 더욱 기대가 모아지고 있다. 한편, 최근 슈퍼주니어는 이번 달 개국을 앞둔 오락 전문채널 XtvN에서 새로운 예능 프로그램인 ‘슈퍼TV’를 론칭, 오는 1월 26일 밤 11시에 첫 방송할 예정이다.</code> | | <code>중기중앙회는 무엇을 강화하기로 했는가?</code> | <code># 3대 백화점에 60개 점포를 운영하고 있는 A사는 매출액의 36%를 판매수수료로 내고 있다. 여기에 점포 파견 직원(200여명) 인건비(매출액 14%), 부가세 10%를 포함하면 매출액의 60%가 백화점 점포 운영비용으로 투입된다. 여기에 생산비 33%를 제외하면 매출액의 7%로 제품개발, 사무실운영 등에 충당하면 남는 게 별로 없다. # 3대 백화점에 점포를 가지고 있는 B사는 매년 6억원 이상을 인테리어 비용으로 날리고 있다. 수십개 점포를 운영하고 있는 B사의 경우 연평균 점포 20개 정도 내부시설을 고치고 있다. 1점포당 인테리어 비용이 3000만원을 훌쩍 넘는다. B사는 백화점의 강요로 멀쩡한 시설을 뜯어내고 20개 점포 인테리어에만 년 6억원을 쏟아 붓고 있는 것이다. 이렇듯 롯데 현대 신세계 등 국내 3대 백화점의 불공정행위가 도를 넘어섰다. [IMG1]백화점들이 입점기업에게 받는 판매수수료는 매출액의 1/3 이상이다. 수시로 인테리어 교체와 할인판매를 강요하고 있다. 반면 해외브랜드에는 엄청난 혜택을 주고 있다. 이러한 사실은 중소기업중앙회(회장 김기문)가 한국패션협회와 공동으로 5월 20일부터 27일까지 3대 백화점(롯데, 신세계, 현대) 입점기업 300개를 대상으로 실시한 불공정행위 실태조사에서 확인됐다. 실태조사 결과 백화점 판매수수료율은 2010년 평균 29.33%로 나타났고, 3대 백화점중 롯데백화점 판매수수료율이 30.87%로 가장 높았다. 판매수수료율은 해마다 0.2%p 높아지는 추세를 보였다. 실태조사에서 입점 중소기업 81%는 '판매수수료율이 너무 높다'고 응답했다. 최고 높은 수수료를 내는 업종은 패션·잡화로 38%에 달했다. 또한 최근 3년간 입점기업의 46.9%가 백화점의 불공정행위를 경험한 것으로 나타났다. 불공정행위 는 '인테리어 비용부담' 강요가 54.9%로 가장 높았고, '판촉 및 세일행사 참여' 강요는 48.4%에 달했다. 또한 백화점 입점기업 54.7%는 "백화점이 매년 수수료율을 인상한다"고 응답했다. 이중 ...</code> | <code>[씨티그룹과 협업해 '글로벌자금관리시스템(OCMS)' 도입…에너지공기업 최초]<br>한국남부발전은 2일 에너지공기업 최초로 해외지사에 대한 실시간 자금운영 모니터링을 위한 '글로벌자금관리시스템(OCMS)'을 구축했다고 밝혔다.<br>글로벌 종합금융회사 씨티그룹과 협업해 구축된 OCMS는 남부발전과 해외지사간 자금흐름 등을 한 눈에 확인할 수 있어 자금관리의 효율성과 투명성 제고에 기여할 전망이다.<br>남부발전은 실시간 모니터링을 통해 늘어나는 해외사업장들의 납입 자본금과 자금 입·출입 현황 등을 통합 관리해 자금사고 사각지대를 해소할 계획이다. 또 국가간 시차 등의 이유로 수기보고 하던 업무절차를 개선하는 등 관리단계의 편의성도 높이기로 했다.<br>이를 위해 남부발전은 100% 지분을 소유한 미국, 칠레, 요르단 지사에 우선 OCMS을 도입하고, 이후 출자지분 50% 이상 법인까지 시스템을 확대 적용한다. 동시에 글로벌 전사적자원관리(ERP)를 도입해 투명한 회계처리 프로세스를 정착할 예정이다.<br>신정식 남부발전 사장은 "남부발전은 미국 나일스 프로젝트 같은 양질의 해외사업 발굴 뿐 아니라 단 한 건의 인적 안전사고나 금융사고가 발생하지 않도록 철저한 관리시스템을 구축해 나가겠다"고 밝혔다.</code> |
• —Loss: <code>src.losses.MatryoshkaColBERTLoss</code> with these parameters:

  {
      "dims": [
          32,
          64,
          96,
          128
      ],
      "weights": [
          0.25,
          0.25,
          0.25,
          0.25
      ],
      "temperature": 1.0
  }

Training Hyperparameters

Non-Default Hyperparameters

• —eval_strategy: steps
• —per_device_train_batch_size: 64
• —learning_rate: 1e-05
• —num_train_epochs: 2
• —warmup_ratio: 0.1
• —fp16: True
• —dataloader_drop_last: True
• —gradient_checkpointing: True
• —gradient_checkpointing_kwargs: {'use_reentrant': False}
• —router_mapping: {'anchor': 'query', 'positive': 'document', 'neg_0': 'document'}

All Hyperparameters

<details><summary>Click to expand</summary>

• —overwrite_output_dir: False
• —do_predict: False
• —eval_strategy: steps
• —prediction_loss_only: True
• —per_device_train_batch_size: 64
• —per_device_eval_batch_size: 8
• —per_gpu_train_batch_size: None
• —per_gpu_eval_batch_size: None
• —gradient_accumulation_steps: 1
• —eval_accumulation_steps: None
• —torch_empty_cache_steps: None
• —learning_rate: 1e-05
• —weight_decay: 0.0
• —adam_beta1: 0.9
• —adam_beta2: 0.999
• —adam_epsilon: 1e-08
• —max_grad_norm: 1.0
• —num_train_epochs: 2
• —max_steps: -1
• —lr_scheduler_type: linear
• —lr_scheduler_kwargs: {}
• —warmup_ratio: 0.1
• —warmup_steps: 0
• —log_level: passive
• —log_level_replica: warning
• —log_on_each_node: True
• —logging_nan_inf_filter: True
• —save_safetensors: True
• —save_on_each_node: False
• —save_only_model: False
• —restore_callback_states_from_checkpoint: False
• —no_cuda: False
• —use_cpu: False
• —use_mps_device: False
• —seed: 42
• —data_seed: None
• —jit_mode_eval: False
• —use_ipex: False
• —bf16: False
• —fp16: True
• —fp16_opt_level: O1
• —half_precision_backend: auto
• —bf16_full_eval: False
• —fp16_full_eval: False
• —tf32: None
• —local_rank: 0
• —ddp_backend: None
• —tpu_num_cores: None
• —tpu_metrics_debug: False
• —debug: []
• —dataloader_drop_last: True
• —dataloader_num_workers: 0
• —dataloader_prefetch_factor: None
• —past_index: -1
• —disable_tqdm: False
• —remove_unused_columns: True
• —label_names: None
• —load_best_model_at_end: False
• —ignore_data_skip: False
• —fsdp: []
• —fsdp_min_num_params: 0
• —fsdp_config: {'minnumparams': 0, 'xla': False, 'xlafsdpv2': False, 'xlafsdpgrad_ckpt': False}
• —fsdp_transformer_layer_cls_to_wrap: None
• —accelerator_config: {'splitbatches': False, 'dispatchbatches': None, 'evenbatches': True, 'useseedablesampler': True, 'nonblocking': False, 'gradientaccumulationkwargs': None}
• —parallelism_config: None
• —deepspeed: None
• —label_smoothing_factor: 0.0
• —optim: adamwtorchfused
• —optim_args: None
• —adafactor: False
• —group_by_length: False
• —length_column_name: length
• —ddp_find_unused_parameters: None
• —ddp_bucket_cap_mb: None
• —ddp_broadcast_buffers: False
• —dataloader_pin_memory: True
• —dataloader_persistent_workers: False
• —skip_memory_metrics: True
• —use_legacy_prediction_loop: False
• —push_to_hub: False
• —resume_from_checkpoint: None
• —hub_model_id: None
• —hub_strategy: every_save
• —hub_private_repo: None
• —hub_always_push: False
• —hub_revision: None
• —gradient_checkpointing: True
• —gradient_checkpointing_kwargs: {'use_reentrant': False}
• —include_inputs_for_metrics: False
• —include_for_metrics: []
• —eval_do_concat_batches: True
• —fp16_backend: auto
• —push_to_hub_model_id: None
• —push_to_hub_organization: None
• —mp_parameters:
• —auto_find_batch_size: False
• —full_determinism: False
• —torchdynamo: None
• —ray_scope: last
• —ddp_timeout: 1800
• —torch_compile: False
• —torch_compile_backend: None
• —torch_compile_mode: None
• —include_tokens_per_second: False
• —include_num_input_tokens_seen: False
• —neftune_noise_alpha: None
• —optim_target_modules: None
• —batch_eval_metrics: False
• —eval_on_start: False
• —use_liger_kernel: False
• —liger_kernel_config: None
• —eval_use_gather_object: False
• —average_tokens_across_devices: False
• —prompts: None
• —batch_sampler: batch_sampler
• —multi_dataset_batch_sampler: proportional
• —router_mapping: {'anchor': 'query', 'positive': 'document', 'neg_0': 'document'}
• —learning_rate_mapping: {}

</details>

Training Logs

<details><summary>Click to expand</summary>

</details>

Framework Versions

• —Python: 3.11.13
• —Sentence Transformers: 5.1.1
• —PyLate: 1.3.4
• —Transformers: 4.56.2
• —PyTorch: 2.8.0+cu128
• —Accelerate: 1.12.0
• —Datasets: 4.4.1
• —Tokenizers: 0.22.2-rc0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084"
}

PyLate

@misc{PyLate,
title={PyLate: Flexible Training and Retrieval for Late Interaction Models},
author={Chaffin, Antoine and Sourty, Raphaël},
url={https://github.com/lightonai/pylate},
year={2024}
}

Jina ColBERT v2

@article{jina-colbert-v2,
    title={Jina-ColBERT-v2: A General-Purpose Multilingual Late Interaction Retriever},
    author={Rohan Jha and Bo Wang and Michael Günther and Saba Sturua and Mohammad Kalim Akram and Han Xiao},
    year={2024},
    journal={arXiv preprint arXiv:2408.16672},
    url={https://arxiv.org/abs/2408.16672}
}

<!--

Glossary

Clearly define terms in order to be accessible across audiences. -->

<!--

Model Card Authors

Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction. -->

<!--

Full Evaluation Results

<details> <summary>Detailed metrics (click to expand)</summary>

dim128

dim96

dim64

dim32

</details>

Training Details

Training Dataset

parquet

• —Dataset: parquet
• —Size: 379,805 training samples
• —Columns: <code>anchor</code>, <code>positive</code>, and <code>neg_0</code>
• —Approximate statistics based on the first 1000 samples: | | anchor | positive | neg_0 | |:--------|:---------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------| | type | string | string | string | | details | <ul><li>min: 8 tokens</li><li>mean: 23.7 tokens</li><li>max: 56 tokens</li></ul> | <ul><li>min: 73 tokens</li><li>mean: 419.07 tokens</li><li>max: 1530 tokens</li></ul> | <ul><li>min: 92 tokens</li><li>mean: 334.91 tokens</li><li>max: 1423 tokens</li></ul> |
• —Samples: | anchor | positive | neg_0 | |:-------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | <code>트랜스카르파티아의 우크라이나인들은 무엇을 지지하나요?</code> | <code># 1 또한 루신의 일부로 간주됨 # 3 우크라이나인과 벨라루스인 사이의 과도기로 간주됨 # 3 렘코스의 민족적 소속은 이념적 갈등이 되었다.르모스 중에서 "카르파토-루테니아" 민족이라는 개념은 트랜스카르파티아와 해외에 거주하는 르모스에 의해서만 지지된다고 주장되어 왔다.4 역사적인 모라비아의 대부분의 주민들은 자신들을 체코인으로 간주했지만 상당수는 체코와는 다르게(보헤미아와 모라비아 사람들은 같은 공용어를 사용하지만) 모라비아 국적을 선언했다.5 또한 폴란드인을 고려했습니다.6 폴란드인들의 일부로 실레지아인들을 보여주는 자료들이 있다.어퍼 실레지아의 최남단 인구의 일부는 때때로 체코인(논란의 여지가 있음)으로 간주된다.</code> | <code>Ⅴ. 결 론<br>□ 우리나라에서는 지방자치단체간의 재정불균형을 완화할 목적으로 중앙정부가 지방교부세를 교부하고 있고 광역자치단체가 기초자치단체에 조정교부금을 교부하는 등 수직적 지방재정조정제도가 운영 중임<br>○ 이에 더하여 지방자치단체간의 수평적 지방재정조정제도인 지역상생발전기금을 운영하고 있음<br>- 지역상생발전기금은 수도권 3개 광역자치단체가 지방소비세의 일부를 출연하여 주로 비수도권 14개 광역자치단체에 배분하는 제도로써, 전국 17개 광역자치단체간의 재정불균형을 시정할 목적으로 도입되었음<br>◆ 하지만 지역상생발전기금과 관련된 제도 및 운영방식에 있어서 불충분하고 불합리한 측면이 있으므로 이에 대한 개선방안이 필요함</code> | | <code>극단의 일부로 간주되는 그룹은 무엇입니까?</code> | <code># 1 또한 루신의 일부로 간주됨 # 3 우크라이나인과 벨라루스인 사이의 과도기로 간주됨 # 3 렘코스의 민족적 소속은 이념적 갈등이 되었다.르모스 중에서 "카르파토-루테니아" 민족이라는 개념은 트랜스카르파티아와 해외에 거주하는 르모스에 의해서만 지지된다고 주장되어 왔다.4 역사적인 모라비아의 대부분의 주민들은 자신들을 체코인으로 간주했지만 상당수는 체코와는 다르게(보헤미아와 모라비아 사람들은 같은 공용어를 사용하지만) 모라비아 국적을 선언했다.5 또한 폴란드인을 고려했습니다.6 폴란드인들의 일부로 실레지아인들을 보여주는 자료들이 있다.어퍼 실레지아의 최남단 인구의 일부는 때때로 체코인(논란의 여지가 있음)으로 간주된다.</code> | <code>‘완판돌’ 슈퍼주니어가 코스메틱 브랜드 ‘에이바자르’의 전속 모델로 발탁됐다. 슈퍼주니어는 올해 1월부터 데일리 셀프케어 전문 브랜드인 ‘에이바자르’의 모델로 발탁돼 다양한 컬래버레이션 활동을 펼쳐나갈 예정이라 이목이 집중되고 있다. 더불어 ‘에이바자르’ 측은 “슈퍼주니어는 가수 활동뿐 아니라 각종 예능, 드라마 등에서 활발한 활동을 펼치고 있다. 이처럼 자유롭고 스일리시한 슈퍼주니어의 이미지가 브랜드와 부합한다고 생각해 모델로 발탁했다”며 “각국에 두터운 팬덤을 가지고 있는 슈퍼주니어와 함께 글로벌 시장으로 진출 예정”이라고 전해 전 세계에서 변함 없는 사랑을 받고 있는 슈퍼주니어의 인기를 다시 한 번 확인케 했다. 특히 슈퍼주니어는 지난해 11월 정규 8집 앨범 ‘PLAY’(플레이) 앨범 판매 20만장 돌파 기념 TV홈쇼핑에 출연해 방송 중 4,800여콜이라는 동시 접속 최다 콜 수로 상품을 매진 시키고, 단독 콘서트인 ‘슈퍼주니어 월드투어 - 슈퍼쇼7 (SUPER JUNIOR WORLD TOUR SUPER SHOW7)’도 티켓 예매 9분 만에 전일 매진을 기록해 추가 공연을 결정하는 등 떴다 하면 ‘매진’을 기록하며 ‘완판주니어’라는 수식어를 얻은 바 있기에 더욱 기대가 모아지고 있다. 한편, 최근 슈퍼주니어는 이번 달 개국을 앞둔 오락 전문채널 XtvN에서 새로운 예능 프로그램인 ‘슈퍼TV’를 론칭, 오는 1월 26일 밤 11시에 첫 방송할 예정이다.</code> | | <code>중기중앙회는 무엇을 강화하기로 했는가?</code> | <code># 3대 백화점에 60개 점포를 운영하고 있는 A사는 매출액의 36%를 판매수수료로 내고 있다. 여기에 점포 파견 직원(200여명) 인건비(매출액 14%), 부가세 10%를 포함하면 매출액의 60%가 백화점 점포 운영비용으로 투입된다. 여기에 생산비 33%를 제외하면 매출액의 7%로 제품개발, 사무실운영 등에 충당하면 남는 게 별로 없다. # 3대 백화점에 점포를 가지고 있는 B사는 매년 6억원 이상을 인테리어 비용으로 날리고 있다. 수십개 점포를 운영하고 있는 B사의 경우 연평균 점포 20개 정도 내부시설을 고치고 있다. 1점포당 인테리어 비용이 3000만원을 훌쩍 넘는다. B사는 백화점의 강요로 멀쩡한 시설을 뜯어내고 20개 점포 인테리어에만 년 6억원을 쏟아 붓고 있는 것이다. 이렇듯 롯데 현대 신세계 등 국내 3대 백화점의 불공정행위가 도를 넘어섰다. [IMG1]백화점들이 입점기업에게 받는 판매수수료는 매출액의 1/3 이상이다. 수시로 인테리어 교체와 할인판매를 강요하고 있다. 반면 해외브랜드에는 엄청난 혜택을 주고 있다. 이러한 사실은 중소기업중앙회(회장 김기문)가 한국패션협회와 공동으로 5월 20일부터 27일까지 3대 백화점(롯데, 신세계, 현대) 입점기업 300개를 대상으로 실시한 불공정행위 실태조사에서 확인됐다. 실태조사 결과 백화점 판매수수료율은 2010년 평균 29.33%로 나타났고, 3대 백화점중 롯데백화점 판매수수료율이 30.87%로 가장 높았다. 판매수수료율은 해마다 0.2%p 높아지는 추세를 보였다. 실태조사에서 입점 중소기업 81%는 '판매수수료율이 너무 높다'고 응답했다. 최고 높은 수수료를 내는 업종은 패션·잡화로 38%에 달했다. 또한 최근 3년간 입점기업의 46.9%가 백화점의 불공정행위를 경험한 것으로 나타났다. 불공정행위 는 '인테리어 비용부담' 강요가 54.9%로 가장 높았고, '판촉 및 세일행사 참여' 강요는 48.4%에 달했다. 또한 백화점 입점기업 54.7%는 "백화점이 매년 수수료율을 인상한다"고 응답했다. 이중 ...</code> | <code>[씨티그룹과 협업해 '글로벌자금관리시스템(OCMS)' 도입…에너지공기업 최초]<br>한국남부발전은 2일 에너지공기업 최초로 해외지사에 대한 실시간 자금운영 모니터링을 위한 '글로벌자금관리시스템(OCMS)'을 구축했다고 밝혔다.<br>글로벌 종합금융회사 씨티그룹과 협업해 구축된 OCMS는 남부발전과 해외지사간 자금흐름 등을 한 눈에 확인할 수 있어 자금관리의 효율성과 투명성 제고에 기여할 전망이다.<br>남부발전은 실시간 모니터링을 통해 늘어나는 해외사업장들의 납입 자본금과 자금 입·출입 현황 등을 통합 관리해 자금사고 사각지대를 해소할 계획이다. 또 국가간 시차 등의 이유로 수기보고 하던 업무절차를 개선하는 등 관리단계의 편의성도 높이기로 했다.<br>이를 위해 남부발전은 100% 지분을 소유한 미국, 칠레, 요르단 지사에 우선 OCMS을 도입하고, 이후 출자지분 50% 이상 법인까지 시스템을 확대 적용한다. 동시에 글로벌 전사적자원관리(ERP)를 도입해 투명한 회계처리 프로세스를 정착할 예정이다.<br>신정식 남부발전 사장은 "남부발전은 미국 나일스 프로젝트 같은 양질의 해외사업 발굴 뿐 아니라 단 한 건의 인적 안전사고나 금융사고가 발생하지 않도록 철저한 관리시스템을 구축해 나가겠다"고 밝혔다.</code> |
• —Loss: <code>src.losses.MatryoshkaColBERTLoss</code> with these parameters:

  {
      "dims": [
          32,
          64,
          96,
          128
      ],
      "weights": [
          0.25,
          0.25,
          0.25,
          0.25
      ],
      "temperature": 1.0
  }

Training Hyperparameters

Non-Default Hyperparameters

• —eval_strategy: steps
• —per_device_train_batch_size: 64
• —learning_rate: 1e-05
• —num_train_epochs: 2
• —warmup_ratio: 0.1
• —fp16: True
• —dataloader_drop_last: True
• —gradient_checkpointing: True
• —gradient_checkpointing_kwargs: {'use_reentrant': False}
• —router_mapping: {'anchor': 'query', 'positive': 'document', 'neg_0': 'document'}

All Hyperparameters

<details><summary>Click to expand</summary>

• —overwrite_output_dir: False
• —do_predict: False
• —eval_strategy: steps
• —prediction_loss_only: True
• —per_device_train_batch_size: 64
• —per_device_eval_batch_size: 8
• —per_gpu_train_batch_size: None
• —per_gpu_eval_batch_size: None
• —gradient_accumulation_steps: 1
• —eval_accumulation_steps: None
• —torch_empty_cache_steps: None
• —learning_rate: 1e-05
• —weight_decay: 0.0
• —adam_beta1: 0.9
• —adam_beta2: 0.999
• —adam_epsilon: 1e-08
• —max_grad_norm: 1.0
• —num_train_epochs: 2
• —max_steps: -1
• —lr_scheduler_type: linear
• —lr_scheduler_kwargs: {}
• —warmup_ratio: 0.1
• —warmup_steps: 0
• —log_level: passive
• —log_level_replica: warning
• —log_on_each_node: True
• —logging_nan_inf_filter: True
• —save_safetensors: True
• —save_on_each_node: False
• —save_only_model: False
• —restore_callback_states_from_checkpoint: False
• —no_cuda: False
• —use_cpu: False
• —use_mps_device: False
• —seed: 42
• —data_seed: None
• —jit_mode_eval: False
• —use_ipex: False
• —bf16: False
• —fp16: True
• —fp16_opt_level: O1
• —half_precision_backend: auto
• —bf16_full_eval: False
• —fp16_full_eval: False
• —tf32: None
• —local_rank: 0
• —ddp_backend: None
• —tpu_num_cores: None
• —tpu_metrics_debug: False
• —debug: []
• —dataloader_drop_last: True
• —dataloader_num_workers: 0
• —dataloader_prefetch_factor: None
• —past_index: -1
• —disable_tqdm: False
• —remove_unused_columns: True
• —label_names: None
• —load_best_model_at_end: False
• —ignore_data_skip: False
• —fsdp: []
• —fsdp_min_num_params: 0
• —fsdp_config: {'minnumparams': 0, 'xla': False, 'xlafsdpv2': False, 'xlafsdpgrad_ckpt': False}
• —fsdp_transformer_layer_cls_to_wrap: None
• —accelerator_config: {'splitbatches': False, 'dispatchbatches': None, 'evenbatches': True, 'useseedablesampler': True, 'nonblocking': False, 'gradientaccumulationkwargs': None}
• —parallelism_config: None
• —deepspeed: None
• —label_smoothing_factor: 0.0
• —optim: adamwtorchfused
• —optim_args: None
• —adafactor: False
• —group_by_length: False
• —length_column_name: length
• —ddp_find_unused_parameters: None
• —ddp_bucket_cap_mb: None
• —ddp_broadcast_buffers: False
• —dataloader_pin_memory: True
• —dataloader_persistent_workers: False
• —skip_memory_metrics: True
• —use_legacy_prediction_loop: False
• —push_to_hub: False
• —resume_from_checkpoint: None
• —hub_model_id: None
• —hub_strategy: every_save
• —hub_private_repo: None
• —hub_always_push: False
• —hub_revision: None
• —gradient_checkpointing: True
• —gradient_checkpointing_kwargs: {'use_reentrant': False}
• —include_inputs_for_metrics: False
• —include_for_metrics: []
• —eval_do_concat_batches: True
• —fp16_backend: auto
• —push_to_hub_model_id: None
• —push_to_hub_organization: None
• —mp_parameters:
• —auto_find_batch_size: False
• —full_determinism: False
• —torchdynamo: None
• —ray_scope: last
• —ddp_timeout: 1800
• —torch_compile: False
• —torch_compile_backend: None
• —torch_compile_mode: None
• —include_tokens_per_second: False
• —include_num_input_tokens_seen: False
• —neftune_noise_alpha: None
• —optim_target_modules: None
• —batch_eval_metrics: False
• —eval_on_start: False
• —use_liger_kernel: False
• —liger_kernel_config: None
• —eval_use_gather_object: False
• —average_tokens_across_devices: False
• —prompts: None
• —batch_sampler: batch_sampler
• —multi_dataset_batch_sampler: proportional
• —router_mapping: {'anchor': 'query', 'positive': 'document', 'neg_0': 'document'}
• —learning_rate_mapping: {}

</details>

Training Logs

<details><summary>Click to expand</summary>

</details>

Framework Versions

• —Python: 3.11.13
• —Sentence Transformers: 5.1.1
• —PyLate: 1.3.4
• —Transformers: 4.56.2
• —PyTorch: 2.8.0+cu128
• —Accelerate: 1.12.0
• —Datasets: 4.4.1
• —Tokenizers: 0.22.2-rc0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084"
}

PyLate

@misc{PyLate,
title={PyLate: Flexible Training and Retrieval for Late Interaction Models},
author={Chaffin, Antoine and Sourty, Raphaël},
url={https://github.com/lightonai/pylate},
year={2024}
}

Jina ColBERT v2

@article{jina-colbert-v2,
    title={Jina-ColBERT-v2: A General-Purpose Multilingual Late Interaction Retriever},
    author={Rohan Jha and Bo Wang and Michael Günther and Saba Sturua and Mohammad Kalim Akram and Han Xiao},
    year={2024},
    journal={arXiv preprint arXiv:2408.16672},
    url={https://arxiv.org/abs/2408.16672}
}

<!--

Glossary

Clearly define terms in order to be accessible across audiences. -->

<!--

Model Card Authors

Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction. -->

<!--

Full Evaluation Results

<details> <summary>Detailed metrics (click to expand)</summary>

dim128

dim96

dim64

dim32

</details>

Training Details

Training Dataset

parquet

• —Dataset: parquet
• —Size: 379,805 training samples
• —Columns: <code>anchor</code>, <code>positive</code>, and <code>neg_0</code>
• —Approximate statistics based on the first 1000 samples: | | anchor | positive | neg_0 | |:--------|:---------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------| | type | string | string | string | | details | <ul><li>min: 8 tokens</li><li>mean: 23.7 tokens</li><li>max: 56 tokens</li></ul> | <ul><li>min: 73 tokens</li><li>mean: 419.07 tokens</li><li>max: 1530 tokens</li></ul> | <ul><li>min: 92 tokens</li><li>mean: 334.91 tokens</li><li>max: 1423 tokens</li></ul> |
• —Samples: | anchor | positive | neg_0 | |:-------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | <code>트랜스카르파티아의 우크라이나인들은 무엇을 지지하나요?</code> | <code># 1 또한 루신의 일부로 간주됨 # 3 우크라이나인과 벨라루스인 사이의 과도기로 간주됨 # 3 렘코스의 민족적 소속은 이념적 갈등이 되었다.르모스 중에서 "카르파토-루테니아" 민족이라는 개념은 트랜스카르파티아와 해외에 거주하는 르모스에 의해서만 지지된다고 주장되어 왔다.4 역사적인 모라비아의 대부분의 주민들은 자신들을 체코인으로 간주했지만 상당수는 체코와는 다르게(보헤미아와 모라비아 사람들은 같은 공용어를 사용하지만) 모라비아 국적을 선언했다.5 또한 폴란드인을 고려했습니다.6 폴란드인들의 일부로 실레지아인들을 보여주는 자료들이 있다.어퍼 실레지아의 최남단 인구의 일부는 때때로 체코인(논란의 여지가 있음)으로 간주된다.</code> | <code>Ⅴ. 결 론<br>□ 우리나라에서는 지방자치단체간의 재정불균형을 완화할 목적으로 중앙정부가 지방교부세를 교부하고 있고 광역자치단체가 기초자치단체에 조정교부금을 교부하는 등 수직적 지방재정조정제도가 운영 중임<br>○ 이에 더하여 지방자치단체간의 수평적 지방재정조정제도인 지역상생발전기금을 운영하고 있음<br>- 지역상생발전기금은 수도권 3개 광역자치단체가 지방소비세의 일부를 출연하여 주로 비수도권 14개 광역자치단체에 배분하는 제도로써, 전국 17개 광역자치단체간의 재정불균형을 시정할 목적으로 도입되었음<br>◆ 하지만 지역상생발전기금과 관련된 제도 및 운영방식에 있어서 불충분하고 불합리한 측면이 있으므로 이에 대한 개선방안이 필요함</code> | | <code>극단의 일부로 간주되는 그룹은 무엇입니까?</code> | <code># 1 또한 루신의 일부로 간주됨 # 3 우크라이나인과 벨라루스인 사이의 과도기로 간주됨 # 3 렘코스의 민족적 소속은 이념적 갈등이 되었다.르모스 중에서 "카르파토-루테니아" 민족이라는 개념은 트랜스카르파티아와 해외에 거주하는 르모스에 의해서만 지지된다고 주장되어 왔다.4 역사적인 모라비아의 대부분의 주민들은 자신들을 체코인으로 간주했지만 상당수는 체코와는 다르게(보헤미아와 모라비아 사람들은 같은 공용어를 사용하지만) 모라비아 국적을 선언했다.5 또한 폴란드인을 고려했습니다.6 폴란드인들의 일부로 실레지아인들을 보여주는 자료들이 있다.어퍼 실레지아의 최남단 인구의 일부는 때때로 체코인(논란의 여지가 있음)으로 간주된다.</code> | <code>‘완판돌’ 슈퍼주니어가 코스메틱 브랜드 ‘에이바자르’의 전속 모델로 발탁됐다. 슈퍼주니어는 올해 1월부터 데일리 셀프케어 전문 브랜드인 ‘에이바자르’의 모델로 발탁돼 다양한 컬래버레이션 활동을 펼쳐나갈 예정이라 이목이 집중되고 있다. 더불어 ‘에이바자르’ 측은 “슈퍼주니어는 가수 활동뿐 아니라 각종 예능, 드라마 등에서 활발한 활동을 펼치고 있다. 이처럼 자유롭고 스일리시한 슈퍼주니어의 이미지가 브랜드와 부합한다고 생각해 모델로 발탁했다”며 “각국에 두터운 팬덤을 가지고 있는 슈퍼주니어와 함께 글로벌 시장으로 진출 예정”이라고 전해 전 세계에서 변함 없는 사랑을 받고 있는 슈퍼주니어의 인기를 다시 한 번 확인케 했다. 특히 슈퍼주니어는 지난해 11월 정규 8집 앨범 ‘PLAY’(플레이) 앨범 판매 20만장 돌파 기념 TV홈쇼핑에 출연해 방송 중 4,800여콜이라는 동시 접속 최다 콜 수로 상품을 매진 시키고, 단독 콘서트인 ‘슈퍼주니어 월드투어 - 슈퍼쇼7 (SUPER JUNIOR WORLD TOUR SUPER SHOW7)’도 티켓 예매 9분 만에 전일 매진을 기록해 추가 공연을 결정하는 등 떴다 하면 ‘매진’을 기록하며 ‘완판주니어’라는 수식어를 얻은 바 있기에 더욱 기대가 모아지고 있다. 한편, 최근 슈퍼주니어는 이번 달 개국을 앞둔 오락 전문채널 XtvN에서 새로운 예능 프로그램인 ‘슈퍼TV’를 론칭, 오는 1월 26일 밤 11시에 첫 방송할 예정이다.</code> | | <code>중기중앙회는 무엇을 강화하기로 했는가?</code> | <code># 3대 백화점에 60개 점포를 운영하고 있는 A사는 매출액의 36%를 판매수수료로 내고 있다. 여기에 점포 파견 직원(200여명) 인건비(매출액 14%), 부가세 10%를 포함하면 매출액의 60%가 백화점 점포 운영비용으로 투입된다. 여기에 생산비 33%를 제외하면 매출액의 7%로 제품개발, 사무실운영 등에 충당하면 남는 게 별로 없다. # 3대 백화점에 점포를 가지고 있는 B사는 매년 6억원 이상을 인테리어 비용으로 날리고 있다. 수십개 점포를 운영하고 있는 B사의 경우 연평균 점포 20개 정도 내부시설을 고치고 있다. 1점포당 인테리어 비용이 3000만원을 훌쩍 넘는다. B사는 백화점의 강요로 멀쩡한 시설을 뜯어내고 20개 점포 인테리어에만 년 6억원을 쏟아 붓고 있는 것이다. 이렇듯 롯데 현대 신세계 등 국내 3대 백화점의 불공정행위가 도를 넘어섰다. [IMG1]백화점들이 입점기업에게 받는 판매수수료는 매출액의 1/3 이상이다. 수시로 인테리어 교체와 할인판매를 강요하고 있다. 반면 해외브랜드에는 엄청난 혜택을 주고 있다. 이러한 사실은 중소기업중앙회(회장 김기문)가 한국패션협회와 공동으로 5월 20일부터 27일까지 3대 백화점(롯데, 신세계, 현대) 입점기업 300개를 대상으로 실시한 불공정행위 실태조사에서 확인됐다. 실태조사 결과 백화점 판매수수료율은 2010년 평균 29.33%로 나타났고, 3대 백화점중 롯데백화점 판매수수료율이 30.87%로 가장 높았다. 판매수수료율은 해마다 0.2%p 높아지는 추세를 보였다. 실태조사에서 입점 중소기업 81%는 '판매수수료율이 너무 높다'고 응답했다. 최고 높은 수수료를 내는 업종은 패션·잡화로 38%에 달했다. 또한 최근 3년간 입점기업의 46.9%가 백화점의 불공정행위를 경험한 것으로 나타났다. 불공정행위 는 '인테리어 비용부담' 강요가 54.9%로 가장 높았고, '판촉 및 세일행사 참여' 강요는 48.4%에 달했다. 또한 백화점 입점기업 54.7%는 "백화점이 매년 수수료율을 인상한다"고 응답했다. 이중 ...</code> | <code>[씨티그룹과 협업해 '글로벌자금관리시스템(OCMS)' 도입…에너지공기업 최초]<br>한국남부발전은 2일 에너지공기업 최초로 해외지사에 대한 실시간 자금운영 모니터링을 위한 '글로벌자금관리시스템(OCMS)'을 구축했다고 밝혔다.<br>글로벌 종합금융회사 씨티그룹과 협업해 구축된 OCMS는 남부발전과 해외지사간 자금흐름 등을 한 눈에 확인할 수 있어 자금관리의 효율성과 투명성 제고에 기여할 전망이다.<br>남부발전은 실시간 모니터링을 통해 늘어나는 해외사업장들의 납입 자본금과 자금 입·출입 현황 등을 통합 관리해 자금사고 사각지대를 해소할 계획이다. 또 국가간 시차 등의 이유로 수기보고 하던 업무절차를 개선하는 등 관리단계의 편의성도 높이기로 했다.<br>이를 위해 남부발전은 100% 지분을 소유한 미국, 칠레, 요르단 지사에 우선 OCMS을 도입하고, 이후 출자지분 50% 이상 법인까지 시스템을 확대 적용한다. 동시에 글로벌 전사적자원관리(ERP)를 도입해 투명한 회계처리 프로세스를 정착할 예정이다.<br>신정식 남부발전 사장은 "남부발전은 미국 나일스 프로젝트 같은 양질의 해외사업 발굴 뿐 아니라 단 한 건의 인적 안전사고나 금융사고가 발생하지 않도록 철저한 관리시스템을 구축해 나가겠다"고 밝혔다.</code> |
• —Loss: <code>src.losses.MatryoshkaColBERTLoss</code> with these parameters:

  {
      "dims": [
          32,
          64,
          96,
          128
      ],
      "weights": [
          0.25,
          0.25,
          0.25,
          0.25
      ],
      "temperature": 1.0
  }

Training Hyperparameters

Non-Default Hyperparameters

• —eval_strategy: steps
• —per_device_train_batch_size: 64
• —learning_rate: 1e-05
• —num_train_epochs: 2
• —warmup_ratio: 0.1
• —fp16: True
• —dataloader_drop_last: True
• —gradient_checkpointing: True
• —gradient_checkpointing_kwargs: {'use_reentrant': False}
• —router_mapping: {'anchor': 'query', 'positive': 'document', 'neg_0': 'document'}

All Hyperparameters

<details><summary>Click to expand</summary>

• —overwrite_output_dir: False
• —do_predict: False
• —eval_strategy: steps
• —prediction_loss_only: True
• —per_device_train_batch_size: 64
• —per_device_eval_batch_size: 8
• —per_gpu_train_batch_size: None
• —per_gpu_eval_batch_size: None
• —gradient_accumulation_steps: 1
• —eval_accumulation_steps: None
• —torch_empty_cache_steps: None
• —learning_rate: 1e-05
• —weight_decay: 0.0
• —adam_beta1: 0.9
• —adam_beta2: 0.999
• —adam_epsilon: 1e-08
• —max_grad_norm: 1.0
• —num_train_epochs: 2
• —max_steps: -1
• —lr_scheduler_type: linear
• —lr_scheduler_kwargs: {}
• —warmup_ratio: 0.1
• —warmup_steps: 0
• —log_level: passive
• —log_level_replica: warning
• —log_on_each_node: True
• —logging_nan_inf_filter: True
• —save_safetensors: True
• —save_on_each_node: False
• —save_only_model: False
• —restore_callback_states_from_checkpoint: False
• —no_cuda: False
• —use_cpu: False
• —use_mps_device: False
• —seed: 42
• —data_seed: None
• —jit_mode_eval: False
• —use_ipex: False
• —bf16: False
• —fp16: True
• —fp16_opt_level: O1
• —half_precision_backend: auto
• —bf16_full_eval: False
• —fp16_full_eval: False
• —tf32: None
• —local_rank: 0
• —ddp_backend: None
• —tpu_num_cores: None
• —tpu_metrics_debug: False
• —debug: []
• —dataloader_drop_last: True
• —dataloader_num_workers: 0
• —dataloader_prefetch_factor: None
• —past_index: -1
• —disable_tqdm: False
• —remove_unused_columns: True
• —label_names: None
• —load_best_model_at_end: False
• —ignore_data_skip: False
• —fsdp: []
• —fsdp_min_num_params: 0
• —fsdp_config: {'minnumparams': 0, 'xla': False, 'xlafsdpv2': False, 'xlafsdpgrad_ckpt': False}
• —fsdp_transformer_layer_cls_to_wrap: None
• —accelerator_config: {'splitbatches': False, 'dispatchbatches': None, 'evenbatches': True, 'useseedablesampler': True, 'nonblocking': False, 'gradientaccumulationkwargs': None}
• —parallelism_config: None
• —deepspeed: None
• —label_smoothing_factor: 0.0
• —optim: adamwtorchfused
• —optim_args: None
• —adafactor: False
• —group_by_length: False
• —length_column_name: length
• —ddp_find_unused_parameters: None
• —ddp_bucket_cap_mb: None
• —ddp_broadcast_buffers: False
• —dataloader_pin_memory: True
• —dataloader_persistent_workers: False
• —skip_memory_metrics: True
• —use_legacy_prediction_loop: False
• —push_to_hub: False
• —resume_from_checkpoint: None
• —hub_model_id: None
• —hub_strategy: every_save
• —hub_private_repo: None
• —hub_always_push: False
• —hub_revision: None
• —gradient_checkpointing: True
• —gradient_checkpointing_kwargs: {'use_reentrant': False}
• —include_inputs_for_metrics: False
• —include_for_metrics: []
• —eval_do_concat_batches: True
• —fp16_backend: auto
• —push_to_hub_model_id: None
• —push_to_hub_organization: None
• —mp_parameters:
• —auto_find_batch_size: False
• —full_determinism: False
• —torchdynamo: None
• —ray_scope: last
• —ddp_timeout: 1800
• —torch_compile: False
• —torch_compile_backend: None
• —torch_compile_mode: None
• —include_tokens_per_second: False
• —include_num_input_tokens_seen: False
• —neftune_noise_alpha: None
• —optim_target_modules: None
• —batch_eval_metrics: False
• —eval_on_start: False
• —use_liger_kernel: False
• —liger_kernel_config: None
• —eval_use_gather_object: False
• —average_tokens_across_devices: False
• —prompts: None
• —batch_sampler: batch_sampler
• —multi_dataset_batch_sampler: proportional
• —router_mapping: {'anchor': 'query', 'positive': 'document', 'neg_0': 'document'}
• —learning_rate_mapping: {}

</details>

Training Logs

<details><summary>Click to expand</summary>

</details>

Framework Versions

• —Python: 3.11.13
• —Sentence Transformers: 5.1.1
• —PyLate: 1.3.4
• —Transformers: 4.56.2
• —PyTorch: 2.8.0+cu128
• —Accelerate: 1.12.0
• —Datasets: 4.4.1
• —Tokenizers: 0.22.2-rc0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084"
}

PyLate

@misc{PyLate,
title={PyLate: Flexible Training and Retrieval for Late Interaction Models},
author={Chaffin, Antoine and Sourty, Raphaël},
url={https://github.com/lightonai/pylate},
year={2024}
}

Jina ColBERT v2

@article{jina-colbert-v2,
    title={Jina-ColBERT-v2: A General-Purpose Multilingual Late Interaction Retriever},
    author={Rohan Jha and Bo Wang and Michael Günther and Saba Sturua and Mohammad Kalim Akram and Han Xiao},
    year={2024},
    journal={arXiv preprint arXiv:2408.16672},
    url={https://arxiv.org/abs/2408.16672}
}

<!--

Glossary

Clearly define terms in order to be accessible across audiences. -->

<!--

Model Card Authors

Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction. -->

<!--

Full Evaluation Results

<details> <summary>Detailed metrics (click to expand)</summary>

dim128

dim96

dim64

dim32

</details>

Training Details

Training Dataset

parquet

• —Dataset: parquet
• —Size: 379,805 training samples
• —Columns: <code>anchor</code>, <code>positive</code>, and <code>neg_0</code>
• —Approximate statistics based on the first 1000 samples: | | anchor | positive | neg_0 | |:--------|:---------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------| | type | string | string | string | | details | <ul><li>min: 8 tokens</li><li>mean: 23.7 tokens</li><li>max: 56 tokens</li></ul> | <ul><li>min: 73 tokens</li><li>mean: 419.07 tokens</li><li>max: 1530 tokens</li></ul> | <ul><li>min: 92 tokens</li><li>mean: 334.91 tokens</li><li>max: 1423 tokens</li></ul> |
• —Samples: | anchor | positive | neg_0 | |:-------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | <code>트랜스카르파티아의 우크라이나인들은 무엇을 지지하나요?</code> | <code># 1 또한 루신의 일부로 간주됨 # 3 우크라이나인과 벨라루스인 사이의 과도기로 간주됨 # 3 렘코스의 민족적 소속은 이념적 갈등이 되었다.르모스 중에서 "카르파토-루테니아" 민족이라는 개념은 트랜스카르파티아와 해외에 거주하는 르모스에 의해서만 지지된다고 주장되어 왔다.4 역사적인 모라비아의 대부분의 주민들은 자신들을 체코인으로 간주했지만 상당수는 체코와는 다르게(보헤미아와 모라비아 사람들은 같은 공용어를 사용하지만) 모라비아 국적을 선언했다.5 또한 폴란드인을 고려했습니다.6 폴란드인들의 일부로 실레지아인들을 보여주는 자료들이 있다.어퍼 실레지아의 최남단 인구의 일부는 때때로 체코인(논란의 여지가 있음)으로 간주된다.</code> | <code>Ⅴ. 결 론<br>□ 우리나라에서는 지방자치단체간의 재정불균형을 완화할 목적으로 중앙정부가 지방교부세를 교부하고 있고 광역자치단체가 기초자치단체에 조정교부금을 교부하는 등 수직적 지방재정조정제도가 운영 중임<br>○ 이에 더하여 지방자치단체간의 수평적 지방재정조정제도인 지역상생발전기금을 운영하고 있음<br>- 지역상생발전기금은 수도권 3개 광역자치단체가 지방소비세의 일부를 출연하여 주로 비수도권 14개 광역자치단체에 배분하는 제도로써, 전국 17개 광역자치단체간의 재정불균형을 시정할 목적으로 도입되었음<br>◆ 하지만 지역상생발전기금과 관련된 제도 및 운영방식에 있어서 불충분하고 불합리한 측면이 있으므로 이에 대한 개선방안이 필요함</code> | | <code>극단의 일부로 간주되는 그룹은 무엇입니까?</code> | <code># 1 또한 루신의 일부로 간주됨 # 3 우크라이나인과 벨라루스인 사이의 과도기로 간주됨 # 3 렘코스의 민족적 소속은 이념적 갈등이 되었다.르모스 중에서 "카르파토-루테니아" 민족이라는 개념은 트랜스카르파티아와 해외에 거주하는 르모스에 의해서만 지지된다고 주장되어 왔다.4 역사적인 모라비아의 대부분의 주민들은 자신들을 체코인으로 간주했지만 상당수는 체코와는 다르게(보헤미아와 모라비아 사람들은 같은 공용어를 사용하지만) 모라비아 국적을 선언했다.5 또한 폴란드인을 고려했습니다.6 폴란드인들의 일부로 실레지아인들을 보여주는 자료들이 있다.어퍼 실레지아의 최남단 인구의 일부는 때때로 체코인(논란의 여지가 있음)으로 간주된다.</code> | <code>‘완판돌’ 슈퍼주니어가 코스메틱 브랜드 ‘에이바자르’의 전속 모델로 발탁됐다. 슈퍼주니어는 올해 1월부터 데일리 셀프케어 전문 브랜드인 ‘에이바자르’의 모델로 발탁돼 다양한 컬래버레이션 활동을 펼쳐나갈 예정이라 이목이 집중되고 있다. 더불어 ‘에이바자르’ 측은 “슈퍼주니어는 가수 활동뿐 아니라 각종 예능, 드라마 등에서 활발한 활동을 펼치고 있다. 이처럼 자유롭고 스일리시한 슈퍼주니어의 이미지가 브랜드와 부합한다고 생각해 모델로 발탁했다”며 “각국에 두터운 팬덤을 가지고 있는 슈퍼주니어와 함께 글로벌 시장으로 진출 예정”이라고 전해 전 세계에서 변함 없는 사랑을 받고 있는 슈퍼주니어의 인기를 다시 한 번 확인케 했다. 특히 슈퍼주니어는 지난해 11월 정규 8집 앨범 ‘PLAY’(플레이) 앨범 판매 20만장 돌파 기념 TV홈쇼핑에 출연해 방송 중 4,800여콜이라는 동시 접속 최다 콜 수로 상품을 매진 시키고, 단독 콘서트인 ‘슈퍼주니어 월드투어 - 슈퍼쇼7 (SUPER JUNIOR WORLD TOUR SUPER SHOW7)’도 티켓 예매 9분 만에 전일 매진을 기록해 추가 공연을 결정하는 등 떴다 하면 ‘매진’을 기록하며 ‘완판주니어’라는 수식어를 얻은 바 있기에 더욱 기대가 모아지고 있다. 한편, 최근 슈퍼주니어는 이번 달 개국을 앞둔 오락 전문채널 XtvN에서 새로운 예능 프로그램인 ‘슈퍼TV’를 론칭, 오는 1월 26일 밤 11시에 첫 방송할 예정이다.</code> | | <code>중기중앙회는 무엇을 강화하기로 했는가?</code> | <code># 3대 백화점에 60개 점포를 운영하고 있는 A사는 매출액의 36%를 판매수수료로 내고 있다. 여기에 점포 파견 직원(200여명) 인건비(매출액 14%), 부가세 10%를 포함하면 매출액의 60%가 백화점 점포 운영비용으로 투입된다. 여기에 생산비 33%를 제외하면 매출액의 7%로 제품개발, 사무실운영 등에 충당하면 남는 게 별로 없다. # 3대 백화점에 점포를 가지고 있는 B사는 매년 6억원 이상을 인테리어 비용으로 날리고 있다. 수십개 점포를 운영하고 있는 B사의 경우 연평균 점포 20개 정도 내부시설을 고치고 있다. 1점포당 인테리어 비용이 3000만원을 훌쩍 넘는다. B사는 백화점의 강요로 멀쩡한 시설을 뜯어내고 20개 점포 인테리어에만 년 6억원을 쏟아 붓고 있는 것이다. 이렇듯 롯데 현대 신세계 등 국내 3대 백화점의 불공정행위가 도를 넘어섰다. [IMG1]백화점들이 입점기업에게 받는 판매수수료는 매출액의 1/3 이상이다. 수시로 인테리어 교체와 할인판매를 강요하고 있다. 반면 해외브랜드에는 엄청난 혜택을 주고 있다. 이러한 사실은 중소기업중앙회(회장 김기문)가 한국패션협회와 공동으로 5월 20일부터 27일까지 3대 백화점(롯데, 신세계, 현대) 입점기업 300개를 대상으로 실시한 불공정행위 실태조사에서 확인됐다. 실태조사 결과 백화점 판매수수료율은 2010년 평균 29.33%로 나타났고, 3대 백화점중 롯데백화점 판매수수료율이 30.87%로 가장 높았다. 판매수수료율은 해마다 0.2%p 높아지는 추세를 보였다. 실태조사에서 입점 중소기업 81%는 '판매수수료율이 너무 높다'고 응답했다. 최고 높은 수수료를 내는 업종은 패션·잡화로 38%에 달했다. 또한 최근 3년간 입점기업의 46.9%가 백화점의 불공정행위를 경험한 것으로 나타났다. 불공정행위 는 '인테리어 비용부담' 강요가 54.9%로 가장 높았고, '판촉 및 세일행사 참여' 강요는 48.4%에 달했다. 또한 백화점 입점기업 54.7%는 "백화점이 매년 수수료율을 인상한다"고 응답했다. 이중 ...</code> | <code>[씨티그룹과 협업해 '글로벌자금관리시스템(OCMS)' 도입…에너지공기업 최초]<br>한국남부발전은 2일 에너지공기업 최초로 해외지사에 대한 실시간 자금운영 모니터링을 위한 '글로벌자금관리시스템(OCMS)'을 구축했다고 밝혔다.<br>글로벌 종합금융회사 씨티그룹과 협업해 구축된 OCMS는 남부발전과 해외지사간 자금흐름 등을 한 눈에 확인할 수 있어 자금관리의 효율성과 투명성 제고에 기여할 전망이다.<br>남부발전은 실시간 모니터링을 통해 늘어나는 해외사업장들의 납입 자본금과 자금 입·출입 현황 등을 통합 관리해 자금사고 사각지대를 해소할 계획이다. 또 국가간 시차 등의 이유로 수기보고 하던 업무절차를 개선하는 등 관리단계의 편의성도 높이기로 했다.<br>이를 위해 남부발전은 100% 지분을 소유한 미국, 칠레, 요르단 지사에 우선 OCMS을 도입하고, 이후 출자지분 50% 이상 법인까지 시스템을 확대 적용한다. 동시에 글로벌 전사적자원관리(ERP)를 도입해 투명한 회계처리 프로세스를 정착할 예정이다.<br>신정식 남부발전 사장은 "남부발전은 미국 나일스 프로젝트 같은 양질의 해외사업 발굴 뿐 아니라 단 한 건의 인적 안전사고나 금융사고가 발생하지 않도록 철저한 관리시스템을 구축해 나가겠다"고 밝혔다.</code> |
• —Loss: <code>src.losses.MatryoshkaColBERTLoss</code> with these parameters:

  {
      "dims": [
          32,
          64,
          96,
          128
      ],
      "weights": [
          0.25,
          0.25,
          0.25,
          0.25
      ],
      "temperature": 1.0
  }

Training Hyperparameters

Non-Default Hyperparameters

• —eval_strategy: steps
• —per_device_train_batch_size: 64
• —learning_rate: 1e-05
• —num_train_epochs: 2
• —warmup_ratio: 0.1
• —fp16: True
• —dataloader_drop_last: True
• —gradient_checkpointing: True
• —gradient_checkpointing_kwargs: {'use_reentrant': False}
• —router_mapping: {'anchor': 'query', 'positive': 'document', 'neg_0': 'document'}

All Hyperparameters

<details><summary>Click to expand</summary>

• —overwrite_output_dir: False
• —do_predict: False
• —eval_strategy: steps
• —prediction_loss_only: True
• —per_device_train_batch_size: 64
• —per_device_eval_batch_size: 8
• —per_gpu_train_batch_size: None
• —per_gpu_eval_batch_size: None
• —gradient_accumulation_steps: 1
• —eval_accumulation_steps: None
• —torch_empty_cache_steps: None
• —learning_rate: 1e-05
• —weight_decay: 0.0
• —adam_beta1: 0.9
• —adam_beta2: 0.999
• —adam_epsilon: 1e-08
• —max_grad_norm: 1.0
• —num_train_epochs: 2
• —max_steps: -1
• —lr_scheduler_type: linear
• —lr_scheduler_kwargs: {}
• —warmup_ratio: 0.1
• —warmup_steps: 0
• —log_level: passive
• —log_level_replica: warning
• —log_on_each_node: True
• —logging_nan_inf_filter: True
• —save_safetensors: True
• —save_on_each_node: False
• —save_only_model: False
• —restore_callback_states_from_checkpoint: False
• —no_cuda: False
• —use_cpu: False
• —use_mps_device: False
• —seed: 42
• —data_seed: None
• —jit_mode_eval: False
• —use_ipex: False
• —bf16: False
• —fp16: True
• —fp16_opt_level: O1
• —half_precision_backend: auto
• —bf16_full_eval: False
• —fp16_full_eval: False
• —tf32: None
• —local_rank: 0
• —ddp_backend: None
• —tpu_num_cores: None
• —tpu_metrics_debug: False
• —debug: []
• —dataloader_drop_last: True
• —dataloader_num_workers: 0
• —dataloader_prefetch_factor: None
• —past_index: -1
• —disable_tqdm: False
• —remove_unused_columns: True
• —label_names: None
• —load_best_model_at_end: False
• —ignore_data_skip: False
• —fsdp: []
• —fsdp_min_num_params: 0
• —fsdp_config: {'minnumparams': 0, 'xla': False, 'xlafsdpv2': False, 'xlafsdpgrad_ckpt': False}
• —fsdp_transformer_layer_cls_to_wrap: None
• —accelerator_config: {'splitbatches': False, 'dispatchbatches': None, 'evenbatches': True, 'useseedablesampler': True, 'nonblocking': False, 'gradientaccumulationkwargs': None}
• —parallelism_config: None
• —deepspeed: None
• —label_smoothing_factor: 0.0
• —optim: adamwtorchfused
• —optim_args: None
• —adafactor: False
• —group_by_length: False
• —length_column_name: length
• —ddp_find_unused_parameters: None
• —ddp_bucket_cap_mb: None
• —ddp_broadcast_buffers: False
• —dataloader_pin_memory: True
• —dataloader_persistent_workers: False
• —skip_memory_metrics: True
• —use_legacy_prediction_loop: False
• —push_to_hub: False
• —resume_from_checkpoint: None
• —hub_model_id: None
• —hub_strategy: every_save
• —hub_private_repo: None
• —hub_always_push: False
• —hub_revision: None
• —gradient_checkpointing: True
• —gradient_checkpointing_kwargs: {'use_reentrant': False}
• —include_inputs_for_metrics: False
• —include_for_metrics: []
• —eval_do_concat_batches: True
• —fp16_backend: auto
• —push_to_hub_model_id: None
• —push_to_hub_organization: None
• —mp_parameters:
• —auto_find_batch_size: False
• —full_determinism: False
• —torchdynamo: None
• —ray_scope: last
• —ddp_timeout: 1800
• —torch_compile: False
• —torch_compile_backend: None
• —torch_compile_mode: None
• —include_tokens_per_second: False
• —include_num_input_tokens_seen: False
• —neftune_noise_alpha: None
• —optim_target_modules: None
• —batch_eval_metrics: False
• —eval_on_start: False
• —use_liger_kernel: False
• —liger_kernel_config: None
• —eval_use_gather_object: False
• —average_tokens_across_devices: False
• —prompts: None
• —batch_sampler: batch_sampler
• —multi_dataset_batch_sampler: proportional
• —router_mapping: {'anchor': 'query', 'positive': 'document', 'neg_0': 'document'}
• —learning_rate_mapping: {}

</details>

Training Logs

<details><summary>Click to expand</summary>