Upload checkpoint-19250

checkpoints/checkpoint-19250/1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+    "word_embedding_dimension": 768,
+    "pooling_mode_cls_token": false,
+    "pooling_mode_mean_tokens": true,
+    "pooling_mode_max_tokens": false,
+    "pooling_mode_mean_sqrt_len_tokens": false,
+    "pooling_mode_weightedmean_tokens": false,
+    "pooling_mode_lasttoken": false,
+    "include_prompt": true
+}

checkpoints/checkpoint-19250/README.md

@@ -0,0 +1,832 @@
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- dense
+- generated_from_trainer
+- dataset_size:985664
+- loss:MatryoshkaLoss
+- loss:MultipleNegativesRankingLoss
+base_model: QuangDuy/bert-base-stage2-hf
+widget:
+- source_sentence: đáng giá
+  sentences:
+  - 'Reinhold Wurth Net Worth: Reinhold Wurth là một doanh nhân người Đức có tài sản
+    ròng 8,7 tỷ USD. Reinhold Wurth chỉ mới 19 tuổi khi ông tiếp quản ngành công nghiệp
+    vít nhỏ của cha mình và xây dựng nó thành một công ty siêu lợi nhuận ngày nay
+    được gọi là Adolf Wurth Group. Sinh ngày 20 tháng 4 năm 1935 tại ÃÂâ €“hringen,
+    Württemberg, Đức, Wurth đã làm nên tài sản của mình trong những năm qua khi giá
+    trị của lĩnh vực công cụ và ốc vít ngày càng tăng.'
+  - Bộ phát triển phần mềm. Bộ công cụ phát triển phần mềm (SDK hoặc devkit) thường
+    là một bộ công cụ phát triển phần mềm cho phép tạo các ứng dụng cho một gói phần
+    mềm, khung phần mềm, nền tảng phần cứng, hệ thống máy tính, bảng điều khiển trò
+    chơi điện tử, hệ điều hành hoặc nền tảng phát triển tương tự nhất định.
+  - Rita Marley Net Worth; Jason Statham Net Worth; Jeff Burton Net Worth; Jon Favreau
+    Net Worth; Raini Rodriguez Net Worth; Aaliyah Net Worth; Dennis Miller Net Worth;
+    Rachel True Net Worth; Jenni Rivera Giá trị ròng; Clint Dempsey Net Worth
+- source_sentence: oxol là gì
+  sentences:
+  - Một từ khác cho sự hồ hởi là gì? Một từ khác cho phấn khởi là gì? Một từ khác
+    cho phấn khởi là gì? Một từ khác để khuyến khích là gì? Một từ khác cho những
+    lời khuyên nhủ là gì? Một từ khác để khuyến khích là gì? Một từ khác để khuyến
+    khích là gì? Một từ khác cho lời khuyến khích là gì? Một từ khác để khuyến khích
+    là gì?
+  - Oxol IIâÂâ €ž¢ Dung môi oxy hóa / polyme. Dung môi O. xol IIâÂâ €ž¢ là một chất
+    oxy hóa rắn giúp loại bỏ. tích tụ polyme từ các giếng phun và sản xuất. Oxol.
+    Chất oxy hóa II cũng là chất phá vỡ được lựa chọn trong chất lỏng Flo-PacâÂâ €ž¢
+    cho. hoạt động đóng gói sỏi. Các ứng dụng.
+  - Becton, Dickinson and Company (BD) là một công ty công nghệ y tế của Mỹ chuyên
+    sản xuất và bán các thiết bị y tế, hệ thống dụng cụ và thuốc thử. Được thành lập
+    vào năm 1897 và có trụ sở chính tại Franklin Lakes, New Jersey, BD sử dụng gần
+    50.000 nhân viên tại hơn 50 quốc gia trên khắp thế giới.
+- source_sentence: đảo hồ lớn
+  sentences:
+  - Các hồ lớn. Great Lakes là năm hồ lớn nhất ở Hoa Kỳ và bao gồm Hồ Superior, Hồ
+    Huron, Hồ Michigan, Hồ Erie và Hồ Ontario. Hồ Lớn. Great Lakes là năm hồ lớn nhất
+    ở Hoa Kỳ và bao gồm Hồ Superior, Hồ Huron, Hồ Michigan, Hồ Erie và Hồ Ontario.
+  - hashish là một cannabinoid giống như cần sa, nó bao gồm nguyên liệu nhựa giàu
+    thc của cây cần sa được thu thập sấy khô và sau đó nén thành nhiều dạng như bánh
+    bóng hoặc bánh quy như sheetashish là một cannabinoid giống như cần sa, nó bao
+    gồm nhựa giàu thc nguyên liệu của cây cần sa được thu hái sấy khô và sau đó nén
+    thành nhiều dạng như bánh bóng hoặc bánh quy dạng tấm
+  - Hệ thống Thông tin Địa lý / Hệ thống Hỗ trợ Quyết định Quần đảo Great Lakes. Great
+    Lakes bao gồm khoảng 30.000 hòn đảo, có kích thước từ những tảng đá nhỏ đến hơn
+    một trăm nghìn mẫu Anh. Những hòn đảo này tạo thành hệ thống đảo nước ngọt lớn
+    nhất thế giới và là nguồn tài nguyên thiên nhiên độc đáo.
+- source_sentence: uhc là gì
+  sentences:
+  - Zom Zom's là một địa điểm chạm trán ở giữa một số ô đổ nát, cách Cơ sở Cryo bảy
+    ô về phía bắc. Nhân vật sở hữu kỹ năng Eagle Eye hoặc thiết bị phóng đại như ống
+    nhòm hoặc ...
+  - 'UHC là một từ viết tắt có ba chữ cái có thể chỉ định một trong những điều sau
+    đây: 1 Chăm sóc sức khỏe toàn dân hoặc Bảo hiểm sức khỏe toàn dân. 2 Hiđrocacbon
+    không cháy. 3 Công ty Sở thích Kỳ lân. Bệnh viện Đại học của 1 Cleveland. United
+    Healthcare, một công ty bảo hiểm sức khỏe lớn ở Hoa Kỳ'
+  - Địa chỉ thanh toán của United Health care. Theo như mối quan tâm của UHC, có rất
+    nhiều địa chỉ để gửi yêu cầu nhưng hầu hết thời gian không quan trọng bạn đã gửi
+    địa chỉ nào. Trong khi gửi yêu cầu sử dụng điện tử 87726 làm id người thanh toán,
+    nó sẽ hoạt động tốt với hầu hết các công ty thanh toán bù trừ. Địa chỉ gửi yêu
+    cầu chăm sóc sức khỏe của United. Đế chế UHC.
+- source_sentence: tôi ở đâu
+  sentences:
+  - Trong bài viết này, chúng tôi sẽ thảo luận về UGC là gì và vai trò của nó trong
+    thế giới học thuật của Ấn Độ. Trước hết, từ viết tắt của UGC là viết tắt của University
+    Grants Commission, Ấn Độ. Nó là một cơ quan theo luật định được bắt đầu vào năm
+    1956. Nó được thành lập bởi Chính phủ Liên minh của Ấn Độ để đảm bảo rằng tiêu
+    chuẩn giáo dục Đại học ở Ấn Độ được duy trì.
+  - 'Damphall Mine là một hầm ngục trong Skyrim: Dragonborn. Mỏ Damphall được tìm
+    thấy trên bờ biển phía Tây của Solstheim. Tiếp cận và vào mỏ để bắt đầu khám phá
+    nó. Mong đợi để gặp Reavers bên ngoài mỏ bảo vệ nó. Họ có một cơ sở bên trong.
+    Đi về phía Nam xuống dốc và vào hang đầu tiên của mỏ này. Có một vài chiếc Reavers
+    chỉ quanh một bức tường gỗ. Đánh bại chúng và tiến về phương Nam.'
+  - Cái gì là của bạn là của tôi, và cái gì là của tôi là của riêng tôi lol nhưng
+    ........ Cái gì của bạn là của tôi và cái gì là của tôi là của riêng tôi. tưởng
+    tượng. Cái gì của bạn là của tôi, và cái gì của tôi là của riêng tôi !! Cái gì
+    của bạn thì là của tôi, cái gì của tôi là của riêng tôi, còn cái gì còn lại chúng
+    ta cùng nhau chia sẻ !!! Cái gì của bạn là của tôi và cái gì của tôi là của tôi.
+    Cái gì của ngươi là của ta, và cái gì của ta cũng là của ngươi.
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+---
+
+# SentenceTransformer based on QuangDuy/bert-base-stage2-hf
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [QuangDuy/bert-base-stage2-hf](https://huggingface.co/QuangDuy/bert-base-stage2-hf). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [QuangDuy/bert-base-stage2-hf](https://huggingface.co/QuangDuy/bert-base-stage2-hf) <!-- at revision 6a6ac1ff59259c4fe29b121488afa79d0bfe3e6a -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+<!-- - **Training Dataset:** Unknown -->
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+  (2): Normalize()
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("sentence_transformers_model_id")
+# Run inference
+sentences = [
+    'tôi ở đâu',
+    'Damphall Mine là một hầm ngục trong Skyrim: Dragonborn. Mỏ Damphall được tìm thấy trên bờ biển phía Tây của Solstheim. Tiếp cận và vào mỏ để bắt đầu khám phá nó. Mong đợi để gặp Reavers bên ngoài mỏ bảo vệ nó. Họ có một cơ sở bên trong. Đi về phía Nam xuống dốc và vào hang đầu tiên của mỏ này. Có một vài chiếc Reavers chỉ quanh một bức tường gỗ. Đánh bại chúng và tiến về phương Nam.',
+    'Cái gì là của bạn là của tôi, và cái gì là của tôi là của riêng tôi lol nhưng ........ Cái gì của bạn là của tôi và cái gì là của tôi là của riêng tôi. tưởng tượng. Cái gì của bạn là của tôi, và cái gì của tôi là của riêng tôi !! Cái gì của bạn thì là của tôi, cái gì của tôi là của riêng tôi, còn cái gì còn lại chúng ta cùng nhau chia sẻ !!! Cái gì của bạn là của tôi và cái gì của tôi là của tôi. Cái gì của ngươi là của ta, và cái gì của ta cũng là của ngươi.',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities)
+# tensor([[ 1.0000,  0.4626, -0.0751],
+#         [ 0.4626,  1.0000, -0.1300],
+#         [-0.0751, -0.1300,  1.0000]])
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### Unnamed Dataset
+
+* Size: 985,664 training samples
+* Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>sentence_2</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | sentence_0                                                                      | sentence_1                                                                          | sentence_2                                                                          |
+  |:--------|:--------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|:------------------------------------------------------------------------------------|
+  | type    | string                                                                          | string                                                                              | string                                                                              |
+  | details | <ul><li>min: 4 tokens</li><li>mean: 5.66 tokens</li><li>max: 8 tokens</li></ul> | <ul><li>min: 10 tokens</li><li>mean: 91.15 tokens</li><li>max: 252 tokens</li></ul> | <ul><li>min: 24 tokens</li><li>mean: 94.89 tokens</li><li>max: 279 tokens</li></ul> |
+* Samples:
+  | sentence_0              | sentence_1                                                                                                                                                                                                                                                                                                                                                                                  | sentence_2                                                                                                                                                                                                                                                                                                                                                                                                         |
+  |:------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>iq là ai?</code>  | <code>Chỉ số IQ là sự so sánh kết quả kiểm tra của bạn với kết quả của những người cùng tuổi với bạn. Chỉ số IQ trung bình là 100. Nếu bạn cho 1.000 người làm một bài kiểm tra thực sự khó, kết quả của bạn sẽ như sau: Biểu đồ càng cao thì càng có nhiều người đạt được điểm đó.</code>                                                                                                  | <code>Phương pháp trước đây cho phép chúng tôi đưa ra điểm IQ tối đa được giới hạn trực tiếp bởi bài kiểm tra và mẫu quy chuẩn; ví dụ: WAIS-IV có chỉ số IQ trần, tôi nghĩ là 160, vì vậy người nào đạt được mọi mục đúng trong bài kiểm tra chỉ có thể có chỉ số IQ từ 160 trở lên.</code>                                                                                                                        |
+  | <code>t20 là gì</code>  | <code>Twenty20 cricket, đôi khi được viết là Twenty-20, và thường được viết tắt là T20, là một dạng ngắn của cricket. Ban đầu nó được giới thiệu bởi Hội đồng Cricket Anh và Xứ Wales (ECB) vào năm 2003 để thi đấu chuyên nghiệp giữa các quận ở Anh và xứ Wales. Trong trò chơi Twenty20, hai đội có một lượt chơi duy nhất, mỗi lượt được giới hạn ở mức tối đa 20 lần vượt trội.</code> | <code># 6 Đăng ngày 30 tháng 6 năm 2015 - 09:23 PM. T20 vàng: Kẻ tình nghi được nhìn thấy lần cuối trong một chiếc xe biểu diễn uhhh. Tự hỏi liệu những kẻ lười biếng viết mã trò chơi này có thực hiện công văn nói rằng Progen hay không. DIEXEL và Lamborghini1335 thích điều này.</code>                                                                                                                       |
+  | <code>ifis là gì</code> | <code>Hội chứng mống mắt mềm trong phẫu thuật. Hội chứng mống mắt mềm trong phẫu thuật (IFIS) là một biến chứng có thể xảy ra trong quá trình chiết xuất đục thủy tinh thể ở một số bệnh nhân nhất định.</code>                                                                                                                                                                             | <code>Bán máy bay CESSNA CITATION 525. Danh sách nổi bật. Khung máy bay 605 TT; COLLINS PROLINE 21 4 TUBE 8â€Ââ „¢ X10â€Ââ" ¢ MÀN HÌNH LCD MÀN HÌNH XOAY EFIS DUAL COLLINS FMS-3200 W / CDUâ€Ââ „¢ S COLLINS PRO LINE 21 IFCS HONEYWELL MARK VIII EGPWS, CLASS A DUAL COLLINS VHF-4000 DUAL COLLINS AHC-3000 AHRS KÉP COLLINS ADC-3000 COLLINS IFIS 5000 KÉO COLLINS GPS-4000A 12-CHANNEL, WAA ...</code> |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: steps
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 64
+- `weight_decay`: 0.01
+- `warmup_steps`: 4621
+- `bf16`: True
+- `gradient_checkpointing`: True
+- `gradient_checkpointing_kwargs`: {'use_reentrant': False}
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: steps
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 64
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 5e-05
+- `weight_decay`: 0.01
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 3
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: None
+- `warmup_ratio`: 0.0
+- `warmup_steps`: 4621
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `bf16`: True
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: True
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: False
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `parallelism_config`: None
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `project`: huggingface
+- `trackio_space_id`: trackio
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: None
+- `hub_always_push`: False
+- `hub_revision`: None
+- `gradient_checkpointing`: True
+- `gradient_checkpointing_kwargs`: {'use_reentrant': False}
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: no
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `liger_kernel_config`: None
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: True
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+- `router_mapping`: {}
+- `learning_rate_mapping`: {}
+
+</details>
+
+### Training Logs
+<details><summary>Click to expand</summary>
+
+| Epoch  | Step  | Training Loss | validation loss |
+|:------:|:-----:|:-------------:|:---------------:|
+| 0.0065 | 50    | 15.8358       | -               |
+| 0.0130 | 100   | 14.6302       | -               |
+| 0.0195 | 150   | 12.9435       | -               |
+| 0.0260 | 200   | 11.0158       | -               |
+| 0.0325 | 250   | 8.1467        | -               |
+| 0.0390 | 300   | 6.3047        | -               |
+| 0.0455 | 350   | 5.3338        | -               |
+| 0.0519 | 400   | 4.8151        | -               |
+| 0.0584 | 450   | 4.4069        | -               |
+| 0.0649 | 500   | 3.9475        | -               |
+| 0.0714 | 550   | 3.7711        | -               |
+| 0.0779 | 600   | 3.632         | -               |
+| 0.0844 | 650   | 3.4845        | -               |
+| 0.0909 | 700   | 3.1533        | -               |
+| 0.0974 | 750   | 3.1241        | -               |
+| 0.1039 | 800   | 3.0126        | -               |
+| 0.1104 | 850   | 2.9288        | -               |
+| 0.1169 | 900   | 2.8272        | -               |
+| 0.1234 | 950   | 2.8498        | -               |
+| 0.1299 | 1000  | 2.7475        | -               |
+| 0.1364 | 1050  | 2.6876        | -               |
+| 0.1429 | 1100  | 2.6059        | -               |
+| 0.1494 | 1150  | 2.5872        | -               |
+| 0.1558 | 1200  | 2.5415        | -               |
+| 0.1623 | 1250  | 2.4019        | -               |
+| 0.1688 | 1300  | 2.4368        | -               |
+| 0.1753 | 1350  | 2.4458        | -               |
+| 0.1818 | 1400  | 2.3388        | -               |
+| 0.1883 | 1450  | 2.3098        | -               |
+| 0.1948 | 1500  | 2.2482        | -               |
+| 0.2013 | 1550  | 2.2563        | -               |
+| 0.2078 | 1600  | 2.2442        | -               |
+| 0.2143 | 1650  | 2.2237        | -               |
+| 0.2208 | 1700  | 2.1157        | -               |
+| 0.2273 | 1750  | 2.0403        | -               |
+| 0.2338 | 1800  | 2.21          | -               |
+| 0.2403 | 1850  | 2.0855        | -               |
+| 0.2468 | 1900  | 2.028         | -               |
+| 0.2532 | 1950  | 2.153         | -               |
+| 0.2597 | 2000  | 2.069         | -               |
+| 0.2662 | 2050  | 1.9813        | -               |
+| 0.2727 | 2100  | 1.9279        | -               |
+| 0.2792 | 2150  | 2.0104        | -               |
+| 0.2857 | 2200  | 1.9722        | -               |
+| 0.2922 | 2250  | 1.9682        | -               |
+| 0.2987 | 2300  | 1.984         | -               |
+| 0.3052 | 2350  | 1.8487        | -               |
+| 0.3117 | 2400  | 1.9267        | -               |
+| 0.3182 | 2450  | 1.7841        | -               |
+| 0.3247 | 2500  | 1.8177        | -               |
+| 0.3312 | 2550  | 1.8583        | -               |
+| 0.3377 | 2600  | 1.8784        | -               |
+| 0.3442 | 2650  | 1.7052        | -               |
+| 0.3506 | 2700  | 1.8204        | -               |
+| 0.3571 | 2750  | 1.7969        | -               |
+| 0.3636 | 2800  | 1.7978        | -               |
+| 0.3701 | 2850  | 1.8179        | -               |
+| 0.3766 | 2900  | 1.7164        | -               |
+| 0.3831 | 2950  | 1.8107        | -               |
+| 0.3896 | 3000  | 1.759         | -               |
+| 0.3961 | 3050  | 1.7963        | -               |
+| 0.4026 | 3100  | 1.7223        | -               |
+| 0.4091 | 3150  | 1.7151        | -               |
+| 0.4156 | 3200  | 1.7295        | -               |
+| 0.4221 | 3250  | 1.6981        | -               |
+| 0.4286 | 3300  | 1.6633        | -               |
+| 0.4351 | 3350  | 1.5966        | -               |
+| 0.4416 | 3400  | 1.6285        | -               |
+| 0.4481 | 3450  | 1.7149        | -               |
+| 0.4545 | 3500  | 1.6233        | -               |
+| 0.4610 | 3550  | 1.5522        | -               |
+| 0.4675 | 3600  | 1.5499        | -               |
+| 0.4740 | 3650  | 1.5963        | -               |
+| 0.4805 | 3700  | 1.6582        | -               |
+| 0.4870 | 3750  | 1.5972        | -               |
+| 0.4935 | 3800  | 1.6449        | -               |
+| 0.5    | 3850  | 1.6221        | 5.2713          |
+| 0.5065 | 3900  | 1.6147        | -               |
+| 0.5130 | 3950  | 1.5756        | -               |
+| 0.5195 | 4000  | 1.6214        | -               |
+| 0.5260 | 4050  | 1.5839        | -               |
+| 0.5325 | 4100  | 1.4891        | -               |
+| 0.5390 | 4150  | 1.5387        | -               |
+| 0.5455 | 4200  | 1.5678        | -               |
+| 0.5519 | 4250  | 1.4943        | -               |
+| 0.5584 | 4300  | 1.4306        | -               |
+| 0.5649 | 4350  | 1.4864        | -               |
+| 0.5714 | 4400  | 1.4896        | -               |
+| 0.5779 | 4450  | 1.5186        | -               |
+| 0.5844 | 4500  | 1.4905        | -               |
+| 0.5909 | 4550  | 1.5195        | -               |
+| 0.5974 | 4600  | 1.4064        | -               |
+| 0.6039 | 4650  | 1.5026        | -               |
+| 0.6104 | 4700  | 1.4919        | -               |
+| 0.6169 | 4750  | 1.5235        | -               |
+| 0.6234 | 4800  | 1.4332        | -               |
+| 0.6299 | 4850  | 1.4619        | -               |
+| 0.6364 | 4900  | 1.4294        | -               |
+| 0.6429 | 4950  | 1.4463        | -               |
+| 0.6494 | 5000  | 1.3645        | -               |
+| 0.6558 | 5050  | 1.3592        | -               |
+| 0.6623 | 5100  | 1.3791        | -               |
+| 0.6688 | 5150  | 1.4485        | -               |
+| 0.6753 | 5200  | 1.372         | -               |
+| 0.6818 | 5250  | 1.4108        | -               |
+| 0.6883 | 5300  | 1.3499        | -               |
+| 0.6948 | 5350  | 1.3396        | -               |
+| 0.7013 | 5400  | 1.367         | -               |
+| 0.7078 | 5450  | 1.4217        | -               |
+| 0.7143 | 5500  | 1.3431        | -               |
+| 0.7208 | 5550  | 1.3333        | -               |
+| 0.7273 | 5600  | 1.3898        | -               |
+| 0.7338 | 5650  | 1.3228        | -               |
+| 0.7403 | 5700  | 1.33          | -               |
+| 0.7468 | 5750  | 1.3245        | -               |
+| 0.7532 | 5800  | 1.3792        | -               |
+| 0.7597 | 5850  | 1.3702        | -               |
+| 0.7662 | 5900  | 1.3276        | -               |
+| 0.7727 | 5950  | 1.3775        | -               |
+| 0.7792 | 6000  | 1.3271        | -               |
+| 0.7857 | 6050  | 1.3357        | -               |
+| 0.7922 | 6100  | 1.3524        | -               |
+| 0.7987 | 6150  | 1.3353        | -               |
+| 0.8052 | 6200  | 1.2641        | -               |
+| 0.8117 | 6250  | 1.2377        | -               |
+| 0.8182 | 6300  | 1.3412        | -               |
+| 0.8247 | 6350  | 1.2912        | -               |
+| 0.8312 | 6400  | 1.233         | -               |
+| 0.8377 | 6450  | 1.2217        | -               |
+| 0.8442 | 6500  | 1.2351        | -               |
+| 0.8506 | 6550  | 1.2643        | -               |
+| 0.8571 | 6600  | 1.2723        | -               |
+| 0.8636 | 6650  | 1.2468        | -               |
+| 0.8701 | 6700  | 1.1932        | -               |
+| 0.8766 | 6750  | 1.3088        | -               |
+| 0.8831 | 6800  | 1.2377        | -               |
+| 0.8896 | 6850  | 1.2593        | -               |
+| 0.8961 | 6900  | 1.204         | -               |
+| 0.9026 | 6950  | 1.2226        | -               |
+| 0.9091 | 7000  | 1.2019        | -               |
+| 0.9156 | 7050  | 1.2027        | -               |
+| 0.9221 | 7100  | 1.1655        | -               |
+| 0.9286 | 7150  | 1.2088        | -               |
+| 0.9351 | 7200  | 1.1975        | -               |
+| 0.9416 | 7250  | 1.1341        | -               |
+| 0.9481 | 7300  | 1.1208        | -               |
+| 0.9545 | 7350  | 1.1489        | -               |
+| 0.9610 | 7400  | 1.0883        | -               |
+| 0.9675 | 7450  | 1.2011        | -               |
+| 0.9740 | 7500  | 1.1317        | -               |
+| 0.9805 | 7550  | 1.1398        | -               |
+| 0.9870 | 7600  | 1.1645        | -               |
+| 0.9935 | 7650  | 1.1606        | -               |
+| 1.0    | 7700  | 1.12          | 5.0928          |
+| 1.0065 | 7750  | 1.1107        | -               |
+| 1.0130 | 7800  | 1.1248        | -               |
+| 1.0195 | 7850  | 1.1377        | -               |
+| 1.0260 | 7900  | 1.1565        | -               |
+| 1.0325 | 7950  | 1.0739        | -               |
+| 1.0390 | 8000  | 1.0617        | -               |
+| 1.0455 | 8050  | 1.1539        | -               |
+| 1.0519 | 8100  | 1.1147        | -               |
+| 1.0584 | 8150  | 1.102         | -               |
+| 1.0649 | 8200  | 1.0878        | -               |
+| 1.0714 | 8250  | 1.0161        | -               |
+| 1.0779 | 8300  | 1.0514        | -               |
+| 1.0844 | 8350  | 1.0846        | -               |
+| 1.0909 | 8400  | 1.0076        | -               |
+| 1.0974 | 8450  | 1.0343        | -               |
+| 1.1039 | 8500  | 1.0198        | -               |
+| 1.1104 | 8550  | 1.0457        | -               |
+| 1.1169 | 8600  | 0.9886        | -               |
+| 1.1234 | 8650  | 1.0036        | -               |
+| 1.1299 | 8700  | 0.9993        | -               |
+| 1.1364 | 8750  | 1.0408        | -               |
+| 1.1429 | 8800  | 0.9791        | -               |
+| 1.1494 | 8850  | 1.007         | -               |
+| 1.1558 | 8900  | 0.9949        | -               |
+| 1.1623 | 8950  | 0.9435        | -               |
+| 1.1688 | 9000  | 0.9327        | -               |
+| 1.1753 | 9050  | 0.9606        | -               |
+| 1.1818 | 9100  | 0.9275        | -               |
+| 1.1883 | 9150  | 0.9284        | -               |
+| 1.1948 | 9200  | 0.9137        | -               |
+| 1.2013 | 9250  | 0.8846        | -               |
+| 1.2078 | 9300  | 0.9781        | -               |
+| 1.2143 | 9350  | 0.9368        | -               |
+| 1.2208 | 9400  | 0.877         | -               |
+| 1.2273 | 9450  | 0.8125        | -               |
+| 1.2338 | 9500  | 0.9365        | -               |
+| 1.2403 | 9550  | 0.8493        | -               |
+| 1.2468 | 9600  | 0.8139        | -               |
+| 1.2532 | 9650  | 0.9337        | -               |
+| 1.2597 | 9700  | 0.8398        | -               |
+| 1.2662 | 9750  | 0.8033        | -               |
+| 1.2727 | 9800  | 0.8138        | -               |
+| 1.2792 | 9850  | 0.8595        | -               |
+| 1.2857 | 9900  | 0.8281        | -               |
+| 1.2922 | 9950  | 0.7889        | -               |
+| 1.2987 | 10000 | 0.8014        | -               |
+| 1.3052 | 10050 | 0.7405        | -               |
+| 1.3117 | 10100 | 0.7712        | -               |
+| 1.3182 | 10150 | 0.703         | -               |
+| 1.3247 | 10200 | 0.7099        | -               |
+| 1.3312 | 10250 | 0.7173        | -               |
+| 1.3377 | 10300 | 0.7463        | -               |
+| 1.3442 | 10350 | 0.6633        | -               |
+| 1.3506 | 10400 | 0.7407        | -               |
+| 1.3571 | 10450 | 0.6843        | -               |
+| 1.3636 | 10500 | 0.6518        | -               |
+| 1.3701 | 10550 | 0.7558        | -               |
+| 1.3766 | 10600 | 0.6574        | -               |
+| 1.3831 | 10650 | 0.7144        | -               |
+| 1.3896 | 10700 | 0.6727        | -               |
+| 1.3961 | 10750 | 0.6614        | -               |
+| 1.4026 | 10800 | 0.6456        | -               |
+| 1.4091 | 10850 | 0.6285        | -               |
+| 1.4156 | 10900 | 0.6152        | -               |
+| 1.4221 | 10950 | 0.6395        | -               |
+| 1.4286 | 11000 | 0.5996        | -               |
+| 1.4351 | 11050 | 0.6075        | -               |
+| 1.4416 | 11100 | 0.5877        | -               |
+| 1.4481 | 11150 | 0.6253        | -               |
+| 1.4545 | 11200 | 0.5845        | -               |
+| 1.4610 | 11250 | 0.5366        | -               |
+| 1.4675 | 11300 | 0.5349        | -               |
+| 1.4740 | 11350 | 0.5494        | -               |
+| 1.4805 | 11400 | 0.5562        | -               |
+| 1.4870 | 11450 | 0.5166        | -               |
+| 1.4935 | 11500 | 0.5421        | -               |
+| 1.5    | 11550 | 0.5132        | 5.1872          |
+| 1.5065 | 11600 | 0.5162        | -               |
+| 1.5130 | 11650 | 0.4926        | -               |
+| 1.5195 | 11700 | 0.5442        | -               |
+| 1.5260 | 11750 | 0.509         | -               |
+| 1.5325 | 11800 | 0.4769        | -               |
+| 1.5390 | 11850 | 0.4668        | -               |
+| 1.5455 | 11900 | 0.4763        | -               |
+| 1.5519 | 11950 | 0.4597        | -               |
+| 1.5584 | 12000 | 0.4181        | -               |
+| 1.5649 | 12050 | 0.4246        | -               |
+| 1.5714 | 12100 | 0.4145        | -               |
+| 1.5779 | 12150 | 0.4233        | -               |
+| 1.5844 | 12200 | 0.4342        | -               |
+| 1.5909 | 12250 | 0.425         | -               |
+| 1.5974 | 12300 | 0.3726        | -               |
+| 1.6039 | 12350 | 0.4053        | -               |
+| 1.6104 | 12400 | 0.4298        | -               |
+| 1.6169 | 12450 | 0.4156        | -               |
+| 1.6234 | 12500 | 0.3841        | -               |
+| 1.6299 | 12550 | 0.4238        | -               |
+| 1.6364 | 12600 | 0.4209        | -               |
+| 1.6429 | 12650 | 0.3984        | -               |
+| 1.6494 | 12700 | 0.401         | -               |
+| 1.6558 | 12750 | 0.3672        | -               |
+| 1.6623 | 12800 | 0.3875        | -               |
+| 1.6688 | 12850 | 0.3943        | -               |
+| 1.6753 | 12900 | 0.3702        | -               |
+| 1.6818 | 12950 | 0.3933        | -               |
+| 1.6883 | 13000 | 0.3646        | -               |
+| 1.6948 | 13050 | 0.3597        | -               |
+| 1.7013 | 13100 | 0.3824        | -               |
+| 1.7078 | 13150 | 0.3693        | -               |
+| 1.7143 | 13200 | 0.3666        | -               |
+| 1.7208 | 13250 | 0.3662        | -               |
+| 1.7273 | 13300 | 0.3962        | -               |
+| 1.7338 | 13350 | 0.3702        | -               |
+| 1.7403 | 13400 | 0.3405        | -               |
+| 1.7468 | 13450 | 0.349         | -               |
+| 1.7532 | 13500 | 0.3699        | -               |
+| 1.7597 | 13550 | 0.3701        | -               |
+| 1.7662 | 13600 | 0.3574        | -               |
+| 1.7727 | 13650 | 0.3606        | -               |
+| 1.7792 | 13700 | 0.3574        | -               |
+| 1.7857 | 13750 | 0.3616        | -               |
+| 1.7922 | 13800 | 0.3684        | -               |
+| 1.7987 | 13850 | 0.3414        | -               |
+| 1.8052 | 13900 | 0.3356        | -               |
+| 1.8117 | 13950 | 0.3358        | -               |
+| 1.8182 | 14000 | 0.3533        | -               |
+| 1.8247 | 14050 | 0.3447        | -               |
+| 1.8312 | 14100 | 0.3171        | -               |
+| 1.8377 | 14150 | 0.3024        | -               |
+| 1.8442 | 14200 | 0.3045        | -               |
+| 1.8506 | 14250 | 0.3551        | -               |
+| 1.8571 | 14300 | 0.3417        | -               |
+| 1.8636 | 14350 | 0.3193        | -               |
+| 1.8701 | 14400 | 0.3052        | -               |
+| 1.8766 | 14450 | 0.3447        | -               |
+| 1.8831 | 14500 | 0.3502        | -               |
+| 1.8896 | 14550 | 0.3398        | -               |
+| 1.8961 | 14600 | 0.3268        | -               |
+| 1.9026 | 14650 | 0.3185        | -               |
+| 1.9091 | 14700 | 0.3096        | -               |
+| 1.9156 | 14750 | 0.3003        | -               |
+| 1.9221 | 14800 | 0.3156        | -               |
+| 1.9286 | 14850 | 0.32          | -               |
+| 1.9351 | 14900 | 0.3017        | -               |
+| 1.9416 | 14950 | 0.3014        | -               |
+| 1.9481 | 15000 | 0.2969        | -               |
+| 1.9545 | 15050 | 0.3127        | -               |
+| 1.9610 | 15100 | 0.2865        | -               |
+| 1.9675 | 15150 | 0.3214        | -               |
+| 1.9740 | 15200 | 0.3105        | -               |
+| 1.9805 | 15250 | 0.3089        | -               |
+| 1.9870 | 15300 | 0.2972        | -               |
+| 1.9935 | 15350 | 0.3031        | -               |
+| 2.0    | 15400 | 0.3201        | 5.2565          |
+| 2.0065 | 15450 | 0.276         | -               |
+| 2.0130 | 15500 | 0.2912        | -               |
+| 2.0195 | 15550 | 0.2913        | -               |
+| 2.0260 | 15600 | 0.2877        | -               |
+| 2.0325 | 15650 | 0.2708        | -               |
+| 2.0390 | 15700 | 0.2538        | -               |
+| 2.0455 | 15750 | 0.295         | -               |
+| 2.0519 | 15800 | 0.2836        | -               |
+| 2.0584 | 15850 | 0.2708        | -               |
+| 2.0649 | 15900 | 0.2758        | -               |
+| 2.0714 | 15950 | 0.2507        | -               |
+| 2.0779 | 16000 | 0.2772        | -               |
+| 2.0844 | 16050 | 0.2907        | -               |
+| 2.0909 | 16100 | 0.254         | -               |
+| 2.0974 | 16150 | 0.2712        | -               |
+| 2.1039 | 16200 | 0.2694        | -               |
+| 2.1104 | 16250 | 0.2689        | -               |
+| 2.1169 | 16300 | 0.264         | -               |
+| 2.1234 | 16350 | 0.2588        | -               |
+| 2.1299 | 16400 | 0.2512        | -               |
+| 2.1364 | 16450 | 0.2749        | -               |
+| 2.1429 | 16500 | 0.2411        | -               |
+| 2.1494 | 16550 | 0.2522        | -               |
+| 2.1558 | 16600 | 0.2521        | -               |
+| 2.1623 | 16650 | 0.2406        | -               |
+| 2.1688 | 16700 | 0.2212        | -               |
+| 2.1753 | 16750 | 0.2335        | -               |
+| 2.1818 | 16800 | 0.2322        | -               |
+| 2.1883 | 16850 | 0.2301        | -               |
+| 2.1948 | 16900 | 0.2199        | -               |
+| 2.2013 | 16950 | 0.2199        | -               |
+| 2.2078 | 17000 | 0.2398        | -               |
+| 2.2143 | 17050 | 0.229         | -               |
+| 2.2208 | 17100 | 0.2399        | -               |
+| 2.2273 | 17150 | 0.2083        | -               |
+| 2.2338 | 17200 | 0.2334        | -               |
+| 2.2403 | 17250 | 0.2139        | -               |
+| 2.2468 | 17300 | 0.2046        | -               |
+| 2.2532 | 17350 | 0.235         | -               |
+| 2.2597 | 17400 | 0.2211        | -               |
+| 2.2662 | 17450 | 0.2053        | -               |
+| 2.2727 | 17500 | 0.2064        | -               |
+| 2.2792 | 17550 | 0.2094        | -               |
+| 2.2857 | 17600 | 0.2068        | -               |
+| 2.2922 | 17650 | 0.2011        | -               |
+| 2.2987 | 17700 | 0.2051        | -               |
+| 2.3052 | 17750 | 0.1851        | -               |
+| 2.3117 | 17800 | 0.2058        | -               |
+| 2.3182 | 17850 | 0.1841        | -               |
+| 2.3247 | 17900 | 0.1807        | -               |
+| 2.3312 | 17950 | 0.1828        | -               |
+| 2.3377 | 18000 | 0.1978        | -               |
+| 2.3442 | 18050 | 0.1599        | -               |
+| 2.3506 | 18100 | 0.208         | -               |
+| 2.3571 | 18150 | 0.181         | -               |
+| 2.3636 | 18200 | 0.1678        | -               |
+| 2.3701 | 18250 | 0.1997        | -               |
+| 2.3766 | 18300 | 0.1681        | -               |
+| 2.3831 | 18350 | 0.1956        | -               |
+| 2.3896 | 18400 | 0.1646        | -               |
+| 2.3961 | 18450 | 0.1596        | -               |
+| 2.4026 | 18500 | 0.163         | -               |
+| 2.4091 | 18550 | 0.1596        | -               |
+| 2.4156 | 18600 | 0.1445        | -               |
+| 2.4221 | 18650 | 0.1471        | -               |
+| 2.4286 | 18700 | 0.1426        | -               |
+| 2.4351 | 18750 | 0.1566        | -               |
+| 2.4416 | 18800 | 0.1488        | -               |
+| 2.4481 | 18850 | 0.1679        | -               |
+| 2.4545 | 18900 | 0.1416        | -               |
+| 2.4610 | 18950 | 0.1374        | -               |
+| 2.4675 | 19000 | 0.1226        | -               |
+| 2.4740 | 19050 | 0.1332        | -               |
+| 2.4805 | 19100 | 0.1427        | -               |
+| 2.4870 | 19150 | 0.1249        | -               |
+| 2.4935 | 19200 | 0.1378        | -               |
+| 2.5    | 19250 | 0.1374        | 5.3956          |
+
+</details>
+
+### Framework Versions
+- Python: 3.11.15
+- Sentence Transformers: 5.3.0
+- Transformers: 4.57.6
+- PyTorch: 2.11.0+cu130
+- Accelerate: 1.13.0
+- Datasets: 3.6.0
+- Tokenizers: 0.22.2
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning},
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{oord2019representationlearningcontrastivepredictive,
+      title={Representation Learning with Contrastive Predictive Coding},
+      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
+      year={2019},
+      eprint={1807.03748},
+      archivePrefix={arXiv},
+      primaryClass={cs.LG},
+      url={https://arxiv.org/abs/1807.03748},
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

checkpoints/checkpoint-19250/config.json

@@ -0,0 +1,45 @@
+{
+  "architectures": [
+    "ModernBertModel"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 0,
+  "classifier_activation": "silu",
+  "classifier_bias": false,
+  "classifier_dropout": 0.0,
+  "classifier_pooling": "mean",
+  "cls_token_id": 0,
+  "decoder_bias": true,
+  "deterministic_flash_attn": false,
+  "dtype": "float32",
+  "embedding_dropout": 0.0,
+  "eos_token_id": 3,
+  "global_attn_every_n_layers": 3,
+  "global_rope_theta": 160000.0,
+  "gradient_checkpointing": false,
+  "hidden_activation": "gelu",
+  "hidden_size": 768,
+  "initializer_cutoff_factor": 2.0,
+  "initializer_range": 0.02,
+  "intermediate_size": 1152,
+  "layer_norm_eps": 1e-05,
+  "local_attention": 128,
+  "local_rope_theta": 160000.0,
+  "max_position_embeddings": 4096,
+  "mlp_bias": false,
+  "mlp_dropout": 0.0,
+  "model_type": "modernbert",
+  "norm_bias": false,
+  "norm_eps": 1e-05,
+  "num_attention_heads": 12,
+  "num_hidden_layers": 22,
+  "pad_token_id": 2,
+  "position_embedding_type": "absolute",
+  "repad_logits_with_grad": false,
+  "sep_token_id": 3,
+  "sparse_pred_ignore_index": -100,
+  "sparse_prediction": false,
+  "transformers_version": "4.57.6",
+  "vocab_size": 32064
+}

checkpoints/checkpoint-19250/config_sentence_transformers.json

@@ -0,0 +1,14 @@
+{
+  "model_type": "SentenceTransformer",
+  "__version__": {
+    "sentence_transformers": "5.3.0",
+    "transformers": "4.57.6",
+    "pytorch": "2.11.0+cu130"
+  },
+  "prompts": {
+    "query": "",
+    "document": ""
+  },
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

checkpoints/checkpoint-19250/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:02c7675937366477fd0a62710f9550ff83a456c8dd98dc52ea88699f72295641
+size 539840248

checkpoints/checkpoint-19250/modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.models.Normalize"
+  }
+]

checkpoints/checkpoint-19250/optimizer.pt

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ec606e7084a8eac8d632a8fee592c26d4a87741c2b07babacb63be4eeb074f4a
+size 1079769611

checkpoints/checkpoint-19250/rng_state_1.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:119796e0990f84dfff4d7bfff053cc9bb1a6316b9cbe26f243d18d708529a54a
+size 14917

checkpoints/checkpoint-19250/sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+    "max_seq_length": 512,
+    "do_lower_case": false
+}

checkpoints/checkpoint-19250/special_tokens_map.json

@@ -0,0 +1,37 @@
+{
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

checkpoints/checkpoint-19250/tokenizer_config.json

@@ -0,0 +1,569 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "[MASK]",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32000": {
+      "content": "[unused1]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32001": {
+      "content": "[unused2]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32002": {
+      "content": "[unused3]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32003": {
+      "content": "[unused4]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32004": {
+      "content": "[unused5]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32005": {
+      "content": "[unused6]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32006": {
+      "content": "[unused7]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32007": {
+      "content": "[unused8]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32008": {
+      "content": "[unused9]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32009": {
+      "content": "[unused10]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32010": {
+      "content": "[unused11]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32011": {
+      "content": "[unused12]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32012": {
+      "content": "[unused13]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32013": {
+      "content": "[unused14]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32014": {
+      "content": "[unused15]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32015": {
+      "content": "[unused16]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32016": {
+      "content": "[unused17]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32017": {
+      "content": "[unused18]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32018": {
+      "content": "[unused19]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32019": {
+      "content": "[unused20]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32020": {
+      "content": "[unused21]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32021": {
+      "content": "[unused22]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32022": {
+      "content": "[unused23]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32023": {
+      "content": "[unused24]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32024": {
+      "content": "[unused25]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32025": {
+      "content": "[unused26]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32026": {
+      "content": "[unused27]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32027": {
+      "content": "[unused28]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32028": {
+      "content": "[unused29]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32029": {
+      "content": "[unused30]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32030": {
+      "content": "[unused31]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32031": {
+      "content": "[unused32]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32032": {
+      "content": "[unused33]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32033": {
+      "content": "[unused34]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32034": {
+      "content": "[unused35]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32035": {
+      "content": "[unused36]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32036": {
+      "content": "[unused37]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32037": {
+      "content": "[unused38]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32038": {
+      "content": "[unused39]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32039": {
+      "content": "[unused40]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32040": {
+      "content": "[unused41]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32041": {
+      "content": "[unused42]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32042": {
+      "content": "[unused43]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32043": {
+      "content": "[unused44]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32044": {
+      "content": "[unused45]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32045": {
+      "content": "[unused46]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32046": {
+      "content": "[unused47]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32047": {
+      "content": "[unused48]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32048": {
+      "content": "[unused49]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32049": {
+      "content": "[unused50]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32050": {
+      "content": "[unused51]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32051": {
+      "content": "[unused52]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32052": {
+      "content": "[unused53]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32053": {
+      "content": "[unused54]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32054": {
+      "content": "[unused55]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32055": {
+      "content": "[unused56]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32056": {
+      "content": "[unused57]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32057": {
+      "content": "[unused58]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32058": {
+      "content": "[unused59]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32059": {
+      "content": "[unused60]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32060": {
+      "content": "[unused61]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32061": {
+      "content": "[unused62]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32062": {
+      "content": "[unused63]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "32063": {
+      "content": "[unused64]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "extra_special_tokens": {},
+  "mask_token": "[MASK]",
+  "model_input_names": [
+    "input_ids",
+    "attention_mask"
+  ],
+  "model_max_length": 512,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "tokenizer_class": "PreTrainedTokenizerFast",
+  "unk_token": "[UNK]"
+}

checkpoints/checkpoint-19250/training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1c45b618cedf9d0a79d1ad5a80a1620b1e222b798f44b8e8915f89356eacf45b
+size 6225