NikolayRainWay/multitask-toxic-encoder

license: mit language:

• —en
• —ru pipeline_tag: text-classification tags:
• —toxicity
• —multi-label-classification
• —multitask
• —transformer ---

Multi-Task Toxicity Classifier

Описание

Модель для многозадачной (multi-task) классификации токсичности текста по трём классам:

• —Profanity (ненормативная лексика, мат)
• —Threats (угрозы)
• —Illegal acts (запросы на нарушение закона)

Модель построена на базе лёгкого энкодера cointegrated/rubert-tiny2 с тремя независимыми классификационными головами.

Метрики на тестовой выборке

Использование

Для загрузки модели используйте следующий код:

import torch
from transformers import AutoTokenizer
from modeling import MultiTaskToxicityEncoder  # файл из репозитория

# Загрузка токенизатора
tokenizer = AutoTokenizer.from_pretrained("NikolayRainWay/multitask-toxic-encoder")

# Загрузка модели (веса из репозитория)
model = MultiTaskToxicityEncoder()
model.load_state_dict(torch.load("pytorch_model.bin", map_location='cpu'))
model.eval()

Автор --- NikolayRainWay (в рамках учебного курса по трансформерным энкодерам)

Датасет Обучен на датасете NikolayRainWay/multitask-very-toxic-comments

Лицензия MIT