Datasetpublic

left0ver/sentiment-classification

Introduction 这是一个情感分类的数据集，来源飞桨。做了一些简单的处理，在此数据集上对bert微调的模型为left0ver/bert-base-chinese-finetune-sentiment-classification 因为bert最高只支持512长度的输入，因为对长度超500的样本使用了滑动窗口的办法进行了拆分，推理的时候，若是拆分出来的样本，则分别对这几个样本进行预测，取概率最大的作为最终的预测结果。具体可以看BERT模型输入长度超过512如何解决？有关滑动窗口的版本的数据集请访问https://huggingface.co/datasets/left0ver/sentiment-classification/tree/window_version Usage 使用普通版本： dataset = load_dataset("left0ver/sentiment-classification") 使用滑动窗口版本 dataset =… See the full description on the dataset page: https://huggingface.co/datasets/left0ver/sentiment-classification.

sourceHugging Facemitupdated 1y agoView on Hugging Face

0likes39downloads

Dataset Card

Introduction

这是一个情感分类的数据集，来源飞桨。做了一些简单的处理，在此数据集上对bert微调的模型为left0ver/bert-base-chinese-finetune-sentiment-classification

因为bert最高只支持512长度的输入，因为对长度超500的样本使用了滑动窗口的办法进行了拆分，推理的时候，若是拆分出来的样本，则分别对这几个样本进行预测，取概率最大的作为最终的预测结果。具体可以看BERT模型输入长度超过512如何解决？有关滑动窗口的版本的数据集请访问https://huggingface.co/datasets/left0ver/sentiment-classification/tree/window_version

Usage

使用普通版本：

python

dataset = load_dataset("left0ver/sentiment-classification")

使用滑动窗口版本

python

dataset = load_dataset("left0ver/sentiment-classification",revision="window_version")