r1char9/simplification-dataset

Данный dataset был собран из корпуса "RuSimpleSentEval" (https://github.com/dialogue-evaluation/RuSimpleSentEval), а также "RuAdapt" (https://github.com/Digital-Pushkin-Lab/RuAdapt) для задачи упрощения текста (text simplification). from datasets import load_dataset data_files = {'train':"train.csv",'test':"test.csv"} dataset = load_dataset("r1char9/simplification", data_files=data_files) train_df = dataset['train'].to_pandas() test_df = dataset['test'].to_pandas()