Datasetpublic

davanstrien/finepdfs-temporal-stats-all

Is the Web Getting More Educational? Temporal analysis of educational quality in all languages across 106 CommonCrawl dumps. Trend High Educational Content (edu >= 3) ############################################################### ██████████████████████████████████ 10.8% 2013 ██████████████████████████████████ 10.7% 2014 █████████████████████████████████ 10.4% 2015 ████████████████████████████████████… See the full description on the dataset page: https://huggingface.co/datasets/davanstrien/finepdfs-temporal-stats-all.

sourceHugging Faceodc-byupdated 10mo agoView on Hugging Face

0likes32downloads

Dataset Card

Is the Web Getting More Educational?

Temporal analysis of educational quality in all languages across 106 CommonCrawl dumps.

Trend

High Educational Content (edu >= 3)
###############################################################
██████████████████████████████████                  10.8%  2013
██████████████████████████████████                  10.7%  2014
█████████████████████████████████                   10.4%  2015
████████████████████████████████████                11.3%  2016
██████████████████████████████████████████████      14.2%  2017
█████████████████████████████████████████████       14.0%  2018
███████████████████████████████████████████         13.6%  2019
███████████████████████████████████████████         13.6%  2020
██████████████████████████████████████████████████  15.5%  2021
██████████████████████████████████████████████      14.5%  2022
█████████████████████████████████████████████       14.2%  2023
██████████████████████████████████████████████      14.4%  2024
███████████████████████████████████████████████     14.8%  2025

Average Educational Score
##############################################################
███████████████████████████████████████████████     1.94  2013
███████████████████████████████████████████████     1.94  2014
███████████████████████████████████████████████     1.93  2015
████████████████████████████████████████████████    1.94  2016
█████████████████████████████████████████████████   2.01  2017
█████████████████████████████████████████████████   1.99  2018
████████████████████████████████████████████████    1.97  2019
████████████████████████████████████████████████    1.97  2020
██████████████████████████████████████████████████  2.02  2021
█████████████████████████████████████████████████   1.99  2022
█████████████████████████████████████████████████   1.98  2023
█████████████████████████████████████████████████   1.99  2024
█████████████████████████████████████████████████   2.00  2025

Key Finding

Year	Avg Edu Score	High Edu Rate
2013	1.94	10.8%
2025	2.00	14.8%

Performance

—49,526,501 documents processed in 793 seconds
—62,483 docs/sec using Polars streaming
—Single scan, no full dataset download required

Summary

Metric	Value
Scope	all languages
Total Documents	49,526,501
Total Tokens	360,705,622,033
Avg Edu Score	1.997
High Edu Rate	14.5%
CommonCrawl Dumps	106

Files

—global_stats - Overall summary
—temporal_stats - Per-dump breakdown (sorted chronologically)

Reproduce

bash

uv run https://huggingface.co/datasets/uv-scripts/dataset-stats/raw/main/finepdfs-stats.py \
    --all-languages --output-repo your-username/stats

Source

—Dataset: HuggingFaceFW/finepdfs-edu
—Script: uv-scripts/dataset-stats