Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00029_00000_shuffled.ds.index107 linesDownload Raw Back to root
1�0)1K2�253�4�:�<'=2?>@�@nB)C�CDWE�E�EI.JpJRMQ�Q�Q�S�W�YIZq_�_Ih�j�mn�o#p�p�rt�t=x�xFy�����S�����E��P���T�����5���|����ƚ��v���{�;�����e������E�����@�j���J�h�׺��~���p���O���\���*������<�8�������=��%x&�)V*�*�+,x4�5"7�e�qw/y�zC|5���^�ˁ2�U�b���ۉ�/����M���C�%�9�E� ��;��8������e���!���p���P���3�	�E�F�������:�s4_
I�G�s��?"�"#��
�����z�k�������,���\���#�������4��/6	M	�	�5<�
��<#9c}��~b�2!?)@@@U@GNU�UV�Ys]^�^a>b�e�g\nsn�n�qs�t�uOv�z�|}~����q�i�ǖ�ۘ���מF���B�%������ϲ��������2�J�����3����j�5����!F$!)�+�,b-�-�4+5I8�879�9l:p;�;�<�>�>�>0DVF,H�H%I�J�J�KL`M�Y�[<`�a2bKfzgh`h�h�h;i}k�lr;r�r�rt�w�����ڈ���K���~�W���C�d���+�	��~^���*�.2/�8�;;<�<�<�>�?A�A�A�BKE�H���Ҟ��z�6���U�ة;�6�'���c����
�M������+�o������"�F���[�������J�����K����"�J	�7��n��/�H � �!�#%%T�x������;�z����������f�m�E�=�չ����������o�5�����:�����
�k�0�������+�@Q8�9�
~�$-$-%�'T)6+�+�,�-�>�D[I�N?P�POR�RT���	,	�	B10		�
	�	�	�	;	 	�!	3+	�+	i-	�-	�/	:2	�2	�4	�7	�8	�:	�>	n?	�@	A	�A	0B	BD	�D	 G	4I	UI	�I	JN	MO	�R	2S	gV	�V	GW	�Z	�\	E]	�^	�b	Xc	ed	�l	6t	�t	6x	|x	�y	^z	�z	��	%�	J�	}�	��	�	�	�	11�	Z�	Ѳ	!�	̶	{�	�	��	H�	��	>�	A�	��	R�	~�	�	2�	v�	H�	D12�13�	14p15H16317e18�19\20j21�22�23�24� 25H!26�!27-&28�b29�c30�g31]k32�p33�p34�r35�u36�u37�w38)y39�y40�{410~42�43�44q�45K�46\�47��48@�49t�50��51w�52K�53��54-�55�56��57'�58p�59ͽ60O�61k�62��63��644�65��66��67��68�69e�70��71��72��73&�74��75�76D�77b�786�79��80��81Y�82��83��84�+��	�	0�5]!,n-�.�.�/�7_EH8I�K�KX8[^]
^$_alj�lr$s�s"u�u�u,v��~����_��� �V�����M������ "|%�&) .�.��"���$������������T�]�P���+���z�0�&�n����Q�9�R���������]���l�
�
'
�
D
�85
>
�
t
[
y

r$
g
>g
kg
'h
�m
p
q
r
ur
�x
�x
�y
bz
�
�
�
"�
U�
��
'�
�
Ԫ
Ƭ
 �
��
��
d�
��
��
z�
b�
��
U�
@�
?�
��
��
��
��
)�
e�
��
�
��
�
3�
��
(�
F�
�b�)�#	w86a��	M����.�.E25�8�8:�?-@�AAB�H�IiJ�L0M1N�S�[�\�^Idh�i%kl`l�t�u�u)wm���e���������w���/�r����"�Ȭ��y���J��F����@���Ŀ�8�������p�����3��������Y�K�j�~���������A���!�*�+/�8�>vI�J�K�K6L�MCN O�O\f�kl`l�l�o�pWt~fr�����	�?�������87���c��,��Ԛ������F������I�>���O�9�����	�E����?�S�����4���ļ-�b���T���G���|�f�������5���H����
W
���b�5eu�J�D��!�$%D'�(O*�*(+�-�-�.�/D1�3�35�56F8�8�<GM�O�OmVbX�Y�Z0\m^�_ya�cYe@f8l?op5p�p�u�v�x�y�{p���͐����ƨ������+�ë��������N���5�����?�O���������z�����A���H�Xs�fT
f5e����t �$�&J/�/61�1�7�8�:�:Fc�w�xye�0���=�������$��y�j�����m�k��L�A�V���V����������	�F�	�H�G���������p���C�������O�����n�=�������~[?o#�#$�%�'((<+(3�688�9�:.;pD�D�E2FtG�G�GcH/I"JRK�M_N�NO�RWTkU V;X�Y�Y�Z_\9]q]�^y_`>a�a*c�d���Ţţ����ݫݬD��"�Dz�����_�v������� ���Z��A�%��� �������#�.�@���g����z����/88y89�
�^b���.g%"#$t)o*Z-�.�1�2$89&<^<F!G	H�SXT�T?UpWqX5Z�Z\�_�_mb�cdepp�pqaq�s�t�v&w0w�z�{�~���i�������-���.�"�����:�G���ٯ;�H���2�l�)�u�B��S�ֻ��$�r�$�����H�����~������r�=�G�����[���b�N��l��m���Q�M�'�8����A�B�C�C|E4FR�R6S�a5d�d�e�gGh�h[i�i�kl�ln	w!x#}�~���i�90�$����щ�ڊ����������ٕ�� �$�;��E������6�s������������O������h�+	X	�918�-��2n�T�G�%T*G,--v-�.W@3eAe�fh�h�-��Ԣd�t�t�~���k�!�d����������!��@�������)���:�����	��Z�R�J������r�������������q�������f�“D�T�ז	��}�u��������]���8�g���C���������������N�_��d�W��������}�����������`���~���6v�92��R
�
�	��������� �!�#J$�$�%Z&))~)�)6*;+x+�,3�����Q�]�����Z�
{���}��=S H)�)G*�+A,�.#/�0�022s4�6�7I8e8�9t<�Ak�{����4�h���[���z�����l��C���Q	�	/93�$�%�%})�-.�0�2�2�345�5�}	%`�k�	�9�N��94�T��¤:�!�.���c���[����,�����h���(�����a�������-�~�a�.����h�����D�������"%954�s��`�t � P!'%�%$,�-�.�/S0F4-8(:�;�<S>�@�@{A�A9I�L_N�NjO�OHP�P�Q�U�W[X�Y_Z�ZC^w^�acf�gj�jnpyp�sryz�z1{�����4��)�����:������T�<�i�������C�4�����'��!�����$��/f0;1X2H3�5X667�8�;�<(=�>�?1@�@�A�M�N�OSDU�Y�Z_�`aoe�f�f�x<y�y�2�j�9���&�����������K���_����)�[��c � P!�"!(y*Q+�+@,w-�3]4�4k7}7�;6AwB�B96D�E�F�H}J�KL�MN#OUO�P�P�QfRzV�XY�Yo\�]Hfj�k���ٷ:���ܽ����������Y��v���E�u�����������m�r�Q�/�}����������	�	v�("F#�$�(�.O1�2!:�:\;�;�C�C�D�DcE�FIgK�L�R�T�W�^*_�de97h�hkiEk�k�n
o�uwlx~y��?���ό���D�֎œH�����+���"��������t�����������������������������r���M�1����R������{������M�o���!`�!��!��!Ǻ!Ȼ!��!��!�!m�!M�!��!��!�!��!X�!��!��!��!4�!��!J�!��!w�!��!2�!y�!��!�!^�!�!��!�!9�!<"�"r"�"�"[	"M"�"�"�"�"?"$"�"�"�"�""�"V"X"� """�#"p6"�6"7"�9"%:"s:"�:"<F"DF"_b"�b"�c"�e"�f"�h"�i"%k"�k"Ll"No"p"r"�s"/u"{"�|"ԁ"��"��"߆"7�"��"�"�"܎"��"��"s�"�"C�"~�"ݛ"Ü"֝"0�"98�"M�"Š"&�"B�"��"��"C�"l�"��"Ϯ"�"��"U�"ζ"�"k�"$�"�"��"Y�"|�"4�"��"(�"C�"��"��"�"��"��"%�"��"��"+�"��"#�"��"F�"��"8�"�#�#�#�##p#�#�#9#�#�#�#$#�#�#S!#�$#�%#�%#Y,#!/#�0#�0#�1#�4#�6#�8#>;#�<#�?#MH#I#�J#.L#�L##P#�R#JT#EV#�Z#�^#a#1b#mb#@c#Zd#be#�e#�k#�n#�s#�u#v#Iv#�x#:}#a#Y�#��#��#99�#��#�#`�#��#Ψ#�#��#�#��#:�#�#2�#�#��#��#3�#`�#��#�#B�#��#U�#��#l�#1�#��#��#U�#��#��#$�#G�#�#��#��#d$�$�$�$�$6$$$$e$ $�$1$�$�$!$�!$�"$l%$;&$�($b)$�9$?$h?$dB$ D$yJ$�K$[N$�P$�R$�S$T$jU$�U$�V$�W$3Z$x]$^$�^$�^$d$�d$3o$q$\r$t$Xt$�u$$v$jv$�v$�w$�$��${�$�$a�$y�$�$�$B�$��$�$�$��$��$��$��$߱$˴$>�$��$ö$�$��$�$;�$��$��$f�$�$�$}�$��$:�$p�$��$��$V�$$�$*�$��$��$��$�%�%�%% ,%�2%P4%@7%X8%�8%^q%Vv%w%�y%>{%|%`}%ˀ%�%��%T�%͠%֡%:�%ʤ%<�%.�%N�%_�%s�%!�%s�%��%8�%��%�%��%��%N�%��%��%��%��%U�%��%#�%�&�&W&�&"&�&�%&�'&�'&�(&�+&I3&x6&�7&�7&�8&�:&�;&�R&�R&DS&�U&Gi&�k&�l&Xm&>|&-}&~&�~&!�&�&��&��&��&�&��&�&�[*�]*.`*c`*�`*Tr*~r*�r*�s*{t*;v*�v*?w*�w*�x*y*�z*�|*[~*�*3�*��*��*�*��*��*<�*X�*��*�*g�*��*.�*��*�+p+�+�+�*+�*+e.+�.+�.+[2+�2+F4+�7+�8+>+�>+@@+C+D+�D+RL+�L+'Q+�Q+�R+TU+�V+mW+YX+�X+JY+�`+b+!c+bd+=e+�e+9f+�g+lk+tm+�m+�o+!r+�s+xt+�w+�w+1x+jx+Ay+3{+�+ђ+%�+Ǚ+*�+ì+ϭ+1�+��+L�+��+ܶ+I�+��+��+7�+4�+��+��+��+a�+��+��+��+T�+��+f�+Z�+��+��+�+��+��+��+�+��+,\,�100,�,7
,�,�,/,�,,�,�,�,�,�,�,,�,-,,�,M ,� ,�$,g%,n&,�(,>.,00,t3,�3,H6,z8,�:,$>,�>,�?,�P,X,^X,�X,Y,�Y,�\,e,om,fn,Sp,�s,�v,hx,�x,�z,101},�},102�,]�,�,��,ʩ,9�,D�,��,��,��,�,��,
�,��,�,��,��,��,��,M�,��,H�,�,��,��,M�,f!-�#-[$-�$-�%-{.-�5-�7-6:-3<-�=-X>-�>-�?-HA-CB-�J-^L-�L-+M-^P-fa-�c-$d-Ke-�e-f-hf-!k-�k-�t-v-�-1�-��-n�-R�-5�-H�-M�-��-�-o�-��-��-1�-M�-ֹ-t�-V�-��-��-��-��-�-r�-d6/l9/�:/=/V>/�>/�@/A/�B/7D/�D/�G/HJ/�\/�\/�]/�^/�`/p�/Ί/��/��/͋/.�/@�/�/Γ/�/�/A�/��/��/�/̚/>�/�/|�/�/��/��/'�/�/P�/��/ܱ/j�/ȴ/p�/��/�/ֺ/t�/r�/_�/��/�/��/�/�/H�/��/��/K�/��/d�/��/��/;0�0�1030�0�0�
0�020s000<00t"04#0,$0")0�*0�+05,0�,0�.0a/01020�20�40)90�90$:0N<03=08>0i@0�C0@K0eO0�P0Pe0�e0�f0�f0Fh0�h0i0�m0rv0z0�z0,|0H}0�~0�0Y�0��0:�0�0Q�0��0�0��0ٖ0��0^�0d�0ݨ0R�0֩0��0ʭ0'�0��0m�0�0u�0�0�0��0"�0S�0��0�0��0��0��0��0u�0��0?�0��0&�0:1-1,1�111r1)1;1	1�	1�	1(1041
1K
1u1�1�1�1Z1_1�1U1,&1�&101]01�11�21w3141J41|71,81%=1>1�H1�I1PK1�M1�M1�N1�Q1�S1i1*i1�m1v1�v1Rw1x1&�1��1��1\�1��1֢1Q�1��1��1ǫ1�1��1��1_�1��1��1�1y�1��1��1`�1}�1��1��1��1	�1��1�1Y�1��1��1��1�1O�1��1��1��1D�1��1��1�2�2W2�2�2�2�	241052�1062J2S2U2� 2� 2/!2h!2�!2D$2%2|,26.2*/2I/2?02�0212�22�32�627292�:2@;2�;2�V2�X2�X2�Y2?]2�d2Qf2Ng2�h2Im2�m2�n2�v2xw2�y2z2{2U|2i|2J�2�2A�2��2��2��2�2I�2l�2�2��2�2s�2��2��2�2��2$�23*
33�l31p3�p3�q3�s39t3�t3Cv3Ew3#}3�~3��3��3�3��3ٌ3P�3�3��3�3��3��3{�3��3��3-�3��3?�3�3Ͳ3�3E�3y�3�3��3q�3U�3H�3o�3�3��3e�3��3X�3��3��3r�3n�3��3��3)�3��3��3��3d�3��3<4�	4(1074�4,4d4�434^4x4�4	4