Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00090_00000_shuffled.ds.index95 linesDownload Raw Back to root
1��2sS�p-�0!1�4�5m8�BKH�H�IYQ�QRVS�Z�g]j�opsXz�zb~�����r�
����Б��@�j��y�	�5���V�Ů��گҴ����߶U�����C������������Y������3�)�����E�����0�O���4�H�"���9�	�Z�������;�V�Zz�.By�?�{.Lq &(�,�3�4�:�=�=P>}>�>z@�@A�B�B(C�D�F�G�GHR2U�Z[z[�[�]N`�a�b,f{f�f�g9h2k�l�l�m�nxo�p�q&rP}�}~|����������܍����2���ÖQ���ҭb���_�Ǵ������<�R�����Y��p���������+����S�5�^���3�����#�s���7�.B[�[�[Pgh@jkRmIoq{q�v�zn|����߀e�&�ȍ�_���%������������,�C���b�S�k����
�������/����9���������4�7���������5���z�.����\�4������;�YWf�	5�F
�
n����2 \!�!�"�&'�)d,B2�Z�Z'\�aU~(��������D������F������]������7�h�!�	��~���������<����U�����������9���
���@'[(x(/+�,P.o/z2�2�2�9�9L:�: ;�?s@�L�T�_�`�a�bc�d{f�f�gpq9qjq4r�s�s�����‡�Y��������{���ϝDZ������ʹ{������x���>�i��o��z������a���R���M�u�R��������T�'������fy��'�')i*>+Z,�,8-�.�/80/1 2�4P5K>�>}J1ORQ"S#URW�X�[I\Vc�i4q�qmr��&� ���.���e���7����$�	�	361��?�����buy *!L#}#�&�*�/3t4�7�;�<e='@7A&BFB�BeC{D�WYČÚ[�b�]�>����ֲ�.�ܹ�x�6@���;��� �V/W�W)Y�_4a{a�i�i�j�j
kqsu$v�yg|U�.�߅�����ɕܖ������l�����O�����D���&�G�5������k��5�v�w��B�����6���h		�	� 	�!	�!	�#	$	N$	�$	�%	�'	>)	�*	�*	"+	_+	n-	s.	�.	<0	l0	�0	�0	�4	�4	w5	b>	9?	k@	MD	E	�E	�K	^O	�O	�P	�Z	�\	{]	_	�a	Qb	Kf	�j	��	��	/�	!�	Z�	�8�9 10�11�12�$13�.146/15u116�117}218�319520a521�B22�C23�L24xO25�P26(Q27�Q28p|29�~3031��32Ӆ33-�34x�35��36��37�38�39��40��41�42u�43՞44_�45s�46�47��48��49��50��51
�52
�53��54��55��56/�57��584�59��60��61@�62P�63^�64Z�65�66��67��68��6970���%�&�&x',DY�_q`�a{b�bepe�e�y�yD{�{0}7~�~3��������Ч7��������t�����G�;�%�����q�P������u�����	���� � "$�$�*aV�V�Y<^�b[c�c�de�gknVn�nftv�x$yƉ�d�>�w�9�����}���������������%�7�E�t����������[��n�����Z�w�_�����f
d
�	
�71
�
N
�
�
]
�
�
1
�
�"
�#
�$
�%
�&
�)
+
�+
,,
�/
[0
�0
�1
�1
w2
�3
6
z=
fK
L
N
O
�P
�Y
]
 ^
�`
la
1e
l
�r
�s
*u
c�
E�
��
��
,�
��
��
�
��
��
:�
z�
ڠ
��
��
�
�
��
��
:�
��
�
½
�
n�
��
��
��
��
��
�Gm��
~���!�#�$\2l4|4�7�8�hm�n�oKp�qsYzH{m{�}Sv����x�څȆ������{�� �h���c�����������r�J����C��/���,���4�CN � �'@)S*/,�-.�3�56�6�7�8�=q>�F�L	P�R!T�[2\�\c�v
y�z3}:~�U�̀��]�īݳ��ٴ4���%�H�����8�x�������F����5����l�������@�B����� �W�i�����!������**�+�+�1�13�4'=�OQeXmYtZ�^�^�^72_^_<c�c�eTh�nKr�r�t�vx�xI}�~<�j�>�"���`���ٲ����ϴ�������j�����C���i���������������X�R�?���L���Q���k�����������u������l73;r���?�R����j	v74�75
��Tm)�,e- 1�2�OP�PT�U�U.V�W�Y�]ob�dqg3i�i�jmUm�o�r�t�v.wjw�wiyj~�~�~����� �����Ƌ��E�`��{���З�k�ޜJ�`�/�ȟc����N�I�������<#�h���[(�(9)+�+76,�.�/`05}9�:!F�O�T�W�Y�Z�[�[k^t��.�_���_���%���
�u�����7	�	q����{�$%'R(/)>,�,M./9/l/�1�H�IzJ@K�KmR�S�TeV�V.W�W8X[�[4]�^_bgb�hMi�i�l{m�op�pqZr�sft�uv�|�| ������f���֪׮;�#����̸ƹ�*�L��&�������O�>�����5���}�?����s�^�����Q���&�d���V�U���X��������

�@�,_.�3�3K4<9{9�9q:3<�<�?WB�K�O�P�Q�TbU�U�WX�X�Xn�p�r4t�t�u[w����dž�ֈv��
�j�����)��1�ʤ77�5�R�����z������5���8����"�4����U	r78�
Cg� �{y �"�)�*c/�0�36�6�@XA�F�GQ�����N����v���,�|�ߦ����?�w�]�����%�'XA�B�D�FK�KVO�O�P�PnS�^_H`�`db!c�c�fXgem�o�t�vly�|�C�x���1�ɛ�������ť���R�4���d�'�o�}�����T���������K����79�80
��&?'�@QH�K�L�N;QYT#UaV�WX~&~n~�����܌/�.��\�K���7��Q���×���Q�������M�Ť�|�|�T������-�R�$���C����.S0�2�3!<��X���<�O���f�n����v=F�C��{nF�E�$z'�'�.-0b2�4;�;=�>?A?�?
CDeE�F�F�I�I�O�Q�X.Y�[je81g`m�m�m�q����"�6�d���������ҟi�w�����1������o���������E���N�}��A�	�82,r
��*�N�gEq�+��$�&�'((*b+,,<.�/�0x1b@�A�B�C�E�EBG�H`I�K	L�M�TV�VNW�W�q�r�st6t�v8x�x�y�{*}d}�}	~�~������+����×#�ИX���͛(�w�����ˡ��.��������3������&�F!	,
n���y��$�&,)�.F/22p3D5�5 <k?	SjTV<Y�Y�]^_|_�c�fk�o����ج�� ��������g�H���������n������
k
����N� O%)&�'AhBD�Pf�f�k\w�z�}#~[�Ѐ�������a�3������ן��ޠ����ŭ��]�����+���7�\�D�{�9���������u�g����) �" �$ �& �& 6) �) t. �. �6 �7 �9 r: h= F }F &L �L O �T ;U KV �V NW �X 5Z ^[ �[ �a �b �c \d �f �f Pg mj xj �} �� � 9� �� w� &� �� � �� �� � d� $� z� ~� �� Ƣ � z� � c� J� � ;� �� � `� �� �� �� � $� a� 
� )� �� 2� X� �� �� �� E� I� �� � h� �� �� h� �� [� B� �� P!4!94!�4!)5!h6!�6!f9!�;!�=!�?!G!OH!vH!%$�%$T&$'$�'$�-$L.$�3$�3$�4$�5$I7$<$�>$y?$�G$83H$/J$ML$tM$�N$�O$`R$�R$�S$lT$�U$�[$'\$�\$h$�m$�o$�o$q$�u$�v$�w$G{$�|$�$`�$��$̄$�$և$"�$h�$c�$r�$ё$��$,�$V�$l�$,�$��$z�$%�$>�$��$��$��$ݺ$&�$T�$��$&�$�$��$��$e�$l�$k�$��$��$��$��$��$:�$@%}%u%X&�&&&�&&�&�&*&W*&#0&�1&x2&�3&�4&�4&�7&�8&k9&V:&l=&@>&�?&V&�V&�Y&?[&,\&h]&�`&@b&�e&�f&kg&!i&�m&�q&!u&ox&�z&�{&~&�~&I�&�&Ғ&K�&V�&��&��&��&n�&�&�&J�&��&!�&1�&��&��&س&E�&��&��&��&��&r�&K�&l�&[�&��&��&��&��&�&��&�&y�&��&H�&��&�'�''D'�'�#'%$'[('�)'8-'n.'�;'b<'�<'�?'`@'�@'SA'}K'�O'[R'b'�b'�c'�g'�j'�q'or'�r'v'vw'mx'�x'Vy'.'c'_�'�'��'��'Ά'��'΋'��'(M(�(c(�+(O,(�,(Q1(�2(�<(0=(�=(�G(GH(�K(�K(j(k(l(�l(�r(�t(Ku({u(aw(x(*y(!z(fz(�z(�(��(�(��(��(�(͛(֜(t�(��(?�([�(x�(�(~�(��(v�(��(��(Z�(��(°(��(��(��(�(3�(A�(��(T�(�(G�(��(��(�(#�(�(7�(U�(�(�(��(�(@�(�(O�(2�(��(a)�)))>)�)m)�)�))2)!)�#)f$)�$)�$)�%)�&)�&)()�()D))�+)c,)�,)	0)1)/2)G9)�:)\=)>)n>)�>)DA)�D),E)�)
�)s�)��)!�)��)[�)��)>�)��)�)��)i�)��)��)~�)j�)�)��)��)9�)!�),*o*�*�*$*�*�*�*B*�*� *�!*V$*%*�%*�'*j(*�+*�,*�.*/*�0*�1*4*:4*l5*�5*�7*W8*�8*9*O:*�;*�>*q@*�C*vD*�D*IF*uF*NH*EJ*�J*cM*�P*�R*JV*�W*^]*�]*�_*�a*9b*�c*te*�e*�g*�i*j*�o*�q*84s*>z*|*�|*n~*�*/�*5�*W�*��*��*��*��*��*�*8�*ή*G�*��*B�*��*}�*%�*��**�*y�*x�*�*��*6�*M�*�*k�*��*��*��*��*|�*��*��*"�*6�*�+R+z+�+9+
+f+�++O+�+"+B+� +�!+�"+�#+�$+M&+5+�6+�7+�7+8+�8+b=+�=+>+�A+B+.B+�B+W+�W+�t+�y+iz+A�+C�+z�+a�+��+Н+��+��+�+d�+��+�+X�+�+�+��+H�+��+��+A�+e�+B�+��+l�+��+8�+��+��+�+�+0�+�+��+��+��+��+0�+d�+#�+>�+��+^�+�,85 86,+
,�
,�,$,�,&,{,,�,�,],�,�,�",�',�',2(,;(,�(,�),k1,.3,84,�4,O5,�5,6,877,Q7,c7,�7,m:,=,i?,�B,�D,�E,�F,RL,�M,�N,O,dQ,.U,+V,~V,W,�W,'X,�Z,],\^,�_,�a,�a,�g,�g,8h,th,)i,�j,�l,zn,�p,��,W�,#�,#�,�,��,L�,*�,��,��,��,R�,��,��,ӣ,פ,��,�,ק,��,Z�,��,D�,Z�,��,��,�,��,��,o�,��,@�,h�,��,�,P�,�,5�,��,A�,3�,��,��,��,(�,c�,I�,��,d�,��,��,<�,��,e�,��,j�,��,��,��,�-�-�-�-�->-�-�-R-8-�-� -K"-5-�<-�=-?>-�>-?-�?-.@--A-	E-\E-,F-G-�H-�I-)K-�L-�N-�O-�Q-�R-[V-�W-BX-�X-�Z-�[-D`-88q-�r-�s-�t-yu-x-]x-�y-�~-σ-��-�-�-ԉ-6�-��-�-��-	�-��-N�-��-��-��-]�--�-:�-!�-�-�-ְ-��-ֲ-Q�-��-e�-%�-��-��-��-��-��-m�-��-��-��-c�-
�-
�-��-�-I�-��-��-v�-��-o�->�-��-��-��-K�-��-;�-��-��-��-��-N.�.�.�.�.&.�.,89.�.s.�.�.�.�..z.�.k .[%.~%.�'.�(.�+.X,.�1.z2.i:.�:.[;.�<.W=.H?.A.JB.2C.vC.E.�F.lG.�J.WL.�L.�M.\S.U.�U. W.TX.TY.�Y.�[.�[.`.6b.c.c.dl.�m.2}.y�.��.L�.}�.}�.��.��.'�.A�.��.R�.ގ.f�.%�.�.)�.�.��.�.��.6�.��.��.�.w�.�.��.��.�.��.90�.S�.��.�.R�.��.;�.e�.?�.P�.��.��.��.��.j�.��.��.��.;�.{�.��.~�.��.��.��.D/W/O//�//�/@/�/� /#/&*/T*/�*/n2/�3/�5/�6/M7/�8/9/~@/�@/CB/�B/�E/�E/�L/GM/O/FO/�R/�[/_/A_/=c/�e/�f/�g/�j/vk/�l/up/Qr/�s/�s/nv/\z/>{/�{/4|/�/0�/~�/��/��/�/4�/��/i�/�/|�/��/��/��/��/�/��/��/t�/o�/��/��/�/
�/@�/=�/��/��//�/\�//�/��/G�/��/4�/��/�0-0�0�0�0b	0�910�920g0�0�
00�0t00?0C0�0y00�0-0�0%0�0�20g~0C�0y�0��0!�0ڜ00ݟ0e�0΢0��0��02�0�0R�0/�0��0a�0\�0��0��0˶0�0&�0��0}�0�0��0'�0��0O�0q�0��0L�0��0��09�0��05�0��0#�0��0�0��0 �0�1O11>1w1V931�941y11�1�1t1b1�1�1�1�1 !1v!1x#1�#1�,1,.1R81,;1�;1�<1m=1�=1�=1�A1}B1D1FP1�P1nS1�T1aU1�V1�W1�X1�Y1�Y1[1�^1_1�c10h1�i1�k1�l1�3��3u�3?�3��3��3�3��3k�3�3��3��3O�3��3K�3u�3$�3��3��3Y�3��3?�3�3y�3��3Y�3C�3l�3�3��3(�33�3H�3+�3��3�4z4954�4�4t	4=4y44r4�4