Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00112_00000_shuffled.ds.index25 linesDownload Raw Back to root
15�)��2
M
7�r��  9&='z'�'�(�)H1q7S8Y=�=N>y>�H���ܪ����k�������Ǽ�B����!���6����P����|���#���������/����P�����s���y�*�H	�3�5�L
s
n]|Ky��!�!Z"�$�+z,m@UCcCeF�H9JmR�Z�\n_�f�k����M��M���-�&���=��״q�%���ʸ����������>�����0�;�|���I�����4W�Y�Z�ZQ^�^S_�_U`a�acig�i*k�kDn�n�t�ɂ���q��ˌ����?��~�������&���������E���������5�(I,�1q2�2�8�=�F;G�GIUJsJ�KCLM�NO!PoP�_H`�cxd�dv�vw}x z�}������C���ʊ%�>��� �,�G��8����/��h�Z�t��������>�����C�O�������$�b�;�H���m���B� ����������>��1tG� '�Q�U�XnY^_�b�fYh�l�lpn�n�n�o�r�r1stu�v#y}~��}���x��� ��ʭ��Q�{��W�d�2� �Ƹ�|����������#��>���f�������������O��o��P�p�����:����f�����4�Z���|���5�k���C�����.���!F$�.�4U6�6�;�A�C#E�F�G�H%Y�Yg_qgh�h�i�i�k�l�o�q@rRs�s
v y�|�|;���ׁ�-��������c�����Ւ*�t�ŗE���ܜ3�ѝ��Y�~�����
�iy!3$U$q%�%w&�'Y+�,$9n:3?�?�@6D�bvcdhd�h(ij�u�w�{:�׆"�Ç<�5�m����֍ؑؔ%����S���I�<�ġ�����׫�X�+���p���8�r�Ÿ\��C�p�������W���C����!�c������q�������?�I�������<�Hw�� �$?e�e.g`t�v�xtz�{�|}�}�~+g���
���f�)����פT�-�m�����&���̮
�c����}�w�������Y����d���9�e��������A���P���"��y�����w!�"�"�#$9&[(3+�,�4�4d5�6�6o7(=�=6>7?�AGL�OvR�T�Tyz?{�{�~���؃#��5�v�-����(�ǎ�ǓԔ�����3�*�����^������Ŀn���v���S�Y���w�E����u�������		�	D	�		n	�!	�!	�"	�#	r%	�%	�*	/2	�3	[5	�<	�?	{A	�B	_D	ZG	�G	"K	�K	�W	Y	�b	)f	g	�g	Oi	zm	�n	 o	p	|q	Vs	�s	ut	��	��	�	�	_�	��	V�	�	�	��	��	1�	��	�	l�	ם	�	��	��	��	�	O�	&�	ͧ	��	�	�	�	,�	q�	�	�	�	��	��	��	��	��	��	�	��	�	��	��	2;o<�?�B	D$E�E�F0H�I!J�W�WXX�Z+[y[�h�i�j�k�l5t�t�u�v0�Ȅf���{����������Ř�Q���~���!��ΞQ��Ǡ��}��'���z���T�����!�n���*�+���2��f�z��x�������t���k�M�R������� i�$�%�'(()�*50�1�2�5B8T8�:?<S=�=�>EB�C8E~EF2G�G�H�I�JyK�K�L�ǽ��������X���8�Z�1���+���d�:��1�j�����
�
G
4

�

v
�
.
s

"
#
i%
�'
�)
9,
*-
d-
�4
�5

8
>8
_8
�C
D
�D
1M
aS
T
�U
`
7a
Ne
�f
_g
\h
�h
�i
�i
k
.o
�o
�u
;v
�v
�w
�w
Rx
�x
>y
z
Tz
�
��
��
A�
��
X�
��
D�
͔
�
�
+�
�
7�
 �
g�
��
�
��
b�
M�
ܸ
L�
��
H�
��
X�
��
=�
��
$�
O�
�/�!/'3~SvU�V�W�Y	ZTZqZ�\gg�i�i@�����5�����������������;���S��D�������p������s�J���v�������n�|�X�����bB��x�8f�
 
q
�r��MVW�Xq�q'u�x����F��m���+�<�̩����a�ƭ��|���T�v���O�ýU�1�W

�
b�c����d 5#�%�%�&,�2,3�3I5�829$A�A�D�EF,\�\�]�a*eQnoGo�w=|�|���������U�ל��ާ^��
�X����I�ڬ����Ͳ��9�U���ʽ:�������������I�u�������������3�����������O�������[*��q�)�:���6$O%�&i(z(
,T,�/W0�0+1S26�7	B=G�I�K�K5M�M�[*\�\�aKbCc�c+d�dYgh�iok�l*m�m7n�p�s{{�{�}�}�}$ԃ�*�r������i���<���	�O���������A���N�
�X�^������h
�
�0@1�1�2�2�294ACcE�N�Q�QRxRwSLT?V�s�t�u�}�0�p������@��(�ѝX��ȡ��)�ϫ������P���ȿ�Z�����-�������9�������H�^���;���?���=��}�10}
�^���&Q1�1�3`678�@�G"LjM�M�h�i�jSk�p�q7�(���_������O�w��E����0�E�X���?�ʱ�[���b����9�d���i��!����=�������m�������:���&=$
�
��=�(,[-,B�HfW	Z�Z+[,^_b�b_d1f�f�f�iZq!ug}~A~���R�u��T�����D���d���s��ߤ����t�������8�X��e���������!������P���L���	�,���D�^����B�����q�����(�������K����|	�	
h�D9��� �'e)%+�,&.�/\>N?@�BXC�J�KgL�N}OS�TMU�U�ZQ[�\!n�q7xuz5{�{�{q~������b��h�>�|���ߪ����p�����Y���������
��=�����K�|�����������������D�m���������e�{11|�,J��:qT��93�* � !�'k@�BLC�F6o�o�s u�zW{|2~P��h�ݱ
�x�вX�$������s�������`��b��������/�M�	���x�
�A�$��������9��	p	12����%�9�&�'�(�/j0NQ�QRS�S[T�U�V�Yu�%���K�J�h�ū�`�^�L���(�k�>�`���~�����0�R����M�����T�^�������)�}�����.���������S�i���j��13�14
oP��#�$c%�%X(0)D*C+�+�+-,�6�A�A3CFGqJ�JWKUL$M�V�gh�q&r2sAx�|~�~�-��x��%��]���N�M���	�3�Ϛ3�����¢��Q��w������V����A�������0���4������t���A5�N��� �15{#
K:�&��T�� �"h��O�`���7�ըѩ�^�3�n���b�a�r�T���0��������w���F�[,"h8�9�@zACGCC�DE�HI�XY�YG`�`�a2c`d8f�f�iyj�k�m$x+zL��N�}���à�A�6���w���¬��í��������N��6� �z����������w���K�C���
��\�����V�u����������z�k�_�����t�O���D�"��V��G��I����S !�)1�2�4�4�:E;>=u?�?�@xA�A�D�E{M�N�Q�QZS�Y�[m^__3b�b�b|c�f�i�jck}k�m16n�o�o�u!x�y.z�}�~+\�����^���\��&�7��V�+������۴0�*������3�x�Z�w��G�'�H��]�5�����z������y���a���317�� �nZ��C"P*�*02�3�45�DWHI"J�KLL<ORTU�U3[\���,������D������C�J���;���Y���D����������M�Q�U�d�eh�h�ij+j�mDno%p�q�s�s18u,xOx�x�y�zV{�|�}t~b�،�t�h���l���Ģ9�m�£i��[�U���ڮ�o����u����������������f���?RS	���l� �"$.'s6�89�=$@LA�B�ItKoLaS�T�U�WY�dkg�j�nE�̈́��M�����j�>���ؒ�����B���Ι7���4�`������������#�������9�y���9����������� 5��B���w � �(+�,�.//�/10�0�3�5$67)8=9�D�E�G�RTS�T�WZXYTYr[�\$_�bdsd�eOf�f�gOk�pr5r�r:t#u�u�y�ywz)~0~��U�D�m����19���������Q�����7�v�����1�� �P���j�����(�D�q�#���I�������'�]������������-��
�]�����|�F���?	 �20 �$ �' �* , H, �- Z1 v4 �7 @ �A JB �T �T qU �V O\ �] ^ l Ql �l gm �n ms �t 9v �v z ԁ �� � �� � 5� �� �� �� (� Q� �� �� H� O� �� � �� �� � �� �� �� �!�!�!$!�!�!�!�!h!�!!!�J!K!DU!V!1Y!]]!$^!�_!�`!�b!i!Ll!Vo!p!Ap!]q!�q!3w!�z!l}!Z!�!ր!�!_�!�!�!��!��!M�!�!;�!v�!I�!�!Q�!W�!��!��!U�!��!�!t�!��!b�!��!��!�!�!��!f�!��!��!��!��!E�!��!��!Q"�"�"�"�"�"�"�"�"�"X"�"="|"_ "� "H""�&"'"6'"("�("�)"0+"I-"2"v9"bW"ih"k"�k"�m"�o"�o"�p"�t"G�"w�"��"ۈ"�"Ì"�"X�"n�"��"��"��"��"׼"��"m�"�"�"��"�"��"��"��"2�"�"��"��"��"Y�"��"M�"&�"��".�"�#�#'#�#�##
#�#�%#�'#�'#�(#C)#C#�D#bE#�E#�E#tF#�F#�l#am#�m# ~#�~#Y�#С#��#��#��#��#�#�#?�#��#��#�#��#"�#��#�#m�#��#��#��#��#��#>
$�$�$k$�$u$q$�"$�&$�)$
-$!/$�0$m1$yA$'B$bD$OJ$21K$�W$�Z$]\$!]$O_$1�$��$��$	�$o�$.�$��$��$��$(�$��$W�$�$��$ �$��$�% %�%122%�%�%�
%�%�%z%%�-%�.%�/%a2%�5%|6%�6%�7%�7%�<%X=%@%�A%.B%�B%�C%�F%�H%vJ%K%K%!N%�O%	P%PS%�X%�X%��%}�%Y�%��%23�%J�%Ğ%�%ף%(�%��%��%��%�%��%��%0�%��%��%t�%��%'�%�%+�%��%��%��%I�%��%��%��%	�%��%��%�%��%;�%�%��%�%g�%B&�$&y%&�&&9'&�(&24.&W.&0&FT&jT&�U& W&aY&�[&\&]&^&�a&�e&Di&6j&oj&�x&Az&C{&�&��&��&_�&X�&�&�&s�&"�&O�&a�&��&�&��&��&>�&��&$�&��&f�&һ&)�&�&��&��&V�&/�&r�&��&�'�'|'�''�'�'�'�('+',4'�4'E6'U7'<'�<'L@'�B'cC'D'�T'l'�p'�t'Wv'�{'�|'܀'�'��',�'"�'��'Č'Վ'�'S�'T�'�'��'/�'Ο'��'u�'��'ߥ'$�'֨'|�'��'�'�'=�'��'0�'�'��'�'G�'&�'T�'��'M�'��'��'m�'��'��'<�'F�'�(�(�(H	(�	(Y25(�(�(�(�(�(�(�(�(I(U(j(�((�()!(�!(�#(�$(@/(�/(�1(L2(�2(-3(�4(P6(�6(�7(�:(8?(5E(�I(0J(�K(uO(%P(hP([(h(�k(ql(p(Ǵ(��(�(��(��(�(y�(��('�(��(f�(��(�(��(��(��(�(~�(��(��(�,)f-)�.);/)\1)�1)4)�4)�4)\8)�8)9)�:)j;)�;)z<)�<)XA)TB)7C)bC)�C)DD)H)IH)/Q)�Q)Z)�j)�k)rn)jp)�p)Qr)�s)\w)gx)�)��)r�)Ώ)d�)I�)��)P�)b�)��) �)��)�)��)��)�)t�)��)[�)��)��)+�)��):�)1�)�)��)��))�)��)��)��)Y�)�)��)�)��)��)��)�*�*q*)*�*�**0	*I*�*�*x*�****�*�*&*�**�*F *"*a"*t#*H.*3/*d/*'0*Q0*�1*$2**4*�=*�?*�A*�B*�B*�E*�F*5J*�K*�W*KX*AZ*a*�a*Ie*�f*�i*Op*�p*gr*@t*�t*�u*Ky*�y*�z*�*��*r�*y�*��*5�*��*��*��*��*��*_�*�*��*�*@�*��*®*�*��*�*��*��*��*��*��*��*j�*��*�*��*��*�*��*{�*��*�*�*��*��*E�*��*/�*�*U�*��*k�*�$+�$+++,+=:+F+�G+4[+7e+�f+�g+�h+�i+�k+�k+�l+�l+No+�s++��+��+	�+��+�+��+��+9�+��+:�+Y�+;�+�+��+U�+�+B�+{�+��+��+Ӥ+'�+��+է+߬+��+k�+��+��+Z�+�+�+��+'�+R�+�+��+��+)�+j�+�+