Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00009_00000_shuffled.ds.index62 linesDownload Raw Back to root
1�R�&���c;��������<�w����
��Q�����`�ɛC��������ɢ!�c�Ԥ������߮�����p�,�.�������k�:���L���������)�V�����8���������,/y_wd`�������!�B"&-�-2.�L�N}P}R�R�WY�Z�Z\�]^	_bTbcTc�d}e�e|f�f1i�}�}D̵M��3�d�N�m�����Q�%���]�1������'�j�D�`�8�Z�������j���3S�j>\� !P%*P+d.W/k@�CQDiJlL�L�SNUqUV�Z_5`�a�b�d�d�e�h=l�rb�����R�q����v�ۛZ�r�ў����5�λ^�����!��'��4�z�0�������-����]���������:����6	�	"�:1@�L N�P!Q�U�VAW�WxXZJZ�t]�ݲ��|��D�7	��
��/#����U � �"e#�#$C%A&�&((s(�5�7KD�D�D�D�G�e�h�i�u�v�wAx�x�{J�[���ϋ��K�R����ڑ]�%���8���x�f�����ץ5�ɦܦ�������Ӯd�]�U���(�����������W�������q���w�����K�������7�������T��=���������)�{	�
�O�=�._.�.�8�9Z>�>�>I@�@�E�GH�HWI�P�P�RNS�T�U�XJ^�^\h�h�j�j�m�m�n"q?z8��g�v������|�]��E���T�[�H�Ӡšv�B�k�R�������������»����������r�����Q����������G�����<�b�������-����7}#�#
$H())�)�)5,�-`.F/�/>1�D�Q�U�V�X�X�]�^?_O`
c~dCe�eul0n�nJo�q�qwwawx�yJz�zw}�}�S���݊R�n��M��ǒY��3�K���,����)�]�T�;�v�n����*���i�!���I�����-���m�������[�����i���}�L�2�=���f�������������������H5�V|	�	64l5��%$�5�����.YD���Y5��ru��B ;�;�;�?�AgD�D"E�E�FnG�H0U�VW�W6X�X�Y�]�aob�bhc�i�q�x\y�z�{�{-�� �Åm���J����,����������������������l���
���_�����I	q	U(	�)	B,		;	�;	<	?	�H	0U	�W	�_	.c	�c	�c	�d	mh	Ei	�i	�s	Ã	s�	ߋ	ڎ	C�	�	��	c�	`�	�	&�	v�	B�	w�	ƭ	�	\�	��	�6�%7C&8gA9@C10�C11�D12�E13G14�G15�K16�N17eO18�O19P20�Q21�R22�a23ud24�d25�e26Df27�i28�j29l30Ol31�p32Dq33s34�t352v36��37��38��39ٲ40��41��42-�43�"g$�%'#(:T�V�W7hLj~l0���L�\�E������&�Z�x�p�=���|�ڬ�;���ޱ��ܺn��@�?�W�����������i���S���?���^�b�"��Y�0�����4���V���G�q�rOv�x�y��G��#�ʇV���a�,�44��H�Y�����u�E�����ė\�8�����Z� �H�������J������n�Z�[����0�����l���P���k�~���N�|�����������i
�
C
�
�"
�'
D)
N)
�2
9
N9
�9
�;
v<
45>
C?
�C
E
gK
WM
�M
tN
\O
xO
�P
�R
�S
V
�V
�V
MW
�W
�X
�Y
][
^
Yf
Pg
�h
ci
:n
�x
>z
�z
ф
r�
��
��
��
�
�
U�
v�
s�
s�
m�
�
u�
g�
ľ
��
��
��
\�
�
��
m�
��
|�
>�
��
*�
��
�
f�
��
��F��
����e��|�"�$K*+,�{��؆���9�������c���&�Q���ڥ�����7�7l8�8�8v:�:�?�E�F�H46LM�N�V-\�]@^�^)_�a�b�fgIh"lIlo�oXp�q�vvy�yrz�z{�{	|M}[�^�,�׈������_����@����"���n������M�7������O���v�9���������
`�8d�KL�MDO�T�TVU�UhY�Y�]�^;`�`!aHa�a>b�e�f�h�lE�����%�s����v��5�����>�^�������ݯV�w���k�;��(�K���������/��������p�5�M�Y�H�����#�J����������>� t�47�e�
�gk�V��V?!i*�*,2{2�3�A�KiU`Qd�d'gfk�l�n�o@p$q�s�t�z�z,{ ���ۋm���Ώ)������=�ƪ��n�q���߲���^��A�z�A�����o� �"��������������3067H7�:�;�</AtD?E�F�F�G=H�K MtM�M�N�SnX[g�g)h�j�}����"�G�v�M�^���5�����&�n�A��M��������H����/����M�������8��������2y�*�q$�&�'-�-C137|72CcC/DXD�G_JHK\L�L�M�S��0��E�+���\�l���~������r�48����I�r��A���M�O�����3�
���+����=���S���7������!�3�5^7*<�?gD�E�Et[�[$^g`
b�c�f�h�i�kdm"qIq�u�wUy|C~�����ÈM����f��,���I�x���'�����P���M��&�J�������o�"�����m�������M���>������������
�z�$�g���Qf�!"�#%�&�'=*�*�+�0�1n9�:�;�bc�cdhSi�i�l�mn�nTp�r�stTvF� �_�A���0�<�5�H���x�&�բ����2��3�X�t��>�����Z���c����F�����z�����IP�����@'B(�(�)�)6�669m:�HWL�L�N�N�O�]N^�a?c^f�j�m
nto�o]q�w�y{�|?}X}G�Ȃy�#�?�a�������g��W�����o���?���i�q���w����������,�����������S����i�/	~N�O%S�\�`�cp_yz�}�!�.����h�b���k�S�s�����A���������������P�E4�5.9m�Ж���b�:�_�Z���G��k�L�n�����[�������>�������	�����|���7������l?�6����x$�5�5h6�6*8>:�:�<w=�=�>gR�RS�SSTMj�j[k�kdl�m�q�q�t�w�y8���ُ9�����������ߩS�תb���v��ӵ�49�����X���U�e�8�+���g�#�[���W�\��g�0���j���X�M�f	!�
1����;�$�'�7�>�@�XYZ�Z�\�]�`�b�bmptp9qrsv�z������{�������y�����p�N���qn���50L����f�&�k�?�7�H�JL�L�M�M)N�N�OdR51S�U��'�_��/�O��5�ũ�F��ر���{�L���R������M���+���y���������@�����X���J�����J!�"�$%&'@(EAWH�\]�_^c6e7h�hwi�����4���7��׶���'���ٽ�x� �����K�����s�z���/���2�[������V��R�52���g��e��{��������,���^�?�����������6��f	�
����"�q ,�-/�1�2734�5�7�9�;�>c?�?+E�H�I>J�K�LHMwP53���]�������v����������l����d���>��Q�� �����T�w��� ��J	:j��t����S�/> { &'.4�4�IbJ�[#\�]`�`�abf?k;l�l8sFw<xBz�z�|1�\����X�	�N�5�̕����0�C�����������&�1������(�����E���.���A�C�����r���C��.�G�������*��$�%�f�%�?������X�����=V��yk�(�(�+�3.428Y9D:�:�B1DfEFwILpM�N�OCS�W�W�W�WeX�X�Y\�\�]�`�a�b�f[t�v�xDyz|Âg�q����������I�7�q�˟�P�j��������������.�g�� � s ~ � �
 � � a � � ? K 7 � �  �  J! �! C$ �$ 0' `* �, �, (. O1 �1 L2 �3 �5 L6 �6 �8 �: �> �k ~� Ҧ (� � F� �� � h� �� 	� |� �� ɼ �� ?� �� �� �� �� �� �� �� �� �� "� 6� �� �� -� n� B!m!�!V!�!�!�!!�!�!V!�!�!`!�!!!Y!!�$!V%!&!-&!�&!�3!BA!oB!�D!�Q!�n!�o!w!�z!�{![}!�~!w!�!l�!ˆ!f�!�!Y�!ǝ!ݝ!54�!ɡ!J�!��!��!��!Y�!թ!�!�!��!�!��!ʴ!�!�!v�!Z�!�!A�!��!�!>�!l�!��!��!��!+�!M�!��!��!��!��!{�!�!u�!55�!��!�!��!��!��!C�!��!p�!��!��!��!;�!��!L�!��")�"Ѫ"�6%�7%m9%�9%"=%�=%>%.B%�K%WM%ON%[N%BO%yP%�Q%�S%IU%�V%X%SX%�Z%�[%�x%Rz%�z%�{%�~%�%�%�%��%�%�%f�%��%�%m�%х%�%)�%:�%��%h�%,�%��%��%Β%Ɠ%m�%|�%ҙ%��%v�%��%Ы%��%�%=�%��%�%��%��%'�%r�%��%D�%i�%H�%��% �%2�%#�%��%q�%F�%)�%+�%t�%��%h�%��%&�&z
&�&�&�&K&w&�#&n'&E(&;)&0/&!2&W3&5&L7&N8&n;&x>&LJ&cQ&�R&�U&V&�W&Pr&�s&�t&�w&yx&�|&L}&�}&�~&9�&2�&��&��&ɉ&�&��&��&��&��&N�&��&��&��&K�&C�&e�&T�&��&%�&��&v�&�&��&��&��&`�&��&��&��&��&_�&'�&�&��&�	'j'('�'(
'�'�'Z'�'''W '� '"#'#'&'12'�7'uJ'�K'"M'�M'}N'<P'�Q'T'5X'�X'�Z'�^'�_'`'[`'�`'�b'�c'Kf'�f'�i'1l'tm'�m'�m'�n'Pr'�{'�|'�}']~'q�'��'(�'��'z�'L�'3�'d�'ף'��'L�'�'��'
�'-�'�'ɼ'��'2�'3�'��',�'��'��'��'#�'��'��'��'y�'��'��'��'3�'Y�'��'�'��'��'��'��'H�'��'&�'��'�'}�'��'g�'��'��'��'(
(V(�(�(56(�(�57(>(I(_(�(�(�(�(�#(�$(,(E-(v-(�-(#.(�X(�Z(X[(�b(�b(�e(	i(�l(<m(Fn(�n(�o(@p(�p(Nq(�q(0s(�(�(��(e�(~�(��(V�(��(�(��(|�(0�(g�(�(b�(��(>�(�(��(��(w�(u�(��(��( �(f�(T�(/�( �(��(��('�(r�(58�( �(��(�)/H)*O)�O)�T)U)Z)#])E^)�^)�a)b)\b)�o)�u)�u)�w)=x)�x)�y)8{)�~)ƃ)��)��)"�)#�)��)=�)\�)�)��)��)�)q�)y�)��)��)#�)��)��)��)��)��)�)v�)�)��)�)��).�)]�)7�)��)h�)��)��)��)��)�)��)�)��)s�)��)C�)*5*V*�59*�60*�*$
*K
*�*�*�*�*O*d*�*&*\*t*.*|*D*�*N&*['*�'*�+*-*�.*�/*�0*�4*9*�:*�<*�>* B*KB*�G*}H*�I*�O*�P*�P*��*��*.�*D�*�*Ŏ*\�*��*��*�*x�*�*�*$�*�*x�*[�*��+*�+T�+��+G�+��+E�+��+��+;�+��+)�+k�+�,�,N,�,R,�,�,�,,�,b ,�',P(,�*,�*,:+,`,,b-,�.,�2,�3,�3,4,o4,
6,C,�C,YD,�D,�E,EH,�I,=J,�J,�J,�L,0Q,DW,	Y,NY,qY,�], ^,�^,`,&`,vd,�d,Fe,hf,�f,"g,�g,h,h,�h,�i,�i,j,�l,]m,wn,�n,
q,�w,fz,�|,�|,�},��,��,E�,��,N�,��,�,?�,��,��,��,n�,7�,'�,V�,�,M�,ק,��,�,��,�,ӳ,��,7�,�,U�,��,��,!�,;�,��,��,��,��,�,��,F�,t�,`�,��,��,�,��,��,��,w�,b--�-s-�-�"-�$-S&-�&-(-�--).-,0-44-�6-�7-�8-O9-�9-�=-5>-�>-�?-�@-�C-�D-�E-WF-�G-J-�J-�K-L-�N-wO-BR-�`-g-k-�m-Xo-o�-�-K�-̏-K�-�-O�-ܗ-��-;�-��-=�-ڛ-��-؝-U�-��-y�-"�-5�-9�-��-	�-b�-e�-��-�-<�-��-��-�-��-T�-��-��-��-c�-�-��-p�-r�-61�-��-��-��-��-��-��-�-��-9�-��-��-��-,�-/.�.*.*.�.�. .<.�.�.X.�..*.>.h(.�(.h*.�+.*,.�-.U3.�5.^=.�>.U?.&E.jI.�N.�O.�P.�T.�T.�U.�V./X.�Y.�Z.�[.�\.^.�h.�y.+|.h|.�|.B}.�}.�}.-�.9�.��.��.z�.=�.�.%�.�.�.��.�.ġ. �.m�.q�.��.��.��.��.�.�.,�.��.��.��.B�/Ũ/}�/p�/ί/ư/�/�/��/Q�/��/з/K�/�/��/߿/�/��/��/.�/j�/=�/��/��/i�/��/��/��//�/��/ �/��/��/*�/�0�0E	0�620�0�0k
0|00,$0�$0%0l%0P&0�'0�)0�+0/,0.0m00�00�20n30*60@60