Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00059_00000_shuffled.ds.index33 linesDownload Raw Back to root
1Ga����%�&Y'�,�,�-�-:.�/�2�415t5�7Q89|=L>�>@�@�B�C�FkI;J�J}KRM�MN�NaO�OQjQkRTU{U�U�V�XqY�Y�Z�[]���|�A���"�B��ן���R�����=����G�Դ������ݸ��?��t�����������K�����L�Q��� �������/�T�����k��������1		�	>��=
�
��-.t.�13d4<7 9�9:3;�;�<>�?�@>A�ACQD�DJ�P�[�[<\7`lb�js�s�w�y	|^}4�L�3�Ɂ����ۅ�?�Ȋ����O�×�����5�Z��/�������\���>��̾W�Z���2�����z�R����T�V	�	n�p
�����S�1�34�9l:6>@�@;AA�Z�[)]�]�]_{e�fPg�movZw�w�}4~3�2�D��
�	�"���Y��:���8�ټ������|�������<�������P�2�a���������,�r	$3�4�aP�4 �",-�.;%=�>?@�D�E3F�P�P�Q'R�S�U9W@\�\�]�aUb
c*c�dIe#h�i��ȃm������ڙG���y�ն&�x�{��&���m��u�$<!?Q@�@QAoC�D*GI%IJ"R�U�XO]�]h^2_w{0|K}~�R������V���3����r�����������y�I�{�J�x�!�����b�������5�W��lWT	/5��!u��?� �"�O�QCReST0V�Y)[V^C`�b�b.c�c�e{w�DŽ1�����X���r���M���P����ܽS�������d���t�����h���U��������������m�A�������1������� ��6��	\�x	D�>���0N&�hW*�-/o2�4T546�7�8�;�>�?#@8B�B�CrFQG�[�����DŽ��ɉO���Ō
���7�“S�,�����������g����!���(�h���m���'�b����%��W������F�N��H�u���^
�R�L��Xp` z!�!�#�%&(N(:)�)0*�*�.�.�/�6�6�8H:�:0>g>�?WA�ClIOJK5KTK~K�MpN�O�P�PSW�W�Z�[A^�^�_�aac�d�e�hi~}����â���`���*����M�}�����e���7�,���6�����{��f�����g���������L�vb�{���7)�5�r��c ��A!�!�"'F*,%.t0Z6�9q<_AhD*EkF�F�Q�VpX�[c]�]q^_m`e%f�h�i�i�k�l�n?p�r�u\{�{Q|�}{~7�!�d�2�j�*�����=�[����������A�٢%�`���ϩ� ���	�b����k������=	�	�	�	�		O	�	�	�%	&	�.	38	�9	�:	Y;	�;	�<	B	C	�C	hD	+E	�E	=R	OT	�Y	������v�������������P���"�����+�r�����t��\�xR����8�9&~���m����� <!�*y-t4{5�5#6�8;?�J�M�McO)PQ�S8V�W�X�Y�Y=\�]t^�`�a�dre�ef]g�gnh3iCj�k�mon�o�p�p.s!x�{�{t|<}<~�~�ـ"�(�]�݃O���ȋ���
�X���ӝ"���Υ���ũ}�'�x�Q�έ�������c�A�I�W�j�p����@�)���u�����{�b���������:�S�\�:���W���S���K���.�k�D
�
3$
�$
,
�,
I-
.
�.
/
�N
�Q
dV
NX
~[
�]
�a
�c
xd
Ge
�h
�h
�u
�v
�w
�y
pz
��
o�
�
��
�
S�
��
��
��
�
l�
1�
=�
��
�
m�
��
Ζ
ܗ
1�
��
��
��
ö
��
��
J�
d�
��
��
B�
��
��
�
7�
p�
��
��
3*45�5x6�6�?�@�@�A&B�D E�EDFWH`�b�d4e	h.h�h�qms!z�z�{@|f|�|�}~�Q������X���"�ʷùj�����C�����\�����8��� ���)�F�����^�{�
��39�10��F'�'�)D2�2�2/3�3�3�AF�F�GI�I/T�TLURW�W0XhXVY�\�_�axjvkzq�r>tFu#v1xZy�z�{A|}d}�ʎ\�����ۡ'�ڣܥ8�ק9�:�+�c�Y��11�����R���M���������.�����:�����1�]�E��B3L�)��r�f���.[S��Ih)M*�,�/F0�23�68A9;�;�<�=^>c?�?A�AGB�B�G�Kj\�^�a6bOhi_l�q�tx&xIx܉������֝^�ǢˣȤ]����������������K���������;�x���X�����]����j	J12�
�13��^��J�K�P�Q	S�S�YZ\B]�_`�`�f0g2i�iml�m�m\no�opLq�q|r#s3w�{��J���3�ެy������Z���2����l�������Y��� �������������k�����F��14��#�#�$2&�&�&�'�(3Wn���C����B��V���B���/�S���/�D���w�������M�D�����;�����R�t�� �!�&'<)%*�+�-�.!2g7�9:i=�=�>�?�@AaACh[�\~`�a>b�b�cNdf�fbl�t�uw�x�}������g�����ߏ4��]�e�������֥\�3�m�٭���صN�J�:�ּ,�z�������`�������$�~�b���%����'���k�X���������}�I�E�M�����
����#�51F~F�J2M�N�O�ST�U�VpW�X�Z[a`�`a�b�cdHd�eif5ijnl�m�mupw�w�y�z�z�|5~(����x����ٍ)����y�O�N�15���h�l�����˪�����I�y�����s�T��������p�����*�,�8�����,�c��������v��1��*9y�yH�R$%%H'�)�+!G&JUJ�L�L16M7M�M�Q�S9U
W�Z�^�_q�rt�vy�z{�{~?�x�!�Z��c�y�!����r�������a����f����U�3��!�8�s����@�I	H	417�
���$e��&�(�)*,�-N0�1�1�2r3�3�4�B1L]N�N�Nq[O\�_lc�di�iJp�rssBs�s7x�xy�y�zo����Ԃ���c������(���w���E���إǧ.�����d�ȶ��p��@�2���H���h���	�G����B����K���d�B���/G�/�0s2v3�3�5@7s7�7�9P:$;t;�;J?�@UAQCiC|PU�V]WcY�Y�Zw[Fh�iuev$w�z�|�}h~�~�~��>����΍��Ž�Џ(���]�<�����<�Ԥ���&�7���}��3�[�f�w�������/�K���-�����������z���.�Z�*�������1���#�$�$�("�9����3��������ĝ��_�[�Ҡ��������%�:���u���X���o�V�����������������^���3a��}	�	g18��EJ��T�l����E$)%�%�+-7/0_7�78M:-;�vw�w9x�x���N���F��ƍd�@�(�E�˞!����β3����!��B����R�g�����������������
�
j�OluE�K���$]%�%�&�&(6�8r9�;�`�a\c4e�g1h�|����S�>�q���b�Q������D���բ
��=�6�~��-���z����l���Y�l���=�}�������=������;�u�����'�(���e�%���2�w�����y�����X������]��#��
Y�;# �&S'�*�+�+�.1/M1K4p5�5�:CD�EG^vwn���y���?�.�h������Į'�۾��:�e�	����������s�?���G�n�L�A������-�����&FXH�H�HJI�J�N�N�O�P�UbV�_�`$a�a&bJc�c�de�g�h�i�l�m�n�ovtvQvry={Y|}.�٘��ݸ^���5����������19C20�- e~t�!�""#$$�$�%(�-�.&3O3@4�4�5�8�A3IJ�KL�NWP�Q�R�RTT9UWW�W{X�XZIZ
_�_)aYb�cSf�fg�gjx�|E}�~Z��.�1�LJ'���x��~�}�����������I� ���U�������%���f���	�0�a�����6���	�/�O�6�����W�/�21l��P
�
<��/r�0!�"1/0P0�1�;C=�=4> A-CE�E�G>HgHGK�K�L7O�O)P�z|6~����������3�S�������I�s�p�j+�*׭���9�j�)���=�q�������������, - k- �- 2/ �/ �/ 51 �1 �3 �7 8 �: (= �= �I Q �Q  R �U �V ?� �� �� �� x� �� �� �� �� )� �� .� e� � I� � Ě C� �� �� �� �� � �� �� � �� n� �� �� %� &� �� �� z� !� �� �� �� [� � N� �� �� \� � �� �!w	!22!�23!�8!u9!�;!�>!D!�D!�E!{G!�G!�L!.M!�M!�M!W!>W!R\!]!O]!f^!�`!�`!Rc!'d!4e!�g![h!�i!�k!�m!n!�o!ap!�v!Dw!�x!_y!�|!I�!Ō!��!o�!e�!L�!+�!��!��!�!N�!��!E�!��!��!)�!2�!��!��!z�!0�!��!24�!H�!/�!�!=�!��!��!��!��!��!�!k�!��!�"7"�"�"�">"�"�"P25"�26"�27"�
"�"�"0"�"<"28")""J"&"f"�"�-"�0"�1"2"�5"�;"x?"�@"I"�a"(f"��"�"v�".�"x�"��"&�"G�"+�"��"=�"q�"&�"��"D�"�"��"��"M�"��"!#�#!	#+#�#�#�#9#� #.!#�"#V.#�/#�3#�4#�5#299#@;#�;#W<#�#��#$�#��#c�#��#�#��#�#x�#%�#c�#��#�#��#a�#��#b�#!�#��#��#��#��#y�#ަ#�#]�#
�#��#�#��#�#7�#�#N�#��#��#�#�#C�#?�#�#&�#�#��#C�#��#��#~a%`b%	d%u%�u%}x%�~%R%��%��%I�%ݗ%��%��%��%(�%Z�%�%{�%�%�%)�%��%լ%v�%�%�%�%�%�%X�%��%T�%��%�%a�%��%��%��%��%��%�%�%��%��%{�%�%,�%{�%x�%��%W�%��%t�%��%L&�&�&9&�&.&�&�&&&-H&EI&rI&�J&8K&.N&rO&�O&�P&�Q&�R&S&�S&\U&�U&0V&r[&�[&e\&yf&�f&h&�h&�j&�l&m&Lt&��&��&˻&�&��&4�&��&п&8�&��&�&��&��&>�&��&w�&��&l�&$�&��&��&T�&�&:�&��&�&��&F�&��&�&f�&:�&�'�'+30'�'
'C'�'�'�''Y+'�+','�0'�1'�?'�A'�B'�C'tD'lE'>G'�H'&I'L'O'�R'�R'�T'�U'�V'1W'Y'�Z'['\']_'`'A`'�`'a'<b'�g'�h'�h'
i'j'�j'o'{'W}'='҃'l�'�'E�'.�'��'8�'��'ӕ'\�'}�'��'l�'��'s�'r�'��'��'޲'��'��']�'�'r�'��'r�'��'F�'��'A�'��'h�'�'��'�'��'��';�'Q�'h�'��'�'�(((�(�(�(�	(	31(3(�(I(P(�(�(}(�(�(�(>(@"(�"(�"(�#(/%(�((�5(:(�<(�?(VF(�I(�K(�N(O(TS(gW(^(�c(!d(�d(ml(�l(,�(J�(y�(r�(�(��(ϭ(C�(y�(F�(�(��(�(��(<�(q�(�(��(��(��(�(��(��(=�(��(��()�(��(��(��(Z�(��(��({�(��(c�(�(��(�))p)�)�)�)�))�)�)")e/)�0)�1)�8)�:)><)�<)�<)�=)"?)H@)vD)�D)�F)�F)�Q)�\)])�^)�^)c_)*`)�`)�a),b)`b)�b)Uc)Ee)�f)�h)Hi)�i)�i)Oj)k)�k)�l)�m)�s)'t)7t)�t)�v)�v)�v)�w)Gx)ay)�y)�~)�)3�)�)�)Q�)��)�)��)R�)��)ɢ)��)�)d�)��)��){�))�)��)R�)��)P�)��)��)��)��)q�)��)��)��)�)2�)e�)=*�*�*'32*N*�*N*b*�*�*k *} *!*9!*�!*�!*�(*�)*�+*�,*-*a-*�/*n1*4*�4*w5*�5*�8*�9*2<*?*Y?*>@*0C*)G*0H*I*1K*�L*�M*�O*
P*kT*�T*\*�\*^*_^*a*�a*#f*33o*7o*Rs*u*�w*5x*%y*gy*Ɂ*>�*��*Y�*��*��*�*[�*C�*U�*̙*
�*Y�*K�*�*j�*2�*5�*Y�*�*��*|�*g�*B�*(�*W�*��*��*�*�*��*U�*��*��*��*"�*��*��*��*�++�+�+3+�+"+8"+'+<+9R+�S+c[+(\+]]+�^+_+U`+1a+tc+)n+�o+2r+�u+�y+^z+P{+�{+^|+�|+O+�+�+J�+Z�+Z�+˅+�+É+u�+�+!�+Θ+��+?�+�+