Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00081_00000_shuffled.ds.index36 linesDownload Raw Back to root
1@B�,g1��|��)-j.�0�1�2�2C4�6�7
8�8�9Q:�:�=,?DXD�DfN�N�Q6RJS�TIW2YF���6�.�������d���t�'������������
�>�����6�"�Y�_���c�i�������Y�#���\��5�k�>�j$�+z.�0�0�7�8�9�:3<�<d=BDEaE�E�E�F<G�O�QLSU�V�WH[�]^�^clc�d5eyetg�iaj�j3k�k�m�����M�̍������I�Ϩ��\���4�e��� ��{����T���������#����������S����j�����������C�P���0������������������x	,	#X,�5M6�6�RpS%Ua5bLb@e�e�g,hfh�m�m@o|p�p�s>tIv�v�v@x`y�~���W�2�v�<�~�àB�I��2�i�#�N�X�b�e�A�d���^�A�T�9���������FK�)�(*B,�.�/H0�J�JN�NqQ�R�U�WgXU^r_�aYc�c2d�rKw�z|��G��U���s�p���m�Q�K����K������=�"�e������o��^�����G��:"nz*�+�.�/�/�/v1�13�6�6�7�?�S�\
^G_�_o`(b�b*d3i�j,k�k�l�o�p�p
q2��������8�Ҕ��i������ƪ���O�\�κ8�2�R�+�R���I�J�����e��;�a�����5�������d����w������}���v�w���N&3��T	w	g���H��0n<�<s=�>�?�?�@CiE~E�FnK�M�NO�O�RS�ST�TX�X�Z�\�\|]�a�fh��'�����ȓy����G�����1���=�W�I�d�h���&���^���;�^���m�R����6w7�L��l�M\�gW"&�/ 80<_>�A^B�C�DyK�L�MHNOWO�T�Y'ZQ[�\�]�a"c�ckf�f�hi�j#k�kUl�o(p�q<rr�sy�y�z|�}h�i�~�l���F���Ös����V������r�/�
�����P������������]�p�@�L�	��
hh��)�*0,0~2T6�6:7�8�9c:W<v@UB�\w]Sa�a�ctjk�l�o v5���E�ե޺#����������<�������g�k�2���!���"�=�I�����8�
lf!h#�#$�$U,�/64�4�45�6�6�7�9�9�:*;�GS9V�Z��+���څj�v��N���k�v�˚J��	u:5�10�
Z���������*+,�.�0�B8D�E"F�FP�P�TUAZ�Z�[�\s]�_bl�l�meo�ouqou�u�u�~�\�%���͋�J���"�ؗs����&�8���������ɣ��8�������������m�����$�����������"����B�������
�
�11
�
�
�
�
�
�
{
�
J#
Y.
�5
t6
�7
8
~8
�8
p;
�;
<
�=
�=
�?
�D
E
�F
�I
�I
J
�J
�K
&M
�M
:N
�V
�e
�h
�h
En
�w
�w
cy
�z
{
�{
�|
�|
�}
�~
��
$�
\�
b�
��
�
�
j�
q�
î
��
�
��
��
��
��
��
��
A�
��
��
��
��
��
l�
F�
��
��
��
-�
<�RD	�	�12gP�P+QYS�T�fgg�g~z\�c�v�����M� !���¥̮�[��.��%�X�����@���13�*�h������������K���6���$���`P���%�%	&A'@.�/I3�3=7�7_8+:U:�:1= >H> A�D�EhF-I^J�MmO	PQFT�T�UoWZ�Z~[\A^|l�l14m#m�m_n�o�o�q�r#tK{�d����	��������H��������_�������0����I�0��b���)�����i�����!����c���I�������A-�V���	�w�Z���x�����.|��!8#�%�'�)*�*#+l+�/L11�1�4�8�;R>�>_?QA�B!C�C*F9L�L�cTdkhfl�nrH�A��D�̩�|�q����3�G�'���K����[��[��������(�Q���/�����*��<���A���J�h�%]��Z
��J�>D{B}+�,�/J0�1q4�4(6t?@B�B�CE�H�I�J�K�KLPL�MPQ�Q�TdW�Z�^F_LdjVjo�o'pvrJ{�{��6�w��&�f�A���M��e����q�&!'�'�'�,35k98:�:�;�<K=}?@.B�CYEFHJQ�Q!R\R�S�WX7Y�YZ�Z�[�_L`1r�v|w�2�݀=����͡��6���ά�-���ȯ������:���)�<�վm�ؿ=�l�d������g���J���F15��f�	c16�17�18b�19
��w&�)�*`.�.�/$0s1623�8�8^9�92:l:c;�;wH�K�M@N�NwO�P�QK[�[^�^�_2`Ea�d�d$e�h]ilkqt�u�x�y�z{�{�|�}�}��]�I�N�ʄ��C�Y�h�ȉ`���v�������)�Z��������������r�5�t�����y���R���t��j���-���G���������;���	���6	�	=�
&0/1�2�2�34�4�5t7�<=jDFWF\HPI#Q�WX�X�X�Z�bJc�c\d4g�kxmrvr�r�r	s�s�t�u�u�v�w�{�|�~�*�ρ]��������`��b�`�&�C���Ο����ȧ<��������$���L���+���9�C�t���[��������1�@�G�m���8�����E�����_�����>������N	�H?M��Rx��#!K"�"#�MqN�O�Q�R"SST:U W�WJYv\Y^�_`&b�bc�c�d�d��!�ЊF����	�������.�����[�� ���y�³*�o��=��k�׿A�M�}�+���b���<���*������r�p���:���d�Z���߫;�4�������`�����ܹ�,�����%�Y���������$�r�-�8�~��c����r���F�&�x���������,�O�����^mS���
't�:�!�#�+�-�3)5�5�AB�Q�S�W.Z�\�\�\`[`�h`i<mlo�oZpzp?q�q&r�yzY{�{�A��q�H�Ç��.�h���p�ޞA���&��#���������<�h��ҽB��6�_�������`�����[�T�+�l����<�.����@�-�����>���7���'����	�20�21�n�-�.9�@kAk�r%!A$�&�'2()�+/�0~5L67|8�8N<�C�P�R�U�V�[�]-^`OabYdBw�x
zE}�~���΅�;x<D=	?����\��ȟݟ���ɩ%���Q�'���޽z�ʿ������D���X�e�����e���
�)�"�\�����C�:�g��������k�����b�n�.&"
�
/��P�QaV�WYg\]�pYq�q�r't�uSx����l���!�����Q���£ؤ��0�6�/���
����������2�_���W�:�D������Y���������%��E5�	�	?22�c
)#*�1j2{=Z>b?@�K�K"L�NO�S2U�V�WX _wcNd23ej�jtu~v'z�O�х��*�����d)o)�)~/�0�1�2�5F9FDG�G|J�J[Q�Q�R�S�SjUjV�V�X�Z�[]�]�^=a�bPc7e�h�lIn�n�pr=r~r�w�w"~�~dž�d�Ljr���g�C�-�ܰ �����1�������ڿ���������W� ���5�������z���D��������X���������3�����.��_�������.	 �	 �24  � > � P ; | � # �# �( �) : �D �D 4E �K `N �N P )R 1f �g �h �i 6k ]k �k 9l mm �n �o �v �v �x Uy �{ �| Ѐ �� �� �� M� �� �� � b� 	� �� � �� �� �� '� e� �� �� �� d� �� >� �� 8� (� �� � R� !�!e!h!	!�25!�26!�!z!27!!!�!a!�!4!!!`!3! !� !�$!�$!�'!�)!9*!\*!,!�-!.!H.!�2!H4!E6!�6!78!}8!�9!rH!'J!K!CN!�O!'Q!�Q!ES!V]!�]!/^!r_!�`!|a!�b!Sc!�c!Od!�h!wi!�i!�y!|!�|!l}!�!��!�!��!&�!\�!�!��!��!�!M�!��!l�!R�!G�!x�!��!�!h�!w�!��!��!�!��!��!&�!\�!��!��!�!q�!.�!��!h�!h�!8�!�!��!��!�!��!��!\�!Q�!��!�"�""�"�%"_'"`+"�,"}-"K."_/"0"$;"�;"�="�>"(?"J"�K"�K")L"-M"fM"O"�O"~P"�P"�P"�S"AT"U"Y"Zn"�n"o"�o"�o",s"v"�z"��"g�"M�"�"ȕ"��"T�"T�"@�"��"�"��"9�"�" �"�"v�"�"
�"O�"%�"�"
�"��"I�"?�"a�"��"��"9�"��"��"�"��"��"��"P�"4�"^#�#�28#"
#V#4#�#�#�#]##J#� #�)#�-#G.#�.#0#30#�@#A#�B#tC#�S#�S#�V#hW#�<&5>&e>&�A&�L&O&dX&�^&�l&�o&�o&Wr&�s&��&��&��&{�&)�&��&��&��&�'�'�'@'	'�	'�	'L29'�30'�31''�
''�'�'�'�'�'['�'�'X'{'[$'�$'&'y''�''�('�4'g5'�L'�M'�M'YN'|O'�O'�U'�W'�Y'`'�y'a�'��'ܑ' �'J�'ԕ'.�'��']�'��'_�'��'}�'߮'��'Ѱ'�'�'��'��'߽'��'��'a�'��'��'��'�'��'z�'��'��'��'�'��'�'��'��'/�'K�'��'|�'z�'��')�'��'I�'d�'G32(Q(�(o(�(B*(�+(T1(�3(-4(�4(�4(�6(:(};(�<(C(�D(��)�)H�)��)��)��)W�)�)�)��)!�)��)�*�**V*�*�*�33*:*}*�*G"*(*3(*u**u.*$1*,7*�7*h9*gE*MG*�J*�K*�M*�M*Q*�R*-S*+U*V**X*�X*�X*�_*�a*t*I}**!�*T�*��*"�*��*σ*�*D�*�*�*��*<�*��*^�*��*B�*#�*��*`�*A�*J�*��*�*E�*�*y�*��*'�*x�* �*{�*��*�*4�*�*��*z�*s�*	�*I�*��*v�*��*��*��*��*��*k�*��*F+�+�+F+�34++�+'+�+�+�+�+Z+`+
+c+y +[%+�&+(+|*+++�++.+�.+@/+�0+k1+�1+\2+�2+�4+�6+R:+jD+9G+�G+4I+�I+�J+�K+�M+�N+_+`+d`+�`+b+~d+�d+�g+>h+bi+�o+�o+�p+
s+Ct+�t+�u+�v+�v+�+��+j�+ɸ+E�+��+��+^�+�+��+|�+/�+M�+��+j�+�+��+_�+��+�+��+�,=	,�,�,�,�,-,%,& ,�!,	",	#,@#,;$,�*,�+,/,0,�1,37,�7,!8,o=,^B,�B,�B,TD,|M,-N,�O,�O,T,;V,�V,dW,�W,�Y,i[,�[,g\,g,8u,�u,w,�w,?x,Qy,��,w�,��,	�,P�,S�,D�,V�,�,b�,��,p�,�,s�,	�,Q�,*�,��,��,<�,�,��,N�,��,M�,=�,��,9�,��,- -�-�-!	-�
-�-6-|-�-�--�-�&-(-�(-�--�/-o0-�0-m1-�4-�4-3;-LA-%B-ZB-�C-tI-�J-\K-�M-O-{P-(R-�U-S]-^-�^-hd-�f-Ag-~j-�x-y-�y-x~-=-�-t�-��-P�-��-^�-��-�-Ɖ-��-&�-��-K�-��-��-m�-ƣ-x�-+�-<�-e�-l�-��-��-y�-�-̶-j�-��-V�-U�-��-{�-��-7�-��-M�-V�-��-�-X�-b.35.�..�.�.L.�.� .�!.�".�#.�#.�$.%.�'.d(.W2.�2.�5.�?.�@.:C.�F.J.�J.�J.tM.�M.�N.�P.TQ.iQ.zT.�U.�Z.�_.`.4b.�c.�e.Dh.k.[n.�n.�w.*y.�y.�z.�{.��.��.�.P�.׉.:�.�.!�.�.Տ."�.��.��.��.Ƙ.��.J�.��.-�.l�.�.��.k�.�.Y�.˺.F�.��.4�.�.��.�.V�.��.q�.?�.��.��.��.��.��.��.��.Q�.��.��.��.	�.:�.��.��.��.S�.��.��.#/z/�/P	/�	/�
/�
/U/J/r//Q/�)/v1/�5/�6/}7/�8/�8/c;/4?/�?/vB/B/wC/2D/�D/�E/�E/�F/�K/�L/,M/�M/A`/Qa/Ud/pi/	j/�j/�j/l/el/Dn/�q/�r/�/ǃ/+�/"�/��/؜/n�/Ɲ/g�/��/�/2�/D�/��/V�/��/��/��/��/&�/�/��/��/��/�/F�/�/<�/��/��/Y�/��/u�/��/&�/z�/��/�/�/[�/x�/R�/��/��/��/s�/3�/��/=�/��/��/W�/M�/��/t�/��/	0�:0�:0<0aA0]E0�I0HJ0vL0,M0vM0�P0�1�22�2y2,2�2a&2��2I�2e�2��2ʆ2��2��2��2	�28�2F�2^�2�2Қ2ʛ2&�2G�2��2��2~�2v�2��2(�2F�2C�2ۻ2��2.�2��2{�2��2��21�2��2��28�2[�2��2��2p�2D�2��2��2=�2s�23�3C3�3�3.	3`	3�	3`3*
33F3�33;3Q3l3G3�3A3�3
3�38"3$3�$3x%3}'3x*3�*3�/3�/3d13�63�83R:3�;3/<3�<3�@3�B3�C37E3F3bI3�`3-a3Ic3�g3�l3�l3Im3�m3�o3�p3sq3�u3�z3�|3}3�}3�~3 3�3*�3�3��3M�3��3��3�3+�3�3��3-�3s�3��3��3)�3v�3�3��3��3w�3��3\�3�3��3�3��3��3�	4r364�4b4r4a4�4~*4�*4�,4v.4�/4�44#54qG4�G4]4�]4^4:^4�_4�`4�c4�d4.e4