Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00056_00000_shuffled.ds.index113 linesDownload Raw Back to root
1�(��F�
p
#����^��{ <!�!�!\"#�$�&�&'�')vfv�zځh���ڋk�:��� �W���P���ԡh�£f���X�p��ݫ�������"��������+���F������������+����g�{��$�����)�?�m�������m�������R�`���"�{����� �����j���;����w���L�y�����$������>���t�������m��%�:�;P�ROTtU�U'V�VGW�Y�Z�\�]^�c��7�%���Ԇ!�����M��ɩN�����L�8�׵������_�!X��"k	��D��o���;M:�>�>�R�aLdeWgIi�i�ug�~������ޏ:���˖���[����ߠ�+�������1�ڶ̷�~�j���g������2�������)�������R�����)���"�W�h�m����������
;lzaZ�p�?#�7<89�9w;�<�B�E�FjY�_uciWi"v�wj{g�d���ޅɆi�R�t�>��ݔ��L���L�9��/����b���9����q�S�n�Ʋƴ����Z�I���e�?����������������Q���[���Y�{�����k�.������������&��X�5#�#(((�9c:�:D;�;U<]?�C�EM�M�M!N�V?Y�Z_�_Rbobe�f�g�n�olqZror=s�s�s�t^u�v w�y�y�}F�q�n�����?���֘י��Z��v���9�o���e����<����$����l}>3T
0�$�'7(.[8�:=�=�=�?PA�B4D?QzQ�_3`cn�n&s�t�v�}~/�j���������E��	�W�Κ���ޟU�f���A�:���D�۱���x��������������z���1��?���Q���4�������\���9�����x�x4�6$?�?�@�@�BFWKNWO�OgP�Q�T�U�VX[�\�]�]�]b�bfcd�i�jek�m�o-pAq�q_rIt�t�u�z)|̀-�؆[����Ց?�E���A�i�.�ƻ;���3������l�3��������������-�/�/�9:e;�;�P2UcU�V�[�n`o�{|�s��������������`�y�����ݫ�������������f�E��m���������_�@���������4�g���F�{�e���y�������"����	s4	�
	�	)	�		�"	#	g#	c&	+	�,	�,	�-	�/	X0	�0	�0	@1	2	62	S2	�4	�4	16	]6	f9	�9	�<	8=	sN	O	DP	KR	![	�\	`	�b	Vd	�d	*e	�	b�	��	��	'�	e�	��	��	Q�	{�	��	��	��	��	b�	�	��	J�	8�	��	��	��	k�	��	S�	��	��	��	��	S5�697�8�9�10�11:12*:13-;14�;15=16_=17>>18�>19�A20�A21�B22D23&K24�P25�S26�U27;[28�_29`30�`316a32�i33.j34�t35�t36Y�37'�38j�39��40k�41��42��431�44ؐ45Œ46��47��48��49f�506�51��52�53!�54s�55ħ56"�57A�58��59e�60��61��62��63?�64n�65��66�67T�68u�69p�70�71F�72_�73��74N�75t�768�77`�78��79�80[�81��823�83��84��85��86��87��88)�89��90��91��92��93�94�95�96��97��T���#!�"�"0+�.�0�4b6F8�8�8p9F:�:\;><>�@JE�F.H�H	JNZa\�^�^_�b"nUp�u�x	}b}	�΀̂ۂ�6�r�܏��%�W����E�o�^���ï-� �A�O�L���_���������>�A����{5��`�©O�ʱ����[�*�����������@�����G��
u98
�
�
p
�
�
6

G)
�)
�5
9
:
�;
f<
�<
�b
Wc
pg
�g
j
ok
!l
�l
"p
�q
�
��
r�
�
]�
�
��
Յ
K�
u�
Q�
�
w�
��
:�
�{���ё�	�99�
`r7�uc��!#+-R-�/�0�0T1A5�8�8�;�;�<JCmD/J�~����ԁ1���V����ˋ�����Ց��ߓ������8�'�g�֭����O������B��[�$���c&�<��m?	0;E<w?H@�A�B�I�JKL�MP\P5Q<VUWDXNY�Y$b�bVc<m�m�no'�e�։���Z����ˠ�3�$�Y�	���n�������
������������������L�\�&�����6�P�����1RB�100��	��*�+y,�,�-�-d.�.�/k2�2J:n;�;�;=H=O�����K��(���V�o���(�?�w��������!���*�o���������m����G<��'H(�(T*�*t+!.�0�4{9�9�:\;q;�=_>�@�C�J�J!K�KN�NYP�Q�R�T�TVW�e�g�h�i�jl.o�tu�v�vw�wNx́l��1�t�������Q� �`��B��[�������'���>�����itNT101�102��
�nH-2 �!�#�$�'�(�)�)�.Y/R2�2%=�?6@�AB�GUH?T*UoU�U"YLYn]�_wa�acyc�c�ce�eGfXh�h�i�jklk�l@m�morq6r�r�r7thu�uw}]�;�|����v�������U����#�u�8��+��3����_�M��Īp���!�b�u���*���������������.� ���E��/�2�6�7�9,:�=v>�L\M�NZSZ�[�\�]�^-v�v�wxIz�z�~B�
�:������{�=�������I�������	�]������=���ҡ��E�ޤK�A����]�������Һ��/��;�����\��d���������_�������]�@�����7���	���Q�103l��y�%�.V/d1�1_8G9O;�<f=104>�>�?�ABDyF6G�G#ItI�I�J�Z�[�cKd�e�fPm�o��L����p���S�]�����Σ�Ӥ2���5��������R���ͯo���[�C�F������������E�����	�����a�=���T�3�6��105*�Q�z_�b�cd[d�g�h�kyn6r�r0s�y�z6{�{S|y~|�����%�م��������F�ن���E����:���T���\���k��:�Þ��[���ҡ��c���Ȧ�a�]�g�w���r�����������]��q� �����F���4�W�n�G��������JFOu��,xS�_��k P"�"�#w&�&�/�;�;�>�AoJ�KfV�V�W8]I]^�^�i�k�q1u�xA�!�����2���5���Nj��d����H�"�\�ޗO����G����ʥL�w�߱����T���5��e�5�X�Z�O���:���k-b@!A�C�E�J^L4P�PNS�Y�Z�^�`�a3b�bd�d�j4k&p����A���x����8�f���]�����/�Y�����3�t��������EWF�HmK�MPkP�Q	T�U�W�Y�[�\�\�_�`�`aQef�i=j�kl<m�m�o�o�qyrt�t�u�uv>z�z�����[�0�Œ�6���O����"�h��=�D���Q�h�Ǫ���í�������M�IJ�e�e�۷o�V�z��������D�l�2���(�=�������=���r�g�l���Y�����~�����d���x���a����#���d������������� � $|'\1�1$34e4�<2=l=�>-A�B�C�EF`Fub�b�c$di������X�K���^�<�!������i���A���Q��!R##0�0�1�2�<>�Q�R�ST�V�W�`�b\d�o/qr�y�y\|�|~����\�(����I���ՓP��J�����E�b�K�����������&�_���<���<�,���K����2	365�5�79�9�;�=>>�d%i2l�o"p�|�|:�q�@������ ���X����������0�G������^�����3�k�
�,���������T��,��#�e���������� � 4  B L	 � ) , � � � �$ d% ,& �/ �/ 14 O5 )7 �= G �S �S 'T �T 106W 1^ _ �_ ` Hm �s �s 1� �� ݄ � �� S� � �� \� l� Ȓ ړ Z� E� u� �� � B� �� z� � �� d� *� �� �� X� �� �� �� �� %� � �� �� Q� �� q� �!a!!�!!�"!
#!�#!$!l7!8!59!�;!>!AD!sD!�D!GE!<F! I!�J!�Z!�[!�[!'`!�`!�d!1h!�h!��!Q�!�!]�!ψ!��!�!,�!L�!I�!,�!�!i�!b�!�!8�!��!�!�!��!&�!�!"�!�!��!:�!m�!��!~�!C�!M"�"D"5"�"3""-"�"8"$"^"<"� "!"o!"�$"A'"*"�?"�?"�@"�B"�C"oD"F"KF"�J"wQ"�S"�\"e]"�^"�_"�_"m`"�`"�c"�i"al"�m")u"\y"(|"�|"n�"ބ"��"��"U�"��")�"�"��"�"�"d�"8�",�"�s#Č#�#)�#5�#�#�#)�#��#9�#��#z�#�#8�#t�#��#g�#��#o�#��#��#r�#B�#��#��#�#��#�#b�#B�#|�#��#��#�$�
$$�$�$}$�$�$�$�$� $1$$a$$�$$z&$($+$�+$�,$$.$�.$1/$�/$Z0$�3$e:$%C$TC$cD$�E$�E$�F$�N$�P$�Q$S$Y$-Y$�Y$�Z$A_$�_$�`$a$G�$!�$2�$O�$�$Q�$1�$E�$n�$q�$��$��$�$��$ǡ$%�$&�$r�$��$��$c�$�$�$��$��$T�$k�$�$-�$107�$)�$��$.�$��$��$'�$��$��$��$��$��$��$��$�$��$'�$��$��$��$��$g�$?�$�$��$�$��$K�$n�$�%	%1%�%	%�	%@%�%�
%%%�%�%108%�%%�%�%�%%b%%�~%%J�%�%Ԅ%
�%��%Y�%2�%�%�%�%_�%��%�%��%W�%5�%�%m�%109�%��%t�%��%.�%
�%��%t�%K&�&�&�&�&&P&&�&-&!&�&�&&&�#&0$&f$&W'&�+&'-&S/&0&�0&1&�1&Z3&�3&f5&�5&�<&6=&VG&lG&�I&9J&eJ&.O&�O&P&�P&kQ&�R&S&�S&�T&lW&3X&9Y&�Z&�e&4f&�f&�f&"h&^h&{h&i&�i&�t&Nv& w&8x&�|&1�&�&��&/�&��&�&��&�&�&��&��&͠&U�&�&��&�&��&z�&�&׽&8�&��&�&:�&��&�&��&�&��&e�&*�&{�&��&��&@'w'$'�''W'�'�'�'�'�'.'�'�"'$'�&'+'�/'=0'�2'8'e<'s<'�<'�='k?'"A'�A'xB'nC'�C'&D'hE'G'IL'fQ'�X'Y'�['�h'�h'�h'ni'�i'Bk'�n'�o'p'�p'r'{s'110u'�x'&y'!�'�'��'�'��'��'G�'��'111�'�'��'+�'��'��'P�'��'��'�'��'D�'��'�'��'��'ѽ'��'��'�'��'�'|�'��'��'(�'��'t�'b�'��'R�'��'b�'��'��'��'��'�'��'I�'e�'�'��'��()�(��(ȟ(��(ӡ("�(v�(�(w�(U�(>�(T�(�(.�(��(�(�(#�(N�(2�(n�(y�(��(o�(��(��(n�(��(g�(-�(��(�(A�(��(��(��(��(�(9�(��(|�(��(8�(��(��(��(w�(��(��(O�(~�(7�(f�(��(G�(��(��(��(��(��();)�)/))9)�)�
)b)8)�)�)n)�o)�r)`s)[x)�x)/~).)�)�)��)x�)�)��)"�)��)ʒ)��):�)Ɲ)��),�)̡)��)��)��)��)f�)N�)��)�)��)��)o�)��)�)�)ű):�)�)`�)i�)t�)�)`�)��)��)I�)��)��)��)��)1*�*�*j*�*�**7*�%*v&*�'*(*)*�)*{**�,*�.*m6*�6*�9*�;**<*�<*A*�B*(C*/E*�F*�F*H*}H*�J*K*}L*WM*fM*�N*O*t[*�[*�b*%c*d*�f*�g*wl*Sm*�m*�p*�q*p�*ڤ*�*K�*s�*��*��*د*��*f�*�*��*|�*]�*b�*W�*��*k�*j�*��*��*��*�*=�*��*<�*z�*�*!�*�*a�*�*��*%+�+m+�+D+�+	+�+�+ +O%+&+�&+a'+�'+t(+�(+M)+n/+�/+1120+MN+]S+�S+�T+�X+6Y+�Y+�Y+�Z+xd+�e+&f+�s+t+�v+y+�z+V�+�+��+u�+ƣ+��+
�+��+ǧ+@�+K�+^�+ȫ+��+��+9�+��+C�+ֺ+R�+��+߿+�+0�+]�+L�+O�+��+l�+��+��+�+q�+��+��++�+��+f�+k�+��+��+��+e�+e�+��+��+��+��+��+	�+,,1,�,,�,�,9,�,�,F,�,�,�,�$,+,9/,�0,�2,�5,�6,L8,,9,R:,[>,�@,�@,�@,�C,I,>],�],_,�c,�j,�l,?m,�s,v,w,�w,x,�x,o{,e�,�,l�,�,B�,n�,��,c�,o�,y�,�,!�,O�,�,ؠ,��,B�,?�,1�,i�,0�,8�,%�,t�,�,~�,�,7�,ܺ, �,��,t�,��,L�,��,9�,��,��,&�,]�,�,��,��,��,��,��,��,��,q�,�-#-~-�-8-7-m-�-�-N-�-�"-�#-t+---/-�/-0-B0-5-`9-�>-�>-wA-�A-4C-�C-�D-RE-�E-$F-�F-�K-GL-�L-?N-EX-�\-_-�b-c-2c-/f-�i-j-Xk-�k-l-�q-�|-	�-h�-p�-��-	�-�-Ȏ-��-�-�-o�-��-��-�-I�-,�-T.f.�.�.W8.�B.rD.XE.�F.�G.LH.4I.�I.J.J.�J._K.�K.�L.sM.�O.�V.�W.�Z.�\.O^.�_.�_.)`.�b.�c.qf.�g.>i.l.yl.vm."n.�n.]�.��.�.��.m�.�.��.�.��.��.֟.Ҡ.��.��.��.	�.�.}�.��.H�.)�.T�.�.�.��.��.��.^�.113�.��.��.z�.��.F�.��.n�.��.0�.m�.�.��.k/�/�/�/�/
//R/�/U"/##/�#/$*/�5/�9/