Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00047_00000_shuffled.ds.index122 linesDownload Raw Back to root
1����O��>��
�� �%s�J� �!l#$@%�&('l,q-�05�:�:;�;)?�?@0@�@�@B�B�C-D(FHwH4I�L?M�Q�U�V�X�YM[�\�\�\�`�ab&d�d}e�f�i4jBnv4v
{o{W��O�s���b������Ŝ�?���E��]�z���J��b�fiSi\j�m�p�qu�vTw�|%}�~�����2������/�׋Ȍ���ɠ�������1��^�I�ͫ;�ܳ,�������P�	�K�R���������<���)����p�����Y�'���G�+���8�A��I	�	�7
U
M5u�@���i�Ch��}$�$�2�3R4�45|5�8�<Y=<>�?7@�@A�AB�RCs�tv��a�J���D�Ս��l���g���ܛ������֠Z�٧̮��g�%�}��������������;���{���2�����+!{%�'�)*�,=-�-K/y0�0�1�2>:�:�;	<�<=�>B�B�C�ExG�G�H?IdI!N�O�P�QV/Z \Q`Sc�fTg�g�h�mQn:q_q�q^r���Z�y�������������ԛb2a3�45�6_:�;OAC�C1D�G�G�R%UAV�h�hnr0r�rt@t<ueu�u�xw{�~�`�j��0�A����(��%	Of�3�2 � �(h)q+O-�/c04�47�7�9�:`;};n<�@�C�F�M`N%STV�V�X<Y[�[7g�ikn�n+ou�uv�wx�x`{�{�!�����\���e�l�ږb���k�F������|�*���ھ��L�������6���w��x�������j���E�1�T�����!�V���(o9��>u92D��9��"s"�"�#i$�%�'�'+(K)�+�.B/l/�1�3�4P67:?I@�@�AB�B�F�HIOJ.N'O�O^U�Y�Y][yd�d`e�ei�i&kKk(m�m�o�q�q rWr�v�}g~P�Ł��=�T���{���ږ ����D������ڵ��R������;�V�����F����#�S���$�����4�_�4�����
�
F&(-8/�0F35'<�<�=�=QH�I"JK�K�M^N5O�^�`�bg2n4yA|�}y~߄)���݇ȉ��%�p���������x���I���1�ŵO�3��@���d���)��������������u���
�d�m�@�a���������<��KTxM!�!/%�%�.}0N1�1t5Z;[H9K�Vu[?\�^g�p�q*r�sMv�v,y~yJ{�{€`�������ۆY���{����ƚ[�,���M���
�̥��/�����s�����������V�H���h�����2�����	T6	�7	J	^
	�
		F	�	2	 	j	�	<	*	+	{-	R1	�3	
4	y5	�7	�9	�:	�;	'<	�<	�=	aH	�I	K	�K	�M	KU	�Y	[	�a	<�	��	��	�	��	2�	<�	��	E�	��	��	�	��	809�10r11H12�13�	1415 16�17 18�
19�20�21"22�#23$24�$25G)26w)27�)28�)294+30lE31�E32sH33�K34�M35�P36�Q37�T38MU398V40oV41�V42WW43�W44�X45Y46[47�[48`49�a50/b516f52�f53gg54h55Ti56�i57{j58�j59�m60�o61�q62�w63�x64Gy65wy66�y67�y68��69�70��71)�72��73<�74Ƨ75ܨ76��77٬78�79�80��81��82Y�83��84�85��86#�87]�88��89��90L�91O�92��93��94/�95��96Z�97��98N�99h�100/�101��102��1032�104��105~�106}�107>�	#�$�&k'�)r*�*�*+!1C2�=U?1D�J
K`M"N�S�VX�Y�Z[]\�\]�_�_%`�h[j�m�m�o�r����y����i�;��ˏ`��k�{�p�G���<�M���G�z���r������-�G���p�Y�h�N�����u�108���B�F�����)�o�����8c���[�oy�	5+�+�,�.�.�/C1�12&2�3�4�5�67�7�9�;�<�<,=9FtHDIeJ�K�NQ�cdd�d�e�g�g�h^p�p�q�t\u%vSvvvw�wRz|})����Ι��X���N������G�l������>���z�����)�]���)���������n�r
p109
�110
�

_
"
�
d
�
�
�
�(
�)
?*
�*
�+
�+
�-
�-
].
�/
�/
h0
36
�6
�8
�F
�F
6U
�V
�\
�\
�d
�i
fq
�q
�r
%t
�u
�u
v
�w
�{
Q|
F}
��
z�
҃
,�
g�
2�
��
��
��
��
��
��
9�
��
E�
)�
�
��
��
Y�
ǝ
j�
�
E�
	�
��
~�
o�
>�
��
Ϯ
#�
�
q�
��
��
��
O�
D�
��
X�
��
"�
��
��
��
��
o�
��
"�
��
��
=�
��
�
��
+�
�
��
L�
��
��
V�
Y�
��
^�
��
K�
��
��
G�
x�
��
��
��
7�
B�
��
p�&'#(�)\+�+�,.61I4|4�5�56L7�7�7�8�9m:R;�;�;�>c?
AA�E�EF�F4H�K�QU��O���^��a������I��|�����u���٦)���'��?�c�����q���d�����y�����?���/���)�����111P�,���Z��Ւ“1��X�`b�i2jk�k-l�lVm�m�n�nzz7|�~v�� �ɚ�����f����'���������_���x�����U���s���$�k�v�)�:�?�:C+)�)�*L-��112�S�M}��]&!?02y3K4�4�6�7D;K=Q4QzS�UY}Z�\�^$`�c�c0f�fg�g:i�iDjk�k�y�y�z#|�|�~3�Հ����V�ݕ��9�2�����Ӣ���խ�����<��?�)�)�q������113��������������Q�X�������!���i����%�#XG	
k���W�r;�� ("4#
(S(�,g.A0�0o1�1�4V5IY�Ѝ\���֮u�m������/�l�̶��Z��h��[�I�������@�|�������#���y�r�������`�'��a�\u��1x !P!�$K.�0o7R8L9`>�>eC�C�C�D�Eo�������R�Z�ߒ���0�c�c����~�b� �`��������2�t�|�(��K�V��������a���H�<���*�������zc�=+�%]�X�@�Q*�-�-u2�4�8�:�:J;�;�<�KMdQcSOWDX�\�]�_�_�`�`\c3d�d+e�e�i%j.t�t�wg|�|�}Ț����J�l�ʥ0���������������������	�	r
�
hNK b � �!�"V'�'N*$+b+�+�-�.�/41q1�12�2%3�3'5�5�5�78j9>;�;A�JKL�O�SU�UV�]�]�_�_�_�`ua$b�cVh�j�u�v�xӛD�'�y������>��߻��1�^�n��g�����������X�|����&�;������������114�x�v�b�A����7{W�FN�����.c.O<&=�P�Q7R	Z�]P_�_U`�g�k`lRm1nq�r�����j�m�y�����Ƥ/�Ħ��N�����,���x�t�"�����s���U�r���,� X"�#G$�$�&�-F/�3�3�9�> @P@�@�D|G�G�L4N�N�OgP�PfR�V�Y�[4^�d/e0f�fjiJn�n<o�ofq�y({�{8~FF���߂Ȇ��F�b�
���l���Ж����8�͢�����o����ı"�>��@��������f�z�Vk�\dq���1'3�364J�L�L<M�^%`Ua�m�ozp�s�u�w�zt|z����#�~���=�Ԍ'���^�z�����"����\���^�u���٠��4�p�E�+�F����2��������115�����j�a�����l���7�������~�G�3�Z$m�;��;z�(~)�,�.1160h0�1
5797�:z;�A�A�C�D�F�HkK�LNYP�QV�X`�d�i�k׎����J�117����`����R���n��m�ħ����z�ޫ�N��h�?�Ӽ�������������w���a����������������b�2���U������1189�8h�#�&S)�)A*�*a.�./B/�05�6�6�B�H�H&I�IK�K�KM�MP6T�T�U�f1j���̊Čތ��ŔU�����9�)�`���ճƴҷ��3���x�������f����}�����i���g�x�j���P���)�g���6�3�$������?��53�&aF+���!."�"h#�#},�./!1�1�3K4�EdF�F�F)L/V�V�V7[)gxgj�j�mn"q`s�tIu�vEz�zZ{}8~��������&������β�����k�������f�Z�4�;�����������N�g�����S�^��u�J%MaP<U�U�\	cm�m�n�o�q�t�u�x�x}�~K��r�(��������I�t�E�Ž��������J�M�y�x�@�!�+���,�8����s�+��������.��������s���y�n�1����� d � r � � � � " �  �$ 	5 �: �: ; 3H �H !I iI �J �K �K �L #M �N �U �U sW �W �Y Z UZ �Z �[ �\ �] �^ �b �c �c 5h �h Hl m to ,r �s qt u ev �v w 9w Fw vx �x !z �z D{ y| �~ � � i� �� � �� �� s� w� ۝ � D� (� ]� �� �� �� � �� �� &� �� X� <� �� �� �� ]� +� �� q!` !�!! #!Q%!�5!.6!�6!*8!98!�9!�:!�<!`=!�=!�=!@!�B!�B!E!"E!iG!�U!�\!I`!�a!�b!�d!/e!�e!�f!(i!�i!�j!!k!�v!}y!��!��!Ԋ!`�!k�!��!��!�!��!��!�!ܾ!��!k�!�!��!>�!'�!�!��!��!8�!��!��!��!\�!��!G�!��!?�!4�!�!��!G�!��!��!�!��!��!��!��!��!�"N"�
"�""I"|!"7#"�#"�,"�."�/"5"�5"�5"x6"*="�="�>"�>"�?"�@"G".I"NK"�V"�X"�Y"�Z"?f"Ci"k"n"�n" s"�u"�"Y�"�"D�"j�"S�"��"N�"�"ϖ"r�"җ#ߟ#�#ݡ#o�#�#2�#��#
�#"�#�#4�#h�#7�#@�#�#��#K�#e�#3�#�#k�#119�#��#q�#��#��#��#�#��#��#V�#��#q�#120�#�#!�#.�#�#(�#o�#��#��#��#�#z�#G�#��#��#,�#��#�#_�#�#P�#��#P�#f$$�)$I+$�+$�,$�,$�-$�/$&1$�1$�1$�2$�3$�3$4$�4$�4$X5$�:$�;$�=$n>$�>$�z$�{$�}$�$ς$��$�$ń$�$_�$e�$��$��$϶$ �$V�$�$��$�$��$[5'27';'�I'�J'�J'�K'U'�W'�X'�Y'=Z'J^'�^'�^'`'�a'�d'�f']g'jr'5s'�v'�{'q|'�|'�'��'L�'�'��'�'¢'9�'C�'��'>�'s�'�'��'��'��'!�'j�'��'�'R�'E�'��'��'��'�'��'
�'X�'��'U�'U(�(�(�(�(b
(�(((�(('(r(�&('(3'(s)(�+(,(�,(t6(�6(�7(8(28(�8(�@(�A(FB(�D(�F(NG(wG(�G([K(fM(Y`(Oa(�b(f(8g(Dh(.j(�j(k("l(�m(�n(�p(Pu(�v(+y(=z(�z(�{(�|(�~(��(�(M�(��(��(�(��(!�(��(�(0�(ؤ(��(��(�(4�(Ь(A�(e�(��(�(E�(�(~�(o�(}�(u�)8�)w�)��)4�)A�)��)��)�)b�)��)�)��)��)��)��)Q�)}�)��)��)#�)��)5�)y�)*x*�*�	*,121*�*�**�*X *P"*j)*�-*
.*m.*�/*�1*�1*�1*3*4*r5*�5*�5*T7*n:*�;*�<*[>*�>*�?*�A*H*�H*6W*�W*Ne*f*�i*Ml*sn*>p*�s*^u*�u*5v*�v*�w*�x*y*6|*�|*�|*6�*�*��*ߋ*$�*��*�*.�*?�*ڜ*4�*�*p�*ٟ*#�*٥*�*ͦ*�*'�*�*��*��*��*O�*��*`+|+#+�+m++�+S +o +#+m#+�#+�$+&+O)+�++J,+-+�.+?/+c0+�2+g6+�7+�>+*?+�@+�A+$B+F+G+�G+�H+~I+�J+�M+}S+JT+[T+�V+�W+�X+Y+|Z+yb+�c+�j+il+m+Km+|n+Ro+Lp+js+2w+�w+v~++A�+Œ+!�+��+�+ܕ+ϙ+R�+›+d�+;�+ß+6�+#�+�+&�+�+�+p�+��+��+n�+��+8�+��+`�+��+��+0�+��+��+��+W�+�++�+��+r�+?�+��+{�+��+o,�,�,,�,
,M
,Q,�,�,122,],,,,k,�,d$,',�',N(,�(,O),r),	.,N/,@0,�2,3,�=,�>,�B,F,�G,�H,�J,�J,)R,�W,�X,FY,Eb,�b,�f,�g,�j,>k,gk,�k,l,�l,s,�s,_t,u,�u,v,̆,m�,��,��,T�,��,�,J�,��,Γ,��,۝,=�,	�,��,8�,��,ɰ,¸,��,s�,�,Y-~
-�-�-�-�-9-�-�-K-w-�-u!-�"-$-O$-�$-�$-%-�%-['-�)-_2-�2-�:-�=-y?-�Q-yW-�W-@X-�Y-�Z-`[-"\-[d-ze-ng-�h-�j-]k-(p-�q-j|-}-�}-M�-�-ބ-3�-��-��-Ǚ-d�-��-y�-��-��-��-��-��-��-��-3�-��-��-��-��-��-��-��-��-Q�-�-��-��-�-�-��-��-��-��-{�-;�-@�-�-3�-�-!�-�-5�-��-�-��-(.#.B.]...'.,.�.v.�.8..�.�.N!.�!.~$.%.n&.�(./,.�,.q-.�/.P0.�0.>1.�4.�9.t<.r=.d>.�>.#?.�?.NC.{C.�C._E.jH.I.
L.;O.`P.�P.9S.fU.Y.6Y.