Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00041_00000_shuffled.ds.index83 linesDownload Raw Back to root
1��	2u3[
ol�CGj�
2Vk 	!R%�%�&'*(�,r.�/>1�p7q�qAr�u_v����͉2�Q�����ȍ5�����=�ܕі �Ø���9�<�[�Ǭ�����&�����������S�����X������1�]�6�����/�x����sb��i4��~6�h�� �&�'y)�)6+�,).d/�4�9ERbR�R�V�XY_jn'oDq�q}t�z�{�{��)�Ѐ��<���d�ƘL��[�&�`�����S� �N�:�ر����������u�p���n�]����
�L���K����������b=#"&�&($,�=�F3HwI�K�LXNMX�X3Y�Z�f<k��Ҫf�5�s���9�e�{�����E�������Z������U���{���s�����w�������������y�;6�
�r��`.1wB�BtC�C<F)G�GLI�I�K�L�NOpP�Q�RV=W/Y�Y\]ahVij�jk��t���3���O��������]�ޢ;�ͣy�c�s�e�/�k�̸�ʹ>����J���)�������G�!���<�I�������0����\�����!���`���>����9�o���� ��������9���j���Z�&L�M��<W=�@oA�B<C�C`EWH[J!LM�NIO�P�Q�R�S�T�VlW�a+e�e�f#jnj}j!kk����/�b�����j���7���`�������a�`���{���6v��N� !�"�#�$�%�&�&�+�-`/�/70�0�1�_�`dgXi�|�|�K�����֛�� �J�p����ͪ��«��\����
�������������o���������A�.�O�����������q������������������
X���(4)*�*',/g0
1�:V;�=hBiT�UTV�_�_#a��	�͛a������(���[��������������:�
�9�R�&���N������c�,�k�������C�o�������4�_��:5����Dln&K'4(�)�+d,�/�3�58�8�8�:�>�yoz�{t|]g�K��8���~��ͷԸ������S�������/���I���{�i�n���u����w�?�����������E���&�;	.8�9�.E�,q W!M"I%I*�*�-~.�.�2�79kF�FO�O�P1T�T�T}U*	C*	�,	�,	{6	]:	<	c<	a=	�?	�?	�B	QC	 E	�F	[G	�G	VI	1�	lj	!�	ы	u�	c�	�	�	��	l�	J�	.�	��	I�	Ż	}�	�	w�	��	H�	t�	��	��	��	�	P�	v�	��	T�	>�		�	��	�10�11�12�13�14N15 16d17 18�19�20g21�22#232425�D26WE27	G28�G29H30�H31J324J33�J34�L35�L36o_37�b38�l39Gm40Rp41�p42�s43��44�45��46|�47�48��49�50��51�52��53|�54ɭ55Q�56��57�58U�59U�60P�61%�62h�63��64��65��66��67C�68��69�CED3N0RS�S�T�UV#XMX�Y�Z�[�[�])qTr�v[|~O~���̋x����s�������_���Ω5���_�2���h���T�������#���)���F�����������<�8�p�;8��K�R��,!�"�"y#v$�&R+@-R4C�D�N�NCO�P�U[Q\0^�`�a�b�brg�g�i�kOm\m�mIn�n4q�rds�su�u�z�{!}�}Ƌm��Q���D�������`�ڪ׮���+�t����/�h�(�/���/��������`�I�i���9�~�����n�l���s
7
�
�
�
	
a	
o
W
` 
�!
v$
c%
y(
:)
+
X-
C:
P:
�b
�j
�k
�m
8n
>r
�r
u
Nu
��
�
J�
��
I�
ʍ
�
��
�
F�
k�
e�
��
��
z�
Ė
7�
�
��
��
j�
�
�
�
�
\�
�
��
~�
�
�
c�
,�
��
�
R�
��
��
�
��
Y�
U�
��
��
��
-�
��
M�
d�
~�
��
�
��
��
��
D��	�]6
�
_&LF���B�DiH3j�j6m|m4o$p�pAqAtut�wx?{�{����D�`���q�m�(��������x���������������2�i��x���-�m������������13[J	�	370�71U����JW\�D!�#$4*+ ,%.�03:�<�L�S�SVUV�XlZ�Z�Z�\M]�`�c,gJi�i�jSk.m�mn�s)t�t�u�v�v�w�x|&~�[�Y�R���I���b���x�6�K�X���g�����i������������k�#�'�����\�8�>���I�����n	[72:�(��U:�:�:�?�B7C�D�EDF�FIDNQ�R�STT)UKV�Xqc�{C������>�8�O���P�5��������"�ʷ��л73���-�>���4�E�4�s���5��������Y���C�m���o���4������M�����[$�&�'(�)T+�+-q.�3�8};�;B>?�F�G�H�I�Yz[\�b�b�c�cIfghRi�k�m�rVsNvhx�xc�Y�k���C�m���'�q��#������]��I���,���Ĭ����ʼ:���u���r��.�@�z��8��� �#�)�*�,60-1x1i8�89<q>hC$FcF�F	G�H�I�MNuP}S�X�X�\�]�b�b�c�mano?p�q�r�yb|�}��s����n�K�S�̒��Ӛưm���a�F���d���m���$������M������� � �!V"}#�#B/�1�2 3�3�3J6|7�;*<�<$D�D@QR�R�T�UdW�X�Y�\�\�`b�exgIj%k�q�� �q�_��	}�e�7���-�0J2�3j4�4%6i6�7t��!�ѿR�`���E�;���c������k������"5%�+Z,O-�-�4�7?8�;�?�C"HNgN�N�NHOO�P�R:TUyU�X�\�bic�d)wJx{�{H}L�{�C�����W�M����{����7���Οۣ1�i�C�y�\�ުĬ�|�����W����z�������t���G���-���t�,�����������	����!l����R������:�X�\�#�#h$�*�G�N�P�QS�T�UW�a�b�����r�#�5���Ź>��(�R����O�x�X�"�8�K��������*�������!������Q�����G���������%������74�75i
�[g�	����[$�%�%C)�-�.�02k3�4�8:?<�<�= >"?xB�B
C�FH�IK�X�XrYfʏ�ő��U�����)�\�ݽ�:���;��� �d�G�������:�k�����F�	�Q�����L������	z� �!5����.�L�@�9�e�>������Q��S���g��������V�� � !*!�"l&b'�')-�/�1x23n3m5s;}=I?76B�B�BvC�J�Q�TIWcW[�bnc�de�f�tWv�vx�zY}�}�~څ�����I������Q�S�UUV�[&]V]^!^�^|d�ej|k�m�m�t�z�{�|L}́�����E�}���z�Δ�����c�~���[���[���=�������%��������j�W�������w0�3�637|;"<�<=m>7O�PQihzjkl�m�n�qtv�v\wEx�yWz�z�{?|}�}�~0�ڄ��"���{��5���ݑʖ�,�o��n���+�`���L���b�����M�x�'�]�q���=��������I�_��������V���E���������.�������j�+��\���o77�
ku,312`<>H=J��E����s���;�|����m78 � $
 �
 ; 	 � �   �  � _ ! �! V+ a+ . Z: �= �> �K �L aO �O �U �V mW }Y z� �� � w� �� e� � �� l� �� 3!�!�!�79!s!�!�
!�!)!�"!�%!�%!(!+)!)V!�V!�V!�W!CX!�X!SZ!�Z!-[!�[!w]!�]!�f!�!ʾ!��!e�!a�!�!��!2�!��!:�!��!>�!\�!��!��!�!��!��!Q�!�!�!8�!��!�!Q"."-"j"9"�"�	""O"f"�"�"�"W"�"}"$"�"�&"'"R/"\0"�:"�C"D"�D"�R"o�"��"��"=�"l�"��"��"b�"/�":�"x�"��"	�"g�"��"0�"�#;#\	#F#�
#�# #E#�#�#N#�#�#�#�#�#�#++#�,#F2#�:#�=#W>#�>#?#�A#8D#�G#$\#�^#�d#�f#�g#%h#�q#nu#By#�y#z#=}#�}#��#��#��#Q�#�#<�#B�#��#{�#i�#�#+�#��#��#��#ʪ#�#��#�#N�#v�#1�#��#ı#d�#��#�#�#.�#��#�#Q�#��#6�#�#��#��#6�#��#��#n�#��#$K$S$$T$�$$5	$5$�$c$L$�$X$�$�$�#$o$$�$$&$�'$)$�+$�-$4.$�/$2$�2$�3$N4$b6$r6$�6$�7$N8$�8$t9$�;$�<$Z=$�B$�C$\D$T$�V$_$�`$�`$�j$80o$t$1u$�u$fv$]�$��$݆$��$��$u�$�$��$u�$��$;�$A�$ҳ$�$��$�$�$��$|�$�$`�$B�$��$��$U�$��$��$0�$B�$�$��$>�$��$��$	�$	�$K�$��$�$��$(�$��$%�%�%{%%%�%%�%	%Q%�%� %� %
(%�(%�)%*%�*%�+%W-%�-%.0%�0%�1%�1%�4%��%��%s�%��%|�%��%��%��%�%
�%��%��%��%p�%��%�%��%F�%&P&	&�&O&U&:&�"&�#&�#&,$&�'&<(&�,&�0&�1&k7&y8&y9&�;&!=&e=&�=&�=&9C&(D&?F&H&�K&{L&YO&�Q&�S&�T&YX&�[&�]&�d&�d&Xe&�f&^h&Gi&Oq&^q&�r&_s&�s&.z&@z&�|&À&��&�&E�&l�&�&��&�&K�&�&4�&��&M�&��&��&|�&��&�&�&�&��&D�&�&1�&
�&�&'�&�&D�&|�&��&ݽ&W�&6�&��&ſ&s�&��&��&��&M�&f�&��&3�&��&N�&� '� '�!'�"'�"'~%'�6'a9'3<'�>'�@'�A'�A'EB'SC'D'�D'�D'I'cI'J':K'>L'�L'�L'FN'�N'YO'�O'�P'�Q'S'0T'#U'�Z'\'|\'�^'�b'.f'�h'�m'�o'�s'Qu'�u'ww'x'y']}'�'ʂ'p�'�'��'��'Ѧ'�'��'�'�'1�'Ʈ'��'�'�'��'o�'��'9�'3�')�'��'��'��'<�'M�'p�'F�'��'��'4(<(~(�(�( (p((J(�(�(V(�((Q(0((S(�(�(� (� (b!('(=-(i-(/(.5(T5(�5(K6(�6(�6(�7(�8(�=(�Q(�S(!U(�W(/Z(�Z(�[(�](c(�s(Nt(({(B|(�|(�}(�(�(G�(��(�(��(��(��(ޜ(̞(�(!�(u�(��(��((�(ı(v�(�(S�(��(��(Һ(��(��(�(��(��(�(�(��(C�(}�(��(81)c)1)�)o)�))�,)}-)�.),/)L/)M0)�1)�3)�4)�5)8)�8)�9)}>)�>)5A)B)�H)�H)I)QP)�R)mS)�W)�X)[Z)�a)�c)De)�e)�f)_q){r))t)qx)�x)Vy)�y)�{)}).)J�)ɉ)��)��)��)��)��)�)�)F�)F�)Q�)Ý)
�)Þ)-�)/�)��)֥)�)��)[�)��)O�)�)�)��)ɽ)��)=�)*�)��)�)��)��)��)��)��)��)?�)��)�)��)�x*�{*�}*~*�~**�*��*��*N�*��*��*��*��*��*��*̪*��*�*׵*8�*ֹ*#�*6�*c�*��*��*k�*��*F�*�*e�*'�*��*��*��*<�*|�*S�*��*��*��*6�*.�*��*��*+V+�+�+�+0+�+�+%+'++�++�+�+�+ +�!+n"+2%+&+J'+)+�)+�)+9+:+D=+>+.>+�>+�>+??+w?+�@+�@+|E+�F+�F+mG+OH+cI+�K+�L+�N+P+�m+�m+o+�q+r+~r+�s+�z+}+�}+|�+Ƈ+،+~�+�+ɏ+&�+�+7�+�+��+̝+��+إ+��+�+�+*�+�+��+j�+��+��+<�+��+��+T�+�+��+I�+y�+��+��+t�+R�+��+#�+��+�+L�+��+^�+o�+q�+:�+��+��+��+��+Z�+T,/,�,3,,�,�,!,z,,�,,�,,�,�,�, ,i,�,g,�!,J",�#,�',�(,.),�),*,�*,?,,�,,�.,�1,	3,�4,)5,[7,�8,"9,�9,oL,�L,@M,82O,TP,�P,�P,�R,�T,#U,7W,�X,�Y,[,\,g\,�^,ea,�c,wd,�d,�h,�i,�i,$k,8k,2r,Wt,x,fy,^{,�},�,��,-�,��,_�,��,�,c�,4�,F�,�,.�,��,j�,_�,'�,1�,�,}�,�,[�,P�,(�,q�,��,��,�,��,�,#�,T�,��,�,��,��,�,�,-9	-l-�-s/-�G-
]-ld-�e-�g-�i-�j-�l-<m-�m-&o-p-0p-
r-�s-�s-et-pu-�v-�w-1y-u�-��-��-"�-u�-��-B�-t�-�-!�-��-��-��-��-�.�.�.�.�.�.J .+!.]!.".<(.�(.�*.]-.c/.�5.q6.�8.&<.�<.�=.�>.�?.i@.?A.�A.�.��.�.��.��./�/ /m/E/b/�/2/e//A/�/"/�/
/� /f//W3/�4/6//6/Y7/�9/\?/{C/�E/JG/&I/�K/�K/KM/O/�O/.S/QS/U/�_/b/e/�f/�f/�i/�n/Jx/�x/��/ш/�/��/r�/Ҩ/�/��/ĭ/G�/W�/��/��/��/W�/��/��/��/��/��/83�/��/'�/��/m�/	�/��/Z�/��/7�/b�/v�/�/��/Z�/0�0#0�50]:0�:0�C0�D0�F0�J0�K0�O0qP02^0�`0�a0�c0�d0�d0�e0f0�f0Fg0Kh0�h0&i0�u0y0)�0��0�0O�08�0�0j�0��0�0v�0�0�0�0Զ0O�0��0Z�0��0��0W�0��0��0�0�0Q�0I�0��0��0	�0��0��09�0�0<�0��0��0��0��0��0��05�0M�0��0��0�0��0��0*�0�0��0