Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00002_00000_shuffled.ds.index24 linesDownload Raw Back to root
1��
�1]C�� '.�9�:9;�<�@�AWB�BLC�P�QR`ShT`X�X],^t_�_�`bab�b�d�hCj�q-t�zg{k|'d����[���t������� ��F����>��������)�<�>�|�E���d�M�.�Ȯ�}��w������D��<��������Q������W�����n�D������=�	�2����W/��a! � �0~1�1�2`3�5�:F;B[BrE�J�K�K$O�O P=Q�S�T�X�XCZ_]o]�k~o=qcq�q(t]t�tBu�ވ#���,���U�$�e��P�o�v�n���ըƩ���­̯����Z�2�G�̻f������	�	�j�<k?E��!*_]`�`3d|���ވ�ύo�ӎ?���"����������E����Κ���������!�n�����g�ض������]��������X����U�������7���_�����e������y�i	"�"[$�(�(/0�4�5M8�EwFoJ�O�Q�T�U�V[]J]S^\_�_Xe�f�n�q���`��U������7�������P�8�����$�a�����i�F�U�-���.�o�I���N�����;�`���|���+�����>���g����K�������"Q���+p�N\P�PuSTV�\�adLd�r�sdzŅ������@����&���a�n�ҙ�_�ܜ��Ϟ�z�C���]����v�����{�<�v�������n���'�W�t�"�����������F+18182�2�3�4�6�7M8M=�>0?�?�@�@�AgD�D�D�EFG�J7N�NOPR<R�RzS�S�S4TnEo~p�r�s�v|I|�|N���ӂ4�h�m��������a���q��J�2��������B�dzJ��]�s�#����!-()�1�2�2h4=7a8i9�:�;/<�<�=p?�A:DFDJnJ�J�L6M2QdR�R�SUeV5W�Wr\�\r]Q^mc�c�f�h�i�k�mNn�v<}*�������Í8�o����P��ë��]����J���6����*�V�������4������H����h�1�34i56�7W:};�<8=�>�>|?A-AqBD�D�HcJVM�M�N�O�OMP}PQEQuR�S3VW�Y(Z�Z0�=�~�^�c�>�������!?"�"&�)�+x.q/h::<o?@CpC�C�C�D�F�HJK�KMLMO�O�P�e	g]g�gHh�ivyfyU�‚N�ވ���������c�̗�����6�(�t����4�~�;��������z�������������������������0���Q���Z 9���c�)�-�/�/�12<3�:�<0DmE�EgS�TqZ�\�\]�a�t	v�v�y�|r}5�^��[��P��U����u�٩(�G�T���8�Ժ?�Z�X�o�������`�R���6������q���&�v����
�

>
�
�
�&
(
=*
T*
�5
j6
e9
�9
�=
vD
�P
�Q
cR
V
RV
�V
S[
\
�`
4�
	�
$�
d�
4�
�
��
m�
��
n�
��
��
�
�
�
�
��
��
��
U�
��
��
n�
�
}�
��
��
��
e�
��
3�
��
��
�
q�
�
��
�
C�
�"V7�8"�9H�5�"?"�#*$�%�&E�E�Y�s����`�������P��������v�-���������~��?�^����x8�q�j�I  j"�(�)�+E:f;�;4�/������������/������l���}�[�������i�����������E����������8�$Q��;"0'�)�596$:�G�IeJ�J�LKP+X=Y�[\�\b�b&d�d�e�f�qfr
t�v�{�����S���t������_�U���H�����������������(�*��&j�i�k��P K!t!�!*"�"#�$%�,�/�3o9 :�:D?�?F�F�G�G�H�J�J[K�N�Q�^&_k�t@w�x�}"�ǁz�G�ԉ̍u�e�	����ђs����g����k�4�F���ү�����ʲ)���Z���10�O�ػ.�����r�����������a���9��� �����M�������i�_�y��OPKPKQ�Q|kdl@q�q$w�y��ˆ���k���9��6�i�����L�����kk@�C�D�EJI�eAf�f�ij�j�k�tv0v�v�y�|�}���_�Q��a�ԉ��ݎ{���x���������;�~�ޚf�›G�7��������r���c������*�J�p����z���\���r�������$�\����t��s	�	7%�+�.�.^0�0C3m3�67n<>�A�B7EF*F�F@G�GP�QcS�S�VYuY�Y�ZD[�[ay���@�M���A�����~�қc�]�3�Ƞ��ۡϣ��w�y�&����L�ȱ�N�|������
�ƽοc���U���o����������,�b� ���W�n�����a8s~y���<)�| �$�&.)�--.w/20�0�38.9�9e=J>�H�JqK\^k{op`qZ��\�����H����n��Ѵ϶���������ؿ��������X�����������#������1�V�������t�����M�q�4��-G$�%&�'�*i-4.�.�06r8�9h=K>B�C2F�[e]9_�b^c�t�u8x[xcz
| }�}�����������J��n��/�[�11�������o�̗��y����V�%�*�����!�n������t4'
�
��V�_�� =!;"#�#+%�&2'+(�0�2�3�4�5�6�9�<	=�=�=lHeI�~3Y�������]�֞W��m�'�����M����S����m�����Z���T���Z�����$��� ����	
12�E]��|�
 �"G#�3K5�?�@EnE�F�VVW�X6Z^^y_�akb�b�bf�jn�o#p�p_w4�q��I�����_�
����̏i����������X������������ϻ�R�J�4�����}�����j�f�������Z�Q�����_������$X5����135�
d����b�� �!"$|$�%8/�1�2�3z4�4_5�5�8�9P:jE�G~N�U�XNY�YZ�Z�]�cvg9j�k�k�l/m�pq�t�tjv@x�|������݃q�N�G�����.������\���{���ΤR��������Y����:����ż�:�L�y�������8���_���v�B�j���Z�-�������$�|�%��������4��9	:�B�E:K�K�L�NMRYS\smo&w�y4z�zf�ۋ-���^�N�w�̒����E�U����ȴ5�3�N������;�������'��/�g�������q�����Q�����H�7�� � >	 &14 �0 02 �2 Y4 p= B �C  E F �N �O [Q �Q �S >U �V �W �Y �Z �[ �^ b 8d �d �e 7g �g �i �k �p 6r �t 6v uw X{ C| �| 5} �} ~ b� a� Ն L� �� n� Z� ˙ �� 15� F� � �� � ;� � u� G� � �� �� �� 1� �� >� g� ]� >� �� �� 
� ?� � �� <� @� }� z� �� �!�!�\!a!Ts!u!�{!�~!}!}�!j�!��!H�!`�!��!'�!\�!��!�!B�!e�!H�!��!��!u�!��!m"�"i
"�
"v"�"�"�"W"8!"q""+"c+"�+"�."�5"�6"e<"�<"�@"
A"�A"�Z"�Z"�[""\"$^"�`"a"[j"�j"�k"�l"m"co"�y"�|"�~"��"��"��"��"��"��"�"��"%�"��"��"�"�"�"1�"(�"7�"��"��"�"L�"o�"��"��"��"�"D�"t�"�#�#7#�#�#/#r#G'#�(#**#�*#�,#�2#Q5#�5#X:#4<#�<#�D#�E#�G#0L#�M#XO#�S#�S#rT#�T#�\##]#�`#Sa#mc#�c#�c#�e#Gf#}n#�{#�}#=~#8�#m�#��#;�#��#$�#܇#X�#_�#�#��#�#
�#�#�#��#�#˼#��#�#��#�#��#�#��#>�#|�#��#��#��#,�#��#��#�#��#O�#��#�#?�#��#��#��#Q�#d�#��#��#h�#$;$b$J$C$�!$"$$$@$$&$�&$'$s)$�)$�*$�,$�,$;-$�?$oI$�P$�Q$_T$}V$�V$�[$�]$s_$Fs$�s$�s$�u$�u$�v$�w$`x$�x$"{$}$8$�$��$Q�$~�$�$��$�$�$<�$�$Z�$}�$e�$��$1�$+�$�$�$O�$I�$!�$x�$��$T�$}�$��$��$��$N�$��$��$��$��$��$t�$��$��$�$|�$��$i�$A�$��$��$x�$��$�%.%a%�%?	%H%�%(%%�%�%�!%D#%�%%['%�)%s*%�.%=2%�4%�4%>%>>%ZL%�Q%UR%tR%0V%�V%"Z%TZ%�[%�]%sb%�b%oc%Lf%Vf%�f%Bg%�h%�i%4u%ev%�v%�%Ȃ%��%�%��%:�%�%��%��%��%G�%֒%��%�%ћ%T�%'�%S�%��%T�%h�%��%!�%H�%��%�%P�%��%�%V�%��%��%��%^�%$�%��%Z�%g�%��%��%��%}�%��%��%o�%�%1�%��%y�%��%��%�	&`16&�17&�18&19&c&E
&F&t&�&�&�&�&�&l &c"&�&&)&y,&Q>&�>&E?&I&�L&�L&\M&�N&�O&qP&�P&R&�T&PX&�Y&4[&�[&G\&Z]&~&6�&Ā&*�&9�&,�&�&ԍ&�&_�&��&��&��&u�&'�&֡&��&]�&��&�&]�&\�&��&��&1�&j�&��&��&m�&��&��&��&R�&��&0�&4�&��&M�&��&��&��&�&O�&E�&]�&{�&��&��&''q'?'�'�'�	'20'4''c''�'�'�'�!'�'<�'ҭ'��'��'�'��'&�'��'Y�'��'M�'��'M�'��'��'Y�'��'�'��'��'&�'��'��'��'�(>(�(6(�(�(
(�(b!(�!(�%(�&(j'(�'(�)(f,(�,(h-(12(4(�7(B;(|;(�<(u@(M(�M(�M(�N("O(�O(�P(�Q(�Q(zY(�Y(ke(g(Og(Xl(~p(�p(�v(~w(�w(�y({(d{(�|(}(�(؄(��(��(D�(p�(ő(�(�(��(�(�(��(��(��(�(�(��(��(��(��(M�(��(h�(c�(�(��(��(��(j�(��(��(Y)m)�)�)M)u)F)�)4)�)c) )3")�")�)��)��)21�)z�)��)]�)W�)��)��)��)E�)h�)��)��)�**�/*$0*�0*�4*t5*:7*�7*68*9*�9*�9*j=*�>*�@*�A*^B*�B*�C*D*�E*KF* J*{J*~R**S*$�*��*��*��*��*k�*��*��*&�*Z�*&�*�+]+�+)+�+�+�+�+�+�+�+V!++"+#+�$+22%+Y%+4+�4+5+�8+�9+�;+�A+B+XB+�B+|C+mL+JO+�O+:R+S+FS+$U+~U+�V+>X+�X+!Y+�Y+�Z+�[+�a+�e+�f+�f+�h+�k+�l+�o+�}+��+��+��+A�+��+��+x�+�+-�+�+.�+��+�+��+�+�+��+��+��+Y�+��+y�+��+U�+�,i23,e,
,�
,�,,!,L,�,�,@,�,�),�+,�,,�.,~,�,b�,"�,P�,z�,��,ё,I�,��,�,�,�,��,_�,
�,��,��,%�,��,o�,,�,�,1�,q�,��,(�,M�,��,#�,��,Y�,�,N�,�,��,9�,��,A�,��,K�,��,-"-4%-P&-G'-)-�6-�7-�8-�E-�H-�J-�J-�M-�O-]V-�W-_X-�X-1]-�]-)^-�^-�_-�`-b-fc-�c-�f-�g-Zj-�j-�k-�n-8p-'q-s-�t-�|-h}-�}-H~-с-��-i�-��-��-��-��-d�-y�-E�-�-+�-q�-̚-/�-B�-�-v�-��-Ӱ-Z�-d�-B�-	�-��-��-��-��-.�-i�-��-��-K�-W�-��-G�-��-{�-%�-��-�-��-��-��-[�-�.M.�.�.G.�.�.'.h..\.�..w.� .Y".#.�#.'.�'.(.X*.f*.+.G..n0.O3.�6.�8./9.�<.�=.a>.�>.�P.�Q.S.]T.VU.�V.�V.Y.RY.�Z.�[.$].3^.�^.h_.qa.c.c.?e.�e.�e.f.�f.�i.Cj.�k.6s.�u.�x.�y.�z.;{.|.[.h�.߁.؇.��.\�.��.�.��.��.��.`�.G�.��.И.�.�.��.1�.��.��.�.��.��.��.��.�.��.��.&�.��.�.��.V�.A�.��.}�.a�.q�.!�.��.�.��.��.�/=/�/�/�/%/�/c/�//4/�"/0/i0/?3/�4/�:/=/�=/�B/�C/E/�j/�l/%m/_m/o/Ip/Xr/�{/�}/�}/��/w�/��//�/�/�/I�/�/��/��/��/!�/ٗ/��/`�/h�/��/�/j�/�/��/[�/��/�/�/�/a�/�/V�/��/��/�/@�/��/��/g�/��/��/��/�/%�/�/Q�/��/.�/��/�/��/~�/r�/0u0�0�0�0�0o 0+!0�#0$0�$0�&0�&0�'0�)0(*0�*0�+0F10�30�30�40�50�70Q@0�@0]E0�G0�H0WI0�O0�P0�R0VS0_U0�U02W0�q0�s0�u0�u0�v0Ew0x0�x0dz0?}0�}0%�0!�0Ն0��0*�0lj0ǖ0B�0�0ڙ0�0@�0�0t�0ԯ0��0ɵ0d�0ö0�0��0��0��0��0��0��0��0��0��0��0Z�0��02�0��0��0�0��0$�0��0:�0��0�0��0#�0x�0�0,1b1�1�1f
1�
1{1�1h!1�!1�!1"1_"1�#1.%1�%1�&1")1�*1j+1�.18/1�/1�01�2131|61F81�91�91�<1�E1�F1�F1I1�K1"P1�V1\W1�]1^1�^1�_1d1dn1�s1 u1�x1�y1vz1��1��1�1��1Q�1o�1ʎ1�1զ1�1�1V�1��1�1�1�1��1�1��1��1��1�1E�1��1��1�1��1��1*�1��1#�12�242�2h2�22i2:292�!2W"2�"2�#2'$2\$2�$2'2\'2p(2�(2�*2�*2+2�-2�-2�/222Y22�2252�62�72�82:2F>2a@2/A2�D2�K2�K2�M2tQ2�R2|T2CU2�V2)W2�W2Z2�|2�}2�2_�2��2��2ُ2q�2��2��2b�2��2Ĝ2��2]�2�2��2_�2t�2�21�2��2