Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00011_00000_shuffled.ds.index96 linesDownload Raw Back to root
1z�o2�x��&����^_�h"j=k�kKl�m�nUwWy0z�z�|�}�~Ł������,�ݮ��ްd�#�ǵa���8���T��������d�A�^��2�f���������!�@��������6���O���
~�fK��)W	UI��6�:�<v� �!"�%�%�(�46A6!9Z93?�CPFPGeJ�N�S�Y�Y�Y�Z,[m[w\](^�^B_�_ia�e�f[g�g�h����Y�x���r�g������C�����K��A'!�!�!#5%�&r'((�)�/�/�3�9�=1G�HiI�I�I�Q�U�V�V�WiY�Z[�[I\�\�]�^�_�f&gqh�h�uw�w	x5x}}�}�}��J���#����[���k�/�������h�γ������=������Y���,�:�(���+�|�^���i�1�^�/�}�=#%�&�(�)g-�3U5�8�8@9�9�>�@EADBDEE�F�P�P�PS�S�SIT8[�[-]azt�tǀ�s���u�l�����y����b�s����h���2������r�����Y�4�5�{�&��f���"������(���_�	�]�y�0���h�N�M���I�!�"x#O)�)�*�/�032�3�5�<�@SA�A�A�BrC�EIL�N2Q�R�]A^�b�c�eZf͆��^�����#������v�c���p�|������� �����x�P�i���[6YM�Z!�);*H*�-./�/�2Z36R8�9m:�:�?�D?FFO�P�P|Q�UOX�y7z�{�|.~)��9� �1���0������R�J�����6�V���D���b�9���X����Q�����r�%���q!�!�#�%`'�(�45�? M7NYSZ�Zu[%dCg�h�i�l�mn���w������<�������o��������n�h������{����d���4���i�������G���f�2����t��]+^r^�^�_�_�`a>i�ij�jcn�q�s	y�{Q|m�l�����*���٘��~�B�g�������1���(�X�L�������J��+���]���:�x���9���f�|�m�P�������*��vhP	�	�	:8�C?F.I\IK�MmN�OIQ(SDS�T�ef�ffg�gh�jFp�s�tG{��Ƅx�4�ߌr�0�ȥɦt�~�����
�7�h�7���6�c�E���y������x��8�������G�����l�o	"	�		�	�	�	�4	�:	�<	�=	�>	�@	�A	�H	�I	'K	�L	�h	i	Ri	�x	�y	{	V|	R�	��	�	p�	��	ӆ	��	ӈ	u�	Ɋ	��	1�	ȑ	B�	E�	י	�	#�	��	<�	G�	~�	ʹ	��	�	��	��	��	��	�	��	��	{�	~�	��	��	8�	=�	��	��	V�	��	��	��	��	�	c�	�8}9@10�11Z
12e13�14615�16E17�18*19�20�21�22N23U.24�.25P/26Q227�228�L29�M305N31>O32�P33�R34�X35�`36�`37�e38Zg39z40H{41�{42�|43H}44�45��46��47Ѕ48��49S�50d�51�52ӗ53�548�55��561�57P�58e�59;�60x�6162�63^�64�65��669�67s�68"�69��70q�71G�72_�738�74��75~�76��77!�78��79�80�9	�	81e�.*`�
� 	!"l78@<�<�>*?�A�CbEH�HCIJ�JtNO�R?StS�SUmV�Y�\z]�].^2ekej0jrj�j�l�l�mFn?o_o�o�pqyq�x82yzZ�h��\�;��������t�����`���R�6�������9�k�-.m.+1k4�<=�AtBH#JFTc[�\*]o�z+|��ۑ���I�������������C���_��������c���C���\�������M�I����b����H��.


�
�
�
�#
$
�(
;)
1+
�+
^.
t0
�0
43
�3
C4
O6
�8
1;
�;
<
�?
�C
�D
�G
�H
`J
�L
~M
�R
T
{U
vV
W
&X
A^
a
�a
�f
�n
�n
�o
�p
�p
s
ds
�x
z
�}
�}
��
@�
ɞ
#�
��
�
{�
գ
y�
��
,�
�
ۯ
n�
��
T�
�83�h*i�~$E(�(�)�/4N78�8�8;RGnG�GH\
a�l�lEmCo�o0�Ē•ܖ7�J����>�m�;������%���u���3���b�Էչ���������������5�����������������k�D���Y�f�������A���T&�)�5�8�9�:5;�;Z<8=/D_D�FKJ�N�PKVWjW�WY5^�^;aBc'f*���ȝ��1416C6y6�6�7m9(<bpb�b�ekfOhi�j�jkk�k�kclqm�mn2o�p�q�s|{�|Mb�e�K����=�����\���V�I�s�!�e�����m����������������e��$�~�84�j�@���Y�shm�!�"�"8$�.�1=;N<5C�H�K{S�UkVCW�Z�[^_�_5`�`cdsf�f�f�kث����	����?�������G���=��f�R�������������]��������*�����851H
�^�������������A�����s� ���������(�*�d�"�a������)�~���C�O�;�Qo�Gk�"�"#'Z-..�0C2E3s6~9�9�I�n�q�r�zDǀ��݃��.���)��k�e�����4�S�����L�a�߲���e���A�����K��a�(��Ϳ8�D����������������-���T�?��'�'E-.�.�>�A�AD�X�Y�[*��O����ؽu���=���P���?�z���n���� ����������T���.���5�U86�87:����� $�'�+,2M2�3�5�6�;=?V?�@�I|JK#L�U�t;�$�5���S��x�}�ծo�t�q�*�f�?���ٶ&�����F�6���y�88�;�0���U���(�l��e�b���������Q�3=Y?wY�Y�Z[�^O_�`[b�~h������ȡL�ì3���E�ط�J�ֽ��E�����&�a������F���2������B�P������ ���_��-�F�"��b��������,�C�g�R�JC���sMI�o�g �&	,L,�-�-E5+6h6�:E�G�H�I[K%MuM�Q�R$S8STX�XYiZd]k^__�_}`f�fDi,mNm�n�oq�t'w�w�~��v�݆������3�3�&�*��#�w���X������$�n���G�m���j���s�����������^���"	�	
g�u;e���Ks�+j,,.�.�6I>B?B�MJN�N>O�O>V�Vq[�\�^`�aYvFz\�E���89�%�a���d�B��\������5�t�0��8�q�<�5�Y�/�������������H�@��m�=��!�'S(�(�*z/�/1�2z3{5�89�:9<�B�C�F�M�NdiiVn�nly`{T|�}�z��]���X����ҧ̪ ���
�Э�����_�P���1�#������d�����2����4�����"���a����B���\��@�������90!�"D#S#�(�(#*S@jAlD�E FJ�J�K/M�S�T�U�YH����4�����������Ʈv�P�H�ɽ������L�������V�����f���S�5��q���:�j����*���-���J���{�������wx�x�yjz�߈�����B�����*�ٖ��Ɨ����m��r�|����R���!���h�^���%�y�B���<��P���������C�����3��������>����q������H�`�`�����-�F�����F�����V�B�����\�����5	�	�91�
�g�t��7�� D!f#�#l%�%M&�&�&�&Q)�)�*0�1;2j2U<Y>�@�BU������7�����i�������P�J������(���S���������t\	
�
���$�!� � "x#0&�&'['Y(�+N.�/�1�23@�A�F�G92LM�NzPgj�o�p�w�xqz�zݷ93��� �c�;�����i��\���������H�F��w��e���n�m�	�z������I��J��"�M"�&�&�'�(X)e,P�P,T>VOWEXpY�Y�]�^u_�_�`ic|g�n|}�@���{��Ȏb�����'��\�������ʸ-�K��������w����=�[�o��e�%I�@
"#�&�)�+�.701Z114u4�4�58�8�8�:�<y@A5BE|H�IFL�LM`t`�a�a�h�ik�r�s�t�wby�y�{�}�~K-�����A�����}�c��T�2�¦���`�����������)���{�r�������������f�_�����.�2������Y�*�>�R � � �  P"  $ �$ �% R, �/ V0 2 3 24 b8 �A lG �H �J NK L �P S !Z [ ^ �b �b �v Cx �y z �{ �� Q� �� �� �� ӟ � �� 6� �� �� � h� Z� �� �� 1� �� |!�!�	!E!�!>!"!-!i!(!!�"!e.!�.!_!�_!�e!�h!�m!�o!�r!ǁ!<�!p�!��!ݑ!��!,�!͔!�!,�!Ѻ!	�!h�!6�!W�!/�!C�!��!,�!��!��!f�!��!�!��!&�!��!|�!��!��!:�!��!��!;"�"~"n94"v"�"�"�""�"%"�"�";" "I "j!"�""x#"�$".&"r)"�)"/"M5"�5"46"�6"�7"�7"�7"�9"�E"$F"�F"H"1O"\R"ZS"sV"rX"-["w["e\"�^"Q`"5a"�a""b"Tb"�b"�b"�c"�e"�f"�m"�s"Yt" u"�u"�w"Ax"�{"�|"�"��"'�"��"+�"a�"5�"N�"�"�"ߑ"n�"��"�"*�".�"��"�"w�"?�"�"��"¸"o�"�"��"�"��"U�"}�"��"<�"$�"�"��"��"n�"�"^�"�"R�"N�"��"l�"%�"��"�"��"
�"�"@�"��"��"��"c�"�">�"�^#�e#�n#�o#�q#t#�t#tu#w#�z#�z#!|#n|#X}#�~# #��#̟#�#c�#;�#%�#��#I�#?�#��# �#s�#��#��#Y�#��#��#o�#$�#[�#��#=�#��#|�#��#��#a�#�#L�#�$$�$�$$i$E"$�#$�$$�&$!($q($b)$�0$V1$�1$2$�2$r3$�8$(>$�C$�D$7F$�G$H$�H$SI$�I$�I$UJ$�X$Y$:Z$�[$�a$Cf$�f$9h$�j$py$�z$q{$�|$}}$�~$�$��$�$k�$g�$89%?%�@%�A%B%@G%�G%�H%�J%�S%�S%mV%�V%2[%T\%z]%�b%�c%An%�n%o%�o%]v%Ty%)z%<z%�{%|%2~%X�%�%+�%��%��%f�%��%\�%��%n�%��%��%�%j�%�%%�%M�%.�%o�%�%˫%��%��%T�%@�%��%�%k�%A�%��%�%_�%�%/�%Z�%�%%�%��%��%�%�%��%��%��%��%��%6�%��%��%��% �%�%d�%��%P�%f�%X&�&�&I&�&�&&�&&u& &{&'&�&q&�&�& &P'&a*&�*&�,&)-&�.&2&�2&W3&�5&�=&fR&U[&�^&�c&eg&kh&�j&�k&�l&�l&�q&�r&��&��&�&W�&��&��&��&?�&��&�&�&.�&ձ&n�&��&�&7�&��&[�&��&��&K�&�&5�&Z�&]�&��&`�&��&w'�'�'�'�'8'�'�	'95'�'$'/'z''='�'�'o's'� 'A)'�)'(,'=-'<.'�.'0'?2'�2'3'23'd4'a5'�6'L8'�;'�>'�B' P'�P'�T'�W'+Z'�^'�^'�_'`'oa'�b'�c'!g'�g'�h'1i'�i'Yl'Rm'�r']{'A}'�}'P~'+�'�'��'��'*�'͒'і'O�'~�'��'�'��'��'I�'ܬ'��'@�'��'��'�'�'��'��']�'h�'��'��'��':�'r�',�'��'��'�'��'��'��'��'a�'�'�(�(Y((�'(A)(j*(�6(�7(<<(�@(�B(nC(�C(F($G(�H(�I(�M(�N(uQ(B[(\(�\(�\(�](t_(�d(e(Re(5g(Nh(�h(i(Vj(�m(�p(��(�(�(E�('�(�)�)�)m)�)V)g)�)R)�)�)0!)�H)wI)�K)�L)�M)P)�P)zQ)�d)�e)dg)�g)�h)Ti)6q)fq)r)�r)4u)�u)�x)3|)�})S)��)�)S�)�)S�)��)��)W�)u�)��)�)<�)6�)Ơ)�)�)s�)��)K�)A�)v�)�)��)��).�)��)�)R�)�),�)�)��)�)#�)q�)��)?�)5�)>*E*�*>*A!*9#*�%*(*�+*�3*�5*�7*�7*�7*�:*T=*
?*;?*UK*�P*�c*�e*�i*kj*
k*l*�l*�w*�*b�*�*�*C�*�*�*�*H�*ö*�*ź*ʻ*��*��*��*��*�*��*z�*�*��*��*�*��*\�*��*@�*k�*��*��*��*��*>�*f�*D�*��*d�*��*M�*��*��+��+[�+2�+Ҏ+��+��+?�+��+Ֆ+�+��+$�+�+٨+�+�+۰+۵+�+�+��,D�,>�,��,,�,.�,��,��,0�,�,e�,<�,��,��,	�,0�,8�,�,Ib-��-�-�-ռ-l�-�-�-�-5�-��-��1r�1#�1�1�1Y�1?�1��1��1,�1c�1��1>�1��1��1E�1!�1c�1��1��196�1��1.�1��16�1A�1p�1��1��1��1��1B�1��182:2s22�22l22�2�2.2�2L	2�22�2V2�2�$2,%2�%2?&2�'2](2`-2.2�.2�/2�22�32�52�<2gA2=D2�D2G2I2�K2�M2tN2Oi2�j2m2 �2��2
�2�2��2�2U�2�2E�2��2