Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00100_00000_shuffled.ds.index97 linesDownload Raw Back to root
1a��	8��W!�i�w���5�����3���E���~����ɛr�s�����7���{����Y��������g�2��������}�F�J��5�����������������K���&�D���1����U�	�	1a7
\
���$q%�&L-�0�47Y8�8�8�96;s<G=�>�?O@�AZB�F2H~HGm�v�x�x�y�}�������i�ʋ��m�{�������E���9�ߜ�������������j������#����{����3�^�����A�2����,�>����e�R�P�#���+����>�;�
�wiZjEp
sGsڂk��<�Ʌ
�������R�}�ۋ������Ց5�X�u���e���g����,����Υ��d��p�o�įð��״b�ͷڸ��0���~�(�I��
�$%�'�*�-�.e/�/3�5V6�8�9:�;�>&?V?�G�G}IBJ�J�T�Y�^1c_c<d�d�e�h�i�l2pwp_xM�݃,����Ĩ��!�W��������|�������7�}�����������3�����m�v�f���M���?	3>
�;�H#%�&�.�3�5�5^8�8n<�=�=T>	?g?�?�A�C�I�I�J�KL�L�MINhS�Y
Z�Z�Z3[�[�]�bje�efgi7k�k>l4�ނ�v����i�x���������0�Y�����d�!����E���q��-���i�����g�D�P>QAR�S>VnW^e�ei�iIp�pov{�|�}Q~������C�3�����r�ٔ��f��s�H������E�۳׹�����4���b���s�7����_���}��������F���|������U�S�G��G 7!"�"�#A&y&/)�)�-2�2<4|56}7�7E8�8�AD`I�J�M-N�P*Q�Q�Q(R�S�T�T�V^i^�b�f�gi'lctKwxyx\zd|�}����Ӎ����z�H�t�ҥ[�êv���������=�@�V��ս�;�w���O�,���;���*������2����v�1���$�����<�M�����(�y���a���=�x"�A�^	$5��
�������$r%�'�)�;}<�<�B�C1FGzHI}Q�[�^�n?p+q�q�z�{ �[��E�ȍt����/��Ҙ���'�ӟ&���E�ݢ��Ϥ����j�W�i���%�۰��˱��?�����]�p����<����������b������m���$�����Y�����[�������K�����&�z���B��Mty/�/F2k2�8O;@<z=�?x@D�D�E�E�H�I�K�K�O�������R�����e�3���4�q������1�1�����c�}�	l�	��	Q�	��	��	��	K6�7l8	9:10�11�12�13�14�15�16�172"18�R19�S20�U21�U22B[23�[2425]26M]27�]28�]29~^30�`31Wa32	b33sd34�f35g36�l373m38�r39
v40�y41z42|43(�44�453�46F�470�48\�49I�50�51;�52��535�54x�55�56Ƭ57�58��59S�60�61�62��63�64i�65��66��67��68H�69��70U�71x�72|�73X�748�75��76�77��78��79��80��81��82'�83��84���J!#�.�0�0*1�1uA	BFB�BuC?G�GcI3J�J�JKdK�K�MRQ�QR�R:T�T�V�V"_da�a6bdE�a�?��ړ:�!����4�_����9����������n�����	/�(},3.0+0v208�8�9%?yC0F>FH�N�b�d�d�hQl5nin�n�n�o�����4���ޔ���ڙ?�����%�P�������ڴ��ȷ��$�{��3�������5�1�o���0���[�C�����6����
�
�
�
P5
�5
A
�A
�A
BB
�E
�E
[F
�F
MG
`H
}I
�I
�I
�K
EL
�M
9R
�S
]T
cV
oY
�Y
�]
�^
`
&a
�c
n
�n
�o
'p
ny
gz
�z
�{
'
/�
��
��
��
x�
��
��
��
�
d�
Q�
�
��
T�
��
��
6�
��
��
��
��
I�
��
��
 �
�
Q�
8�
��
��
��
�
,z��h$4&A*�+�+2.T.�0`1�354x4�45-7�;�=q>!@_@�@uA�AELF3HJ�J1L�N�R�T�TSU
VPW�W�Zg[\\\�\�]�{�|��	�^�h��b��u���f�Ҩ���l���+�~����������0���C�f�����������A�g���5���I�y�&�����7J�85s��"�$�.C1Y=�@B�DcF:R|V�VbXdPd�hbkl�l�n�q�'�%�!�y�[���[�������g�����z���
4�5@7�7�C�G�IJ5RO�ݑ�9�ݘ�f�ԧj�m�b�q�z�ùӺ=�J�{���,�������;������������Q�^Jc� �!$�&()5*`*=6+AgBB�E�F\G�H=IL�L�M�QzR�S�]�_vhAi�i�j�k
nxoptHw�|�|�����4���l�]���G�ۓp�F���/�ڰ��"�)�˻��B�x�������>���D�����r�
�W���'���`�����%���D������{�������8�[=�	�86*�pw"#(�)�,�,3-�-R.�4e6�6a7�8�9�9F>w?#B�IdJHK�K�OSP�PS�ST�V�VYJ������[����$/U����s�n��K�!�!%W&�*i3�7f8w;�;�<�>�>v@�D)EFcF�H}IM'OP9P�R�S[�[z_Gc�c�c�eDf!gh�lKn�o�p�p
sLs�y�z-|R���O�͉��ĊN������	�����S�����˹6�%�V�����}�r�����,�����������������s��q�.���3g�v�����.)0.1�2�3m5a6TGLM�NlO7QxTHV�VwW@X�jk�m�nDŽ��|�P�"���������Ȗn����C���F�/�H��v�}�-m&�5yF�� �!e$�$D0m0�0�BIC�D�F5G�H�HoI;KQjQ87R'W�W�XuZ�[�]�_�`�b�b�jLm�no onpgy�|4}d~�~F���.�}�����\����?����}�^�����G�����}����������e�0���x	S88t�C
2�����!�"#�)D,�,-G-1T1�4�5i6K7�7|G�G�I�N�P%V�V�VhY�Y�]!_�`ab!e�e"hYh�h/j�l�m5n�p�qsct�t}y�y�{�|�|�~�Q���i���1�����ʉ!���ێ��|L'�& = �"�$'#,.�/2�2v3�46B67�8�=;>�>�@�ALB�C+EGF�IJLJ�J{K�N�OP^P�P�Y�`�v�w���<��x�)���ٗ�����q�HCrw���L��!�"�(�?_AЏ����E���>�d���]���ʥ��<�֪.����x%{�{�}���>�Ëe���T���ݍÎ�C���K��������_�c�������$�ս�y�w�������Y�;���9�����������M����f�9�w4$�%&�&X'�'@*.:O:�:�:�I�R�SWT�T�T�Y�]�`�`�`�a�b(k�l7m-n�oXqHx�yo{d�ƒH���‡�������0��J�}���X���H�������������.������p���_��������*����1�0�A�i���b���h���$����3oL���!V"�.<D=�=�=->Z>�>f?�?B�C�EFNG�G/HSK�K�L0N�N�O�O�OP�RMS_U�Y�YLa�g�o�rw�w�x�xXy�z�z~*B�e��H�����K���̖��u�U����#�*�)���V������W��������,�����F�V�����������B�����������"�$?%�%�(�)b+8.�0 A�C�DhI�K�M�N̓/�e�� ������֝Þ�-�����'���յ�������~��I�9����e�E����w���Q�G�J������G�����7�����������*�0<2,5X5M8�:�<�>�>�@�A1B�C�IK;K�K�R5SdS_]�`�a�fh�i�r�rJu�u�vxw�}~�~X���������̈m���-�W�?�����y�A���j�M�$�������Q��ή �9���D�$����������s���������H�����O�����8������ ' � � � �
 �
  �   2" �+ >- {1 �4 %5 �5 �7 �C 0G _H [Q �S �S �T �W ^X �Y jZ Ui �i 89m Qo �q �t { G| C} �} U� �� �� 1� ^!r!�!J!�!�!�!;!�!!�!!�%!+!�+!`5!+6!7!�7!�8!+:!R;!�;!.>!@?!w?!�A!�C!.I!K!�M!�W!KY!�Z!3[!�[!\!�\!�_!�`!#c!f!9f!^f!Sh!eh!�h!�j!Rk!�l![q!r!@v!�v!Dx!�z!�!�!H�!��!a�!��!��!P�!s�!�!��!h�!�!�!��!��!��!��!��!��!��!/�!��!��!��!��!��!=�!��!��!�!��!��!��!�"�"3"U"�"�"]!"�!"�""�""�#"�'"�)"6+"-"�"ڰ"H�"ȴ"�"4�"s�"��"_�"�"V�"��"�"$�"��"��"��"��"{�";�".�"��"��"��"O�"��"��"��"N #�!#�"#�%#�&#�'#+#�+#k/#�/#�/#L2#�:#:;#�>#�?#�@#�A#6X#b#Ic#�c#�e#8h#Ik#Xs#�t#[v#K�#܃#.�#�#��#Х#�#)�#�#�#@�#��#O�#/�#e�#4�#~�#O�#o�#��#��##�#[�#~�#��#{�#�$k$f$�$�	$1$�1$�3$�3$�;$z@$A$OV$p$�t$�v$�w$y$�{$~$1~$n�$��$+�$�$��$�$y�$�$ݑ$ޒ$-�$=�$ӝ$_�$��$�$9�$l�$��$S�$G�$��$��$�$q�$�$F�$��$��$.�$��$��$z�$[�$��$��$*�$��$�$�$��$��$��$R�$c�$j�$��$4�$��$�%�%�%�%�%T90%�91%�%�%�%
%�
%5%�%�%g%c %� %)!%*%%�%%�&%%'%V'%�)%�+%d7%':%A>%�>%�@%�A%kB%$C%�E%2F%YW%CY%e[%�_%`%`a%�d%�d%he%]f%�g%i%�j%(k%Dl%Yl%�n%_r%ps%�s%��%��%��%P�%�%��%M�%��%��%�%��%ּ%�%1�%��%��%��%?�%�%V�%|�%��%��%��%��%L�%��%P�%o�%t&}&�&&$&@&�&�&?&�&�%&z)&@&�A&�B&$C&E&dE&H&_T&�T&�T&FW&�Y&�\&�\&�^&�^&Gc&�&!�&��&1�&@�&��&Ҫ&�&p�&�&Ʋ&��&��&Z�&��&��&�&��&0�&^�&��&��&��&��&p�&:�&��&��&�&��&j�&{�&��&`�&��&;�&292'�93'�'�'�'�'�'�''�'"'�#'�$'�%'''('F('94)'�*'�+'h4'38'j8'�Y'�Z'�['�['3\'�]'Ph'�i'+j'�k'�o'�p'�q'=t'�u'�'V�'Ċ'��'��'�'��'9�'u�'d�'֟'��'�'|�'7�'&�'c�'��'o�'&�'�'V�'��'&�'�'(�'A (� (�#(�#(m$(%(�.(�/(�Z(�\(�\(�^(�a(�e(~g(vs(�v(�x((�(:�(��(��(�(t�('�(��(��(ی(+�(��(�(m�(��(��(��(W�(��(95�(F�(r�(e�(�(�(��(3�(¾(��(`�(5�(��(��(��(��(I�(0�(��(b�(Y�(��(�(�(��(��(��(Q�(&�(X�(u�(��(��(+�(L))x	)�96)�
)�)g)�)))^))t)�#)$)�$)R%)@&)�&)))-))J+)�4)�6)�Q)!R)��)��)h�)Œ)`�)#�)4�)��)�)l�)�))�)��)��)�)4�)��)e�)��)x�)��) �)��)�)�)��)97�)V�)
�)��)�)�)D�)��){�)��)��)�)f�)>�)��)�)R�)��)��)�)�**�)*T**q}*�*Q�*��*�*6�*a�*I�*{�*��*�*Ԓ*�*p�*�*V�*�*Ͳ*~�*��*�*v�*͹*��*0�*��*	�*#�*��*]�*��*��*~�*��*1�*��*��*��*��*��*q�*��*�*�*��*x�*g�*�*�*P�*��*��*��*V�*�*J+�+Q+�+{+�+8+v++k+�+%!+�!+x$+�$+�)+9.+�.+q0+�9+DL+2R+b+�e+�f+�k+l+�n+5s+9s+v+�v+�y+�z+�|+�~+G+��+�+'�+��+��+��+��+o�+��+��+��+��+h�+��+�+`�+2�+[�+��+��+��+��+��+9�+��+?,|,Y,�
,�,�,�,�,@,L,�$,',�*,55,z7,�7,;,�F,.J,�L,8T,�T,�X,'\,v],^,�^,I_,�j,�k,ll,�l,�q,r,Gw,��,��,'�,>�,��,x�,E�,5�,n�,��,�,��,	�,��,I-�-�--�-�-
-|-e!-*-�*-�,-0-W0-A1-�2-A-�A-B-RD-E-�R-S-Z-8Z-X[-rr-�s-�v-�w-�w-��-��-��-_�-��-=�-g�-��-��-'�-j�-1�-��-f�->�-'�-;�-��-��-��-��/"�/y�/�/�/N�/^�/E�/��/��/��/�/!�/��/��/$�/^�/��/��/H�/��/�/��/;�/�/8�/0G0�00�	0A0�0]
0�0�0�0`0}0g!0�"0#0m%0�%0(0�)0�*0�.0f/0�00�1020�20�:0�;0<0�G0wH0oI0�K0�K0:L0&M0QR0T0U0}U0V0%[0Sd0Kg0�g0/j0�o0q0[q0�v0-x0o�0��0��0��0	�05�0͎0n�0�0�0͔0��0�09�0�0K�0�0��0o�0�0��0��0v�0y�0��0	�0��0��0y�0��0{�0$�0��0��0T�0.�0��0��0��0��0*�0|�0��00�0M�0��0��0��0��0��0��07�0v�0�1�1n1E1�1�1