Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00026_00000_shuffled.ds.index92 linesDownload Raw Back to root
1��	�2�
����&�)�3�4LHzI�IxKMR�V�V�VWY�Zl\Dij�k�m��!�p�܎z�“��ݖO�y�n���S�3��O�Z��_����0������Q���Q�4������U���������t�o���*����t��q�����6�`���P�r�l�������v
n�f���5����"j#�$�%B*�0�1�35�5�607�7l8�8=�=�?tC�GfHiJ�JzKVLwM�MN\q\U^_`de�hFi�k"l�m7y�ylzc|�
�i�ٍ���5�/����,���������6�J���(�\�U���������Di��k�})�*
-�.Z7�739�9�:�;<�<�=	>O?�?�@�GXIaI�J�Q�Q�R S\V{W�X�X�Y�Z`\]^p_O`�`�`@a�b�g�hk�p�t)}&~���+����ؐ����V����r�9�*�E�����<�E�|�y�2�����e�]��S�|��������������������S>M �"�*�0�1Z344�4�;�<p>�?�?\A�A6CQC�C4D�DREeE�F%ImJ�J�K�T�T�TK\b�b�c�m�sv�v8w�w�w3y�y�|�}�}�}���M�������������/�G�������y����5 *"-�-�-�/2�2 :�=0?�?�@�GH�KRM>N�P:Q[R(\P\Ld7jZj�j�k}n)q�qksukw�w,xox9y�y.z"{I}�}�}7�D���0�}�"��c�����������8�c����'�S������?�y���ϻC���|�����G����������W�����|�*���z�Z�s�Y�i�e="�"�$&=&�+0.)/�/4012{2m3�4h5�7�8#9�9:<:�:�;�=!C~F�G
NxN�OjUVW5ZhZ�Z�[m`NbPc�c�eEg�hzkrn$ooo!r����8�4���O���������`�N������������U���L����^�������&�;�����U�����	�5�����1�6h�wx 	!#�#$@$}$�%',t/�`%hYh�h�s>x�{@|%�/�����W�����|�1�ʚ����ѣ}�������f�����	���Ҵ����^��������c���5���������'��T�
�
�G��EW���3�8]:�;'<]<�=�@�A=B�C�D�D�H�H9I�I.KL�M�W%X�X\Y�[�\Z_�_t`sb�b�eci:m�mln%p#q�wz�}�}#!���6���ˋh���0�8�&���C����Ϋ�B�l������-����%��0��u��k����<��/#�/3u5�5�6�7�;�;�<�<�K)L�MHO�O�TY�\�]`ab�bf�f�g�hi)j�j�k�w�w�y5|�|~w�����ʙ��C�U�ި����u���}�T���*�����_�P���r�`����c�<���"�
�u�D���5������2�@����� �E	�	�	�	�	�	Q	�	%	�	`	�7	d9	@	�H	I	L	�n	�r	5s	��	М	h�	ڝ	��	��	&�	%�	�	&�	�	��	�	��	��	�	v�	.�	��	W�	�	��	a�	R�	��	��	7�	�	��	0�	��	��	S�	��	10�11�12%13�14 15W16�17�18�@19%B202D21kE22�G23L24�T25�U26
X27�f28�i29fm30�n31Ao32do33�v34�v352�366�37t�38�39”40��41ߘ42��43��44w�45��46��47Y�48{�49�50�51�52��53��54V�55��56��57�589�59��60Ҿ61�62D�63��64[�65��66��67z�68��69C�70]�71k�72��73j�74��75��76���!b�$i� �"&$�(�)�-l.�12�2n6�< A�BG�G�L)MN�NnP�RrUk\^�^&a<bbc�cs�{�~�~݀��$�����9�9����/����2�@������M����ȝ8�o�����������d���k���d�����6�]�����������6��q���q�V����`��	�
7�����#�%G&['=)Z*�*�*%+�-/o2�34�9�:8>"?�@CcF�GH�HfMyM�NSnSnU�X�ZY[}]`�b[imj�jjk�x,}:~_~Oc������n�ķ��¸������/�������t��w�����	���	�������=���'���9���1
�2
I3
�4
6
�6
�7
�8
�:
D
WD
pE
�P
?T
$b
�b
�g
ei
�m
n
�n
�q
�s
�u
,v
av
w
}
�~
�
2�
m�
��
s�
u�
3�
8�
�
�
ĥ
�
X�
�
"�
��
u�
��
��
?�
��
`�
��
�
X `#.&�'�)u,�,�2(7�<@ZFcH,I1L�LM�M1N�N�O�QW�W�Z�[�[_^�lq�t�v�wrxM{�{[�����Z�U�5�V�:�}��������-�]��������`���G������/���e�������������lq��<3�}`!"#�$B&]'�,?1b1495�7c;3<�<�<??_@�A�J�MHOQwTW[�[i\�\�]*`aka�avb�c�c�f�f�g�j0l(o�svqvΆ��$�^���T�"�ݡ��������m�[�ԫ�:���H���^�9���������%���������y�9���.�$�Q�<�������=�����0��
U�0K��W�3g�= � K#$o*�*�+-q-_4�5}60:�_�_)`X`�`�j;o�s�sku v�y0zV{�| }]n���N����h����������*���I��������v���f���1���#�����{���"�2�K���������'�����m���L�z�� ����
�z�f"�#�$�),20>6�6q9�I%N�Q;STRV�V�WB[�[}^�^�_�_a`�`�`grg{i�i77k�k�m�o�qAtu�v	w�{�|d�Ǔ������������՟�'�j����������&�ˮ��r����_�@�N���
����v�a�g�
���m���W���B������(�����y����6C�f�ھ���H���j���������M�m������9���|�v�*�9�����������n�@�������t��8���Hc�N7���I	E8�]%�*�-�0Y1|1f<%=K=�?�DBGK�L;N�P"T�T�T�\�^_8`T`@a�de!|�|�}~�7�t�ۄ4�ߌq���&�����w�F�����H���*����Y�;�%�r$	�	�
n�_)�)�*/2|3�6�=�>1B�C^J�J�J�OnPmW�W?X�Y�Z[�_�`�ad4d<eue4|��!�@�4�������P��"��<���Ѱ��ֹ1��{�
�������������c���5�������5���d�o�����Q�0��3f4�45�5`6?�FQYQؓ�b�'����հx�� �2�n�	� ���X�}������78�[�����2�+�K�������79���y������6o����5�"!#>#U%�%|'{(>)U7�K�L^N�NtO�P;R*TLU�UFW�WJXOY�YBZ6[d],_�b�c�hjj8k�k�m�n
o�o�pt�t�x[{|�}(�����s�c�؈�y���?���֛�����4���V��f�<���	����"��9���.���0�Ͼѿ�G�V�D�����'���
�B���k���n���ex�80�S�v�!�"�&/'�'�BxH�JA_`L`�qZr�tvNw[x8�R�ˏ����6�:�ޙ��s�@�b����<6D�E)G?HdH�H�INV�X�^�a�a;bPc�cMf-i|k�ln�o�r?v��i�0�!��o�������S���ߥɪ?�m���Q�j���������w����������)�m����� ��#������������N��������
q�D�M�q	T81�
��� Q!�"�#5$�(,�,f-�-z.�.K/�04L56�8�8A9�94:;�;9=�>E?�?B@�^e_�_scth�k�nlo	pkp�p�rw+zWz�{X}������h�z���Q�О�F�P����äפήg�����ų������^�̽����@���l���"�����,���=����+�������]q`�`�a5gh�i�ʐ��M�ޚ� �����I���L�ޯ˰-�ʱ��N�"�B�9�"���?�j������M���&�0�������)�S�������=����4[
"(<�<�<=> z�z�������6�y�����z������F�Y�����b����o������ĺ/�̽��z�����9�Z�����B���������������82����	Y��R���ԃ߆��e�6�U�g���4�$�(��	�ɝ	�I��h���y�¨-��߽��&���j���������.�.0�1-2=2�2`3�39�:);oY�e)f7i�ijHl	m�m�m&n0wuw�x�z�z�{5|�I���+������A����%�n���_�ܞ(�"����Ǭ��̰���̷>������*�t����w�G�����N�6����c����������b�I  �( �) s1 C3 K8 UE �[ �\ ^] 2^ Ec oc $e �e �f �j �k �n Pr t �w y %z Uz # X� B� �� � 6� ~� �� !� � ]� � � ~� 83� {� � �� �� u� ��  � � �� �� �� N� �� t� R� �� �� @� p� Y� �� � �� � �� � � � �� j� 84� �� X� |!]!!d!)	!�!R!F!�!�!�!�!�!f$!P*!�.!�/!l0!�1!�2!�4!?6!�7!9!�:!�:!<!�A!/E!�G!�I!zJ!�L!'M!3N!�N!�O!�P!,Y!�Y!\!B\!�a!�q!Hr!�r!=u!*v!vv!�z!�z!�!��!�!��!�!t�!��!�!/�!k�!��!��!�!��!_�!�!Υ!ʧ!u�!��!��!H�!��!��!��!Ա!g�!�!j�!ڶ!��!º!-�!��!�[#�]#�^#��#\�#Dž#��#��#��#R�#��#�#��#ڒ#85�#��#\�#�#=�#;�#�#��#C�#t�#?�#>�#��#��#6�#�#��#H�#8�#k�#��#Q�#�#W�#Dz#�#7�#��#�#��#��#�#J�#��#-�#u�#�#M�#��#^�#��#��#8�#��#Z�#��#�$�,$�.$ 3$M3$4$865$�:$;$�=$>$�B$�D$K$�K$�L$xM$�M$�N$P$,Q$�Q$�g$�j$km$o$q$5q$r$s$�v$�w$x$�y$5�$��$��$z�$�$$�$«$Ю$�$.�$_�$��$��$��$"�$H�$��$n�$3�$��$��$ �$j�$M�$4�$p�$i�$�$��$��$��$��$&�$U�$��$a�$��$r�$��$��$L�$��$�$;�$��$�$��$�$I�$�$>�$��$��$a%�%5%@%W%�%<	%�	%�	%%�%�
%k%�%5%%5%�%�%�"%H#%^#%;%%2%q2%(=%�>%�D%>E%MG%�H%�L%�L%M%PM%�Q%R%�R%FT%�\%�]%_%Ae%�e%�e%�f%h%<h%�h%s�%87�%[�%R�%�%?�%c�%&�%Ϧ%�%w�%�%88�%��%�%д%�%�%��%F�%�%k�%!�%�&�&r&�&89&�&D&�&�&�&�&&�&&�&� &�*&A+&~1&�4&�8&h:&�<&!@&�@&1A&xB&�F&�F&�H&�J&�W&8Y& Z&�&V�&��&G�&��&��&��&B�&8�&�&�&��&L�&�&i�&N�&:�&��&��&j�&�&$�&��&��&��&�&)�&S�&c�&k�&5�&P�&��&��&3�&~�&��&'�'�'�	'X90'�91'8'q''�'+'�'b'�'_'(%'�%'l&'R('�,'D.'�.'�/'�/'~?'�A'B'>C'�C' E'�K'O'�V'�W'MX'Z~'�'�'&�'g�'{�'�'>�'O�'`�'ə'�'U�'��'��'��'��'k�'u�'�'F�'��'��'v�'��'��'��'��'�'��'��'��'��'��'92�'��'��'��'��'A�'��'�'��'~({(3(-(0(@(')(r)(�)(�)(�*(�+(L,(�2($3(�3(�4(�6(�8(�8(7:(;(I;(<(�?(@(�B(�D(�E(G(�M(1O(bO(sQ(�](�}(�(p�(D�(
�(�(}�(�)�)	))p)�)�)
)S)�)�)t)�)')U)�)�)�)7)� ):!)6")U$)�$)&)�,)u0)�2)A6)_6)UA)�B)IC)BJ)K)O)�O)>^)K^)�_)�a)�c)ge)�e)[f)�g)�i)j)aj)xl)[y)�y)�y)/z)�})Z�)N�)��)�)5�)��)�)�)�)�)7�)��)C�)��)X�)�)��)��)N�)�)��)�	*�	*�*!*�*�*�*�*�**�#*�%*
&*T(*�,*t.*�.*�0*.1*�1*P3*|3*�4*"5*
:*E;*<*6<*=*j=*�B*{C*�C*D*E*rF*�G*�I*xJ*�T*WY*�\*j_*8a*ic*�h*�k*Bm*5n*{n*�o*�o*�}*�}*�~*ڜ*��*ڣ*��*C�*��*G�*�*M�*��*}�*�*��*��*C�*6�*z'+)+,*+Y,+�,+�N+�P+�Q+�R+�R+�S+�T+�Y+�^+�_+o`+�b+Mp+t+kw+Gz+{+�+f�+�+�+v�+ڇ+��+׉+�,(8,�8,�8,O9,:,�?,@,�@,�A,/C,�D,�G,EI,8J,lw,�y,|,Y|,߂,�,%�,�,.�,��,X�,m�,�,��,X�,��,��,@�,�,b�,��,�,F�,-�,��,��,��,��,��,��,�,��,��,K�,��,�,��,��, �,��,9�,l'-(-,-*.-/-�3-�6-�8-C9-�9-�:-;-q=-ua-�a-nb-uc-�c-Sd-�d-�f-qh-�i-�i-Gj-�n-�o-�o-;q-Fr-�r-*t-�u-�{-�~-�-
�-�-��-��-ދ-�-A�-��-�-+�-Z�-�-