Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00048_00000_shuffled.ds.index86 linesDownload Raw Back to root
1���^	�	d�����P~��� �!�!)"�#5$%l%1&�(�(Y*�-�.r3�5:p:; ;�;>�B�C]PWQ�T�W�W�W^XW^�_�c3dRmxp9wSw2y�|}��o�O�p��$��t�Ǹȹv�G������2���u�����l�)��3Wo�3q[) � v"#�#N$�$%%�%�&(�)�/`0�2�2�4u8O9C<�<CE�FvH;I�IhL�L(MUT�[^P^�`Oi8kCkOr�sdt{vφX�����$���Տ��֒��W�ޡ��p�����C�x�B�~������'�g�յ@�ܿ-���������1����������N���#/]!!#�#�0�3r4�5�QtR�TV#[T\�a�res�s�tw�x�����[�U���2�2���B���F�������C\�n�6%<'�(D:nF�F+M�M]P�S�T�T%��R���c����V�r����`�$j%�%�'�)�*L+,�,�,/l/�3�;�>�>�@�@�@�J�J�J"U�sV���S�ݵ��̼����=������~��A���y�����C�3���a�I�����F�������:�]�0��K���
�����'�X��T�	�	�	:�_�p� � �!'%�-0P�P�Q�S	VpWZp^Bb�d�df�gi�jv|�}����������ʝ=�7�£Z�!�{�«�����ݺ����7�v������� �:�I������
���b�������������+�M������
�yI�,`��3e�} '�>%@hB�C�D�GCHfHYJK�K�K�LM�NQwS.k�m�ospgqJr�sQ�$���(�Ĕ��I�e�k�����u��U���8���	�1�#�P��������2�0��W��"L#�#$?$-&,(�.P/�8�9I:�;�;�R�[5]4_�byd�dJfgikAk np�q'v�x�y?~y6�5�u) y$�%�()�)p35�8�8.:Wr9tPv1y�y�zm}�}�~:�܉ԊJ�!�o�Β��&�����ʘg���Ɲ��D�ТE���t�����֩/�i�5�i�������x��G�
��	�	�!	�F	>K	�L	�N	�Q	hR	KT	�Y	�Z	�Z	�i	�j	�	+�	0�	��	N�	�	��	ѣ	8�	��	�	��	Ǭ	��	[�	��	��	*�	��	w�	I�	��	A�	��	��	��	�	n�	.�	�	��	�5"6Y"7�(8)9r)10
,11012113�414A515<916�917;:18X>19�A20�A21�J22N23�O24�R25�S26}T27V28�W29�]30�`31[b32f33�f34di35�n36�n37�o38�t39�y40�~41�~42v43:�44�45Á46��47�48��49��50
�51��52M�53�54A�55u�56'�57�58��59�60��61*�62ں63�64�K��۵�H������M����)�6��A�B�CGIZI�JK�O�P�Q�R�T.U�\٢�b�K���I�Y�$�P�հٱk�/�q�����"�����U���F���O���m�9,
N-
X/
�1
9
�:
7;
K;
5<
B<
�<
)>
�@
jA
HB
�B
C
D
�D
cE
tF
�F
�F
7G
�I
+K
SL
�M
P
�S
&V
`V
�W
�q
�q
r
4t
�u
�v
z
�}
e~
C
C�
65�
|�
P�
��
-�
�
S�
��
�
��
��
X�
��
��
m�
��
h�
�
-�
�
��
��
W�
�
|�
�
��
��
��
��
B�
��
��
��
�
�
��
8�
l�
X�
j�
�
��
��
��
��
��
<�
��66�;K�
d
>�����`""�"H#%%�'�(�)�*Z+l45IIKK�KL~L�P�PR+S�U�UJY�YJZ\~^�_vo�p!s"t�t�t�u�v�yz|{�,����Y�ǂ�/���ȘŞȤ�ħ��O���ҴM�7�����V�Ҽ�0�+���l���7�����b������������'�o���"h#f$�'�'�)�0�6759�9+:�=>�nmo�o�q�r����Ǒ]�ҔB�t�q�ڛ'�����k����q���H�[�_�
�^�ֽ;9�	�w���������s!E!)�)/+�+K,7-S-Y�\�\T^�^�_|bcQdAfksm n�n�o]q>u
v����������������c���Q�!�F�S���`������������b���/v�m��t�,"-�0=5�@�@�AnB�D�E(G�G�i�y�{<|W��������ɫ�j�`,p-q.�.+/�/H1R7�7�?�@�C�D�F�GI�IQRlX�Y�Y�e.i�i�idk�l%n�o.s:t�t�xyky�yS{�|s}�}�x�J��W����~��m��G�.���@�)��6�)�)���.��$����ƾ����V���z����������=��� �<����������5�����o���N�h���v�,���E�[K~=�. 	����H; �)i*B9?;�<�=2>�@iA]BvC�MNfO�OGP�Q'S�T�U�VZ�aycf�fYi�i�n�r�r?s�sZy-z|S}�}ÀV�&���0�j�6�������h�����*�Q��������1�m������������C���������J�m��������m��
�m#������x���ͮ���@�b�͹:�к�7���67�n���������`�S���'�	��[���������68�b���&����/�����������*�;�69�70����o�71��"�#>%�%E&g';)<.~.\1z5
7�DEJ�pq�yJz�}����э����U���˒�A���,�Χ����h���ӬW�������D�{�����������B�<�M���������6�f�Ƞ��%�������t���������7���*����������������:����9���7�������5����;N��&��:!�!y#'](�(f)�;�>@?�AE�E�G�H�O�Q�i�pWq-�72�ߏ����d���������������x�j�yQ����B� � �!�!/#&�.S9<=�A�B�E\F JAK�S�WX��İ��ȱ�3�F����������������73)�)Q0;1N3i4�9�>�>�A�BBF,GiG�G�H\J�JK�U�y1z�z�}��G���"�f���I�׌����1�n���]���E���������3��������/[���f!$�-�13�4�7:E�G�I�N�PiR�S�]F`�c�d4e�e;g�gyooprVr�t`u�u����������Ǐ��Ӑ�ғ��g�����������Ħ`���Ų����i�S�F������h�����d�����C��f�I!O"5-w-+.x6�9�9�:VB�C$F�F�F�G�J�K}LM�M�OsP�R�S�UZV�W8`�cWyz�z|�}�~B��E�����n���X�	�	�����;�8�b�M���"�0�����{�	�������C|\����{�k��)�,�,�-4.>8�8�8�D�K�P"V�V XRX<Y\_
`�a�b2c�cNd-elvls�s�tuCw�w�z���������-���Ԗ$�I�y��������G�Ϡ"�e�`������I�Ѹ������L~.r��~i
w����&>'�*d+�+�,�3�48����ћ����I�!�ʩj���˯����'������h���}��7�n�������S�����7���<�����r����B���u�* �   ~ �74 �  � " ` � � � G�"_�"��";�"��"��"9�"��"�#	#�75#H#�#�#b
##�#�#�#u#�#�#8#�#�#r#�#�#$'#�*#�.#�.#_5#$8#�8#<#3>#nC#�E#qd##e#}f#�g#Qn#)o#�o#�p#/w#�x#Cy#q|#v~#�#��#~�#\�#�#�#܌#�#d�#��#)�#�#��#o�#Q�#�#�#\�#h�#٩#�#��#��#��#h�#��#4�#D�#�#��#��#�#��#@�#��#�#��#t�#'�#��#��#+�#��#��#�#t�#��#��#)�#��#��#\�#m�#�#t�#76�#6$�	$�77$#$$0$L$y$�$;$�$�$%$�$z$\$� $� $�#$|$$�$$Q%$:'$�'$A)$m*$�*$�*$h,$H-$�/$�/$q0$1$U1$4$G4$�4$�4$J5$�=$�?$C$'D$�K$�M$�M$wP$�P$T$U$�U$�V$�W$�X$&Y$Z$\$�]$A�$J�$�$Ϧ$��$�$�$:�$��$��$��$;�$u�$��$��$\�$��$��$W�$!�$��$��$��$$�$]�$��$H�$�%�%�%�78%�79%0%v
%�%S%%�%R%l%Z%�%�%� %� %$%$%	%%�A%�B%�B%_C%�C%�K%\L%<M%�P%iR%T%�V%W%?Z%�\%-]%`%�a%Xb%k%lp%�p%�q%�q%�r%�s%�t%v%vv%�v%�%ӈ%�%��%p�%��%��%n�%��%��%Q�%��%��%M�%w�%��%��%�%��%z�%o�%'�%��%��%��%w�%��%��%#�%M&d	&�80&}&k&J&n&f&K&&f&&�#&%.&�.&�.&f0&�1&�3&E4&6&�>&GA&�E&'J&�J&�P&�P&3Q&FS&�T&rU&9Y&YY&�a&Yd&6i&?j&fk&p& r&�r&~v&�x&�y&�z&��&2�&_�&��&��&�&v�&0�&m�&:�&�&̟&�&g�&81�&��&i�&U�&�&±&l�&��&��&�&��&�&^�&V�&
�&�&��&��&��&I�&��&��&��&��&=�&��&$�&��&82�&k�&��&��&��&O�&e�&z�&c�&D�&7�&�'>'�'�83'�'H
'�
'�''<'�'j'<'�'�8'U<',B'?I'!L'M'Ad'�t'�u'"w'ƪ'�'{�'��'��'��'�']�'��'I�'��'�'͸'��'��'��'��'��'��'��'��'��'C�'��'�'�'��'�(�(�(�(�(N(Y(�((�(N((�(0(>(g((�(�5(�8(�;(�=(@(*p(W�(��(��(̋(��(��(F�({�(��(��(��(Ҕ(�(�(��(��(8�(é(��(�(��(ά(E�(q�(��(s�(��(��(��(I�(Y�(��(��(��(��(
�(��(��(��(�(��('�(/�(��(o�(1�(��(��(��(0)�)|)C))2)�)!)$)�$)�*)7-)*/)�/)93)�5)�9)�:)�;)�;)�=)Z>)�>)_A)�B)D) E)-F)�G)xH).J)wM)4O)�P)�U)5[)�[)?`)�d)�d)�e)�f)�f)�g)0h)�h)�k)84l)�n)n�)��)��)��)֗)�)�)f�)��)T�);�)��)�)�)�)Z�)�)��)ɾ)1�)��)b�)��)�)��)"�)��)�)��)��)u�)?�)��)��)�)��)��)��)��)^�)��)��)x�)�)�)��)��)�*7*�*t*�*	*�	*S
*q*'*�*�*K'*�(*+*V,*/*�/*a0*;3*[9*�9*�=*x?*�D*GE*�G*�S*�T*�U*V*>W*sX*�o* w*y*)y*G|*�*L�*w�*��*њ*%�*��*�*T�*��*�*��*�*�*}�*v�*m�*.�*��*a�*�*��*��*��*w�*��*��+Y�+}�+��+|�+\�+��+	�+0�+u�+��+��+�+��+��+��+��+��+�,Y,<,3,�,� ,y",#,�#,�',),@*,1,ZV,�W,�W,6X,tY,fZ,V[,�[,],E_,>c,[d,�i,�j,~l,'p,�p,8r,�r,vs,�t,:|,�|,�},��,̀,�,5�,s�,��,85�,V�,|�,8�,�,$�,��,ח,��,٘,8�,�,o�,��,�,"�,�,��,1�,$�,�,Ͳ,H�,δ,$�,M�,��,/�,ý,:�,��,��,L�,��,_�,�,/�,Z�,��,��,�,5�,��,!�,��,�,��,�,��,�,��,W�,_�,��,}�,��,��,`�,��,��,�,��,(-H-�-�-�-�-)-e-N--�	-�-L-�-�-J-2-&-�-o(-�)-�=-P>-LC-sD-�E-�F-�K-zL-DM-�M-�N-8[-�[-�\-da-�a-�b-�d-�d-�g-Dm-�s-Gy-h|-�|-w�-��-�-�-��-�-��-8�-��-Q�-h�-;�-��-��-��-6�-^�-U�-I�-��-|{0�}0�0x�0��0j�0Y�0�0#�0;�0��0�0��0��0�0r�0�0��0v�0�0D�0�0Ϭ0�0��0o�0�0�0��0��0ü0�0^�0��0��0c�0��02�0��0S�0"�0�1�1|1W1�1w1�1�!1?#12%1X*1	-1J-1�-1`/1*N1�Q1�R1�R1�V1�W1X1a^1�^1�l1o1�o1dz1i~11��1;�1��1Q�1�1��1��1��1��11�1��1�1b�1D�1��1�1k�1��1��1-�1o�1��1�1S�1��1��1z�1��1��1-�1��1�1b�1I�1U�1��1��1��1�2��2v�2�2�2��2�2�2��2i�2`�2�22�2��2Ϋ2��2�2T�2��2��2��2]�2��2�2��28�2]�2��23_3�3L3_3�3�33�33" 3�#3�$3�%3�'3U/3S13�43�43�B3�C3rG3�G3H3�P3AQ3�R31x3�y36{3G|3�}3��36�37�3s�3��3��3O�3��3�3_�3R�3�3��3�`4�i4�j4=l4�l4Om4�m4up4q4Mr4+u4�y4�4��4��4��4Q�4k�4-�4��4ӑ4�O6�P6?Q6�Q6�R6KS6�S6U6�U6�W6�X6�Y6Z6*]6�]6\^6�^6`6�b6�b6f6'i6+p6�p6pr6�u6�v6x6�x6�y6�{6�}6�}6~6�~6�6K�6��6��6S�686�6.�6f�6��6Z�6"�6��6$�6�6��6�6k�6�6d�6��6�6.�6��6�6H�6��6��6}�6��6��6m�6��6T�6��6w�6��6F�6k�6��6O�6��6��6
�6��6�6�6��6e7�7`7�7�7 7�7X7�77Q7Y7�7�7�7�7?7�7Q7c!7�!7�"7M#7['7>,79.7�.7617�37A7�A7�B7�C7�D7�D7�J7�Q7eY7C_7p7r7x7�x7�y7}7��7�7�7U�7n�7:�7��7.�7��7�7�7�7Ƹ7�7Լ7�7��7�7��7��7N�7��7��7��7Z�7s�7��7��7y�7�88�8m8�8l 8�"8T#80%8j.8�58268�78S98�98M;8�;8<8?=8�A8NF8\F8}G8�G8lI8�L8(x8Bz8]�8��8��8��8�
999$7989:9;9[<9+H9�I9�J93M9�M9CO9TP9�P9�Q9KS9�V9�V9�V9�Y9D]9R_9�e9�f9�g9�m9�q96x9�{9
~9�~9�9b�9��9��9`�9�9