Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00072_00000_shuffled.ds.index112 linesDownload Raw Back to root
15Z���<��@���U���!1!�*w-�-[.�0�395�9�??A�AM5M+N'O:Q�QvRpT�U�V?W�W.Xs�v1w�y�y^z�z9}'�'�d���_�n��;���ȉ{���A��O�ĔЙc�����*�6���4���E�U���&�o��������������Z�������j�����������@������{����m���ke���!�!�"�/7�7D81@�@GAJB�T�U$X�X�Y[�[/\S^�^B_�ac`d.f4q�rHs�v�wbxR4��I����$����� �4�n���������_�a����`�����$�p���������$�������-��"�b����3�v�
����{�7 �6�7�9�=F�F	J�K�L�P�S�T�V�q0uGv�v�w�xRyg|L}�:�)�D�~��������A�������R���[����S��e���W��k���/��������7�C���ȩխ�������\�h���2�=�����Q�n���>�W�����e����*�Z�����'�S�r���[�3�W����������F���(oVz�V8.Q	�4���$&$�������ߡ���)���z�������%�=�B���������	�x�*���@�A�	��	��	D5�6�7_8�9�10�11}12\13� 14?#15Z$16�+17A,18�,197220%921}922�:23S;249E25�E26CQ27VT28�V29�V30�Y31�d32Af33"i34Qi35l36m37�n38Wp39X�40��41ɍ42F�43��44B�45�46	�47�48D�49;�50ŝ51�524�53Ƣ54h�55��56u�5758�59�60��61�62Ӯ63$�64>�65˵66�67߽68��69Q�70��712�723�73��74�75��76��773�78��79$�80��81[�82��83��84��85*�86��87;�88�v&	?89�
���e��E3�*�.nN��w�;O�� �58h9�9�;�=�>�BtC�G�J�K�L�LR^T�T�UVIVQX�Y�]g^�_`a6d�g�h}p�s�tuz�{e}u�g�˃
����І�׍��ߞ��������d�[����n���:���3���[��������������������[�\�^_ne�gXl�lOm�no�%�.�K�+�T��g�Y���
���2�9��$�������|���=�c�:
�
�
~
t
690
�
�

�
�
&"
�#
�#
&
�&
'
n)
�/
U0
�6
�6
�:
�<
9?
"@
�C
XF
�G
rI
HO
�P
�\
�]
(^
�`
Na
}a
�b
�d
'e
�f
g
�g
�h
k
�p
Pq
�r
Xt
~u
�v
Sx
�~
�~
�
ʁ
��
k�
��
�
��
[�
��
u�
��
�
^�
�
E�
^�
F�
��
V�
��
��
��
�
1�
D�
��
`�
��
2�
��
�
'�
��
��
�
�
c�
��
��
}�
	�
��
��
)�
�
6�
��
�
Q�
��
?�
�
��
*U���c	910���� !a"�&X(�)�*�+-N.A�C�G�I�L"N%P-QjS�TbU)\�`|a4ikin�n�vA����d�	�i�����8�#���P�ܾg�G���������A�����j�@�l����������W�t���������	+�d
92��*+&X{��Q �7�8�9�H�M�N*Q;[�c;g�g~h�k]m�m�pq�w�x�z�O���#����@��f�7���,�e�:���N�t�j����������X�#�������:�G�������s���R�C���Y�N���7���p���%�'b(�*�:;�?QCDLE@K:MoM�MN�OXQ�d�{5|��ځg���ʃ�'����b�5��u�Η��؝�:�ԥ��*���h�������D����D�[�����b���)�Y�*�r������L�=�Z�e�_�W��-�6�6�7/:�<�=�@�F�F�G}I*J�J�N�O�Q�Z�ZH[�b_v�x�|�~�~�����f�[�����z����ڠ<���*�����+����������
u4��o}���)�*7+�+/-93�6�78�:X<H?�@nAB%C�CEF�GH9H	I�L�NWO_�Ŕ �b���ޟ�:�N��G�����7�/������g������������_���������}�����D������k�l<m�mapUt�u*v[v�v(x�yL{;|؂Ɏ�M�ϑW���m�C�������k�����$�^������%�+��z���������\���}�F�������������	�.�g�����S���1�������<�����y���������~�P�V�93j,�
���Q�� o �"2&)h+�.�.#/�0�2&4y9>X>p@;B�B�R�R\SiT�U�X�YWZ�\�]�^�_�`}c�cpg�g�gbi�m�p�s5v&����]�������G���+��"������[����������I�,���������D�-\�b	m3 "�"$l%�'1-~-$.@.s.W3*59:x:*ByDrH�ISL�M�P�RkVhW$\�^�`ab�b}edg�j�oAp94t�uz�m��!�̇����R������Ô4�g���T�Э�<�p������ʷ��������1���m����������f������P���?��K�����x�����/�����{������9����������B'h�J0��L	#9$�$%*%P%*A+�+�031�2�3j4�8�9�;�=�?E�FG�G~H�H�P4QOQiS�U�UV<V|X�^Vd�f�foi�ij�j�l��S��]�܇Έ�y���95�����'����96�k�ڦ����g�����J���ܼ:�:�N�l�����O������5�����)���k��������8�����������k�UK���	�K�#��)�+T5�58<EG�G�K>M�M�Q�RMU\.]sa�a7f�f0g�g�������R��-�a�t���K�Ȑz�����w�������k�����E���2�W���������/���T�����_���v�z"��
l)�)�$d*_+�+�,�,|.I/D5�@C�FGGH�HeN�OR'j6kPl:pOupuhy�y.���$�4�W�̡����6�n�u����-�9�-���G��?���m�#�l���%�P����`�!�j���X97�98�'���7������$���6O9;B�N�QX�XfY�Y�`�lHmn�n�ovr�r$s�tuawx�z�{�~2�������Z�y�y���s�����c�y�؜�m� @���"�O���w�������O�!�����99����������t�>����������X�!["#T;�<�@�ACD�I�O�QXS�e�f�fpkp�r(s]tsuJx!y�yz:{�{�~������͏���o������Y�̡����I����;�a[!100*�5�6�7�C:E�GJHwJ�O�P=S�SDT�T�U1V�V�bac�e(gdg�g�h`jOl�l>m�moo2����h���������D�����۲��6�101�t���������2�[���T���d�O���.���������<������ _
�
V��?E?�?8@_D�E5K=P�S�U Y%[,^“����^�b�c���ř���.��H���=�����,����p�}����d��l�����D�w�@��E�F��}���c�w��@����������v~�
�
�B�|��Tn�nz�zn~�{�m�$���َ�9�ؒJ�*�����ƙ�ۛ��5�O�_���ت�Q�x�J���d�����	���j���������K�A>����
W��{�vT K")+X+�+./2I34v8�:�:�=Z>$?�?�@AMAwB:E�E�E=G\H�I�IJKyL�M�NjV�[�\�_8`�d�e�h�klxlkr�rt�t�u=vz�|X}�܂!�H�ލ��{�D���ٚ����؞͢�Q���ްV���������s���������������i�}���	����� 1 � � �	 �	 o  �  0" {$ �% �& �' ( �( �+ , 7- r- �. M0 1 U1 �2 5 �5 l8 �J rM XO �P ZT �T �U V `W �W �a g �g �h Pi qk �k ll %m �p :q rq *� � �� Q� �� � R� �� � �� � �� � @� j� �� ;� D� j� l� � �� C� ~� �� �� �� �� E� �� �� � T� �� � �� +� I� �� �� � �� }� �!b	!�	!z102!�103!�!�
!�!�!�!P !� !�&!�\!^!c!&d!�d!~g!�r!s!�u!�u!ov!w!�w!�y!.{!W{!�!��!��!ń!a�!{�!�!3�!ߏ!ߓ!1�!ٔ!�!Q�!��!˧!m�!`�!#�!}�!l�!�!^�!غ!8�!��!��!104�!Q�!��!��!V�!��!��!9�!��!.�!��!��! "I"�"I"�"�"�"Z-"�8"*<"^="�C"9E"�E"�F"gH"�L"jM"O"�O"�V"AX"�Y"�Z"b\"�\"�^"�g"�i""k"�l"�m"�q"�q"�r"�r"�s"-w"&{"c�"
�"��"͐"��"��"y�"��"�"��"S�"{�"͠"�";�"֩"��"ŭ"��"ʳ"��"~�"��"��"T�"G�"i�"��"��"��"��"�"C�"��"$�"D�"��"��"^�"�"4�"��"F�".�"��"�"��"7�"��"&�"0�"T#�#O#�#105#=#V#Z#�#�#H##�#}#x#�#�!#0#�0#�2#J3#�:#	<#�>#)?#�?#UD#�W#�]#Ql#�n#�s#6t#nt#�t#�t#�v#^}#s#�#��#�#��#�#>�#7�#��#��##�#��#��#��#0�#��#��#��#	�#��#��#��#�#��#��#/�#�$$�$�$"$�
$�$6$N$I$�$P$�$�8$�9$�;$�=$>$�?$.F$=H$�I$DK$M$N$p$]p$�q$�r$�s$�w$3x$�x$�z$�}$�$��$�$�$̅$}�$ԏ$)�$��$�$��$��$f�$z�$A�$��$k�$��$��$��$��$��$��$��$�$�$��$u�$@�$d�$��$��$��$&%E%f%O	%Y%%4% %#%�"%�#%�#%{'%�(%)%*%�,%V-%1%W2%b3%�4%L5%�;%�;%�=%UF%%G%�`%�a%4c%�d%df%zq%v%�x%�y%W�%��%��%��%B�%T�%'�%�%��%��%?�%x�%��%'�%"�%��%&�%��%W�%��%e�%��%��%@�%��%�%#�%[�%��%V�%B�%k�%��%S�%l�%��%i�%��%�%��%��%�%��%�&�&&�&d&�&~&&�&&)&J)&�1&I2&v6&7&�9&<&�?&�B&C&�D&G&�G&J&=L&CQ&�V&�[&�\&Rg&�g&�g&�j&�k&�k&p&�r&Ft&�t&u&	v&,y&��&��&{�&{�&��&��&��&>�&��&2�&^�&��&��&u�&�&��&7�&J�&��&n�&��&0�&��&F�&��&106�&~�&��&	�&p�&��&��&}'F''�'^'�'�'�	'�'0'�'Q'�'�'�')'107'�'U' '� 'j!'�!'�!'�$'�%'('�='>'�A'XD'zD'bE'(F'CG'fK'�O'bP'R' �'��'V�'l�'�'m�'ʽ'�'��'h�'�'��'��'�'9�'z�')�'9�'��'��'��'a�'��'��'��'8�'I�'6�'d�'��'^�'��'"�':�'�(�(M
(�
(+(�(�(�(Y((O (9"(�#($(�'()(�*(�*(�-(�-(R/(:5(�6(A(�L(kM(�M(Lt(&v(,w('x(�z(�{(|(�}(��(/�(Q�(c�(|�(��(��(F�(8�(��(��(A�(�(�))H)108)�)�)�)G)4)[)d)�))�)�I)jM)�R)�X)�Y)mZ)U[)\)�\)�^)1`)Ea)�a)"c)Vc)�e)�f)Kg)�i)�k)�n)p)�})ʆ)��)ȡ)��)?�)�)a�)��)W�)��)��)}�)�) �)r�)��)W�);�)��)�)��)��)��)��)��)��)l�)�)��)�)��)�)�)K�)��)a�)8�)��)&�)h�)��)��)�)��)��)��)��)S�)�*R*�*T*�*A*�*%*�*�*Q*�"*�$*&*/(*�(*
)*�**�**�,*�/*�0*|1*�1* 2*�2*�2*5*�8*z9*�;*3=*�=*>*��*��*S�*B�*��*�*�*-�*��*��*��*��*(�*W�**�*��*��*��*��*��*n�*��*�+D+�+q	+�	+�	+�+�+�+J+�+�+� +� +)+�)+�)+S*+�++�,+ /+�/+ 2+N2+l2+1093+4+h6+�@+�A+dC+kF+�F+NH+I+�K+vN+@O+�O+�P+�S+gT+�T+oU+�Z+U\+�]+/`+-b+Kt+�v+�v+�y+Iz+�z+l|+[}+3~+�~+z+�+7�+}�+��+܏+y�+��+�+5�+�+��+Z�+t�+ݟ+u�+	�+��+��+��+��+�+�+��+�+��+�+�+��+R�+~�+;�+��+�a,:c,[,2�,ƀ,%�,-�,*�,��,B�,�,�,F�,�,%�,E�,ܔ,K�,��,�,��,�,]�,��,Ӱ,A�,��,Z�,�,��,u�,��,T�,>�,��,��,�,Y-�-�-[-h-�	-110-�-<
-�
-!-�-�-z-�-�--�--R;-�;-k=->-�?-!@-�@-sF-�G-�H-K-PL-[M-wM-�M-(O-RO-bO-DQ-/U-�V-PX-�\-_-e-'e-�e-xf-!h-j-ms-u-Vy-щ-��-��-;�-Y�-l�-B�-��-7�-�-�-�-_�-��-̭-�-��-111�-ݳ-��-]�-!�-T�-��-��-��-��-,�-V�-��-	�-I�-�-k�-$�-H�-S�-s�-J�-��-��-�.).o..�.�.D.�".�".>$.�$.iD.=E.�F.�H.�K.ER.�R.�S.�T.HV.5W.�W.�W.�Y.ZZ.112\.V_.`.ei.:j.�m.�n.�o.r.=r.[~.�~.·.�.�.m�.Ǐ.U�.c�.��.G�.�.�.��.D�.^�.��.��.��.��.��.p�.1�.x�.��.;�.�.e�.5�.9�.��.��.q�.��.h�.��.��.��.��.v�.��.��.�.��.��.b�.��.A�.�.J//`
/r//�/�8/FJ/gN/�N/~/3�/a�/LJ/E�/—/��/�/��/�/һ/0�/'�/��/�/z�/��/�/��/x�/r�/
�/V�/7�/�/.�/��/��/