Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00004_00000_shuffled.ds.index81 linesDownload Raw Back to root
149+:<>�>�@6D�E�ETF�H�IN�N�S4UmW�WxY�Z\�cd1eJn�oq�r#u.upu�w�x�xUy�{N|�}�}�~�������^��������������B�k��8�2	b
�
W���#]3�6�7�72:	;�;2<m?�DFE�EFG�L@M�M&Q?QS�ij�jXk�k"n�rBu�z�z{�|���[������S���
����,���K�*�������4�f���w�y!�$+%X-f5(879�9'=[=3>�>?I�I�I�K|Q>_؏�$�4�|���<���w�m���X��Wn]�`�bZf[g�g�j�kl�l6mwgwJx�}%���DžC�h�ĊX�@������ݜ�b�Z�K�ݠo�����l���4bi�Lt'*�� ~"�&a(2�6�=>�>�A�A�BCE�E�I"J`K�P�QF[�^�_�`�q�uv6wxyzD�ʄ˅�����]�[����^�Y��������X�z��B�@�i�]��{���گ*�رL�j��
�?�_���#�����������2�S�������������K�����+����X y � %�%�&�'�(c1�2
?�?G�GeI��
����� ������+0�P�#�(�+�,�,1�2h3-5�5�:�<1=�=�=m@�C�FHXIRK�K�KuQ�Q�S0U�V=W^X�\:`�cifg[h�j-k<lDm�m�ocqryr�s�u%w{���T�y�X�V���M�Ν7����,���o�Ϭ9��u�������=��-����c���:���������'�#������`���-���|��	��K � E"I#�#�$�$'%�)�*�.U0�:�A�F�L�L�\,^Nb�c�f!j.m�j���[�����N�<�p����̪���e�����A�8����,�������4�5	�@�+�#\&�*`+G0�1=�LvM�M)^[^�bcEgYh�i2j�lp5p�qE���Ɂ�S����+������o����l��(�7�v�r��a��ߪ:��³P��e����������8����`�B�j�(���������:�1	o	�	�	�	�	�	�	�	m	o 	�"	�'	�(	�)	i,	�,	-	�.	�.	"3	�3	4	�;	B	:H	�H	�I	]M	�N	�O	�V	X	FX	�Y	�Y	�Y	JZ	�Z	�Z	�[	\	�_	7`	%j	�l	m	�o	&s	e�	Ņ	݅	ֈ	�	�	��	N�	Ǖ	�	]�	m�	˞	Ҡ	��	��	��	a�	�	��	��	��	��	$�	��	��	J�	 �	x�	��	��	k�	��	�	��	>�	�	�	c�	0�	A�	6�7�	89�10311<1213X14�#15c$16�,17�,18�-19�-20!/21v322423�D24hF25!H26K27�K28�N29�Q30 R31�S32IT33�T34�T35cU36,V37)^38rd39�e40Zg41nh42�i43k44Vk45Im46%p470p48�q49/�50 �51م52[�53��54B�55ʎ56�57@�58V�59_�60�61s�62��63��64	�h�#�$�&O(�*�.02�4
5�7�A'FJ�M�N]P�RLXlY�Z�e`h(j�oLpYq�q�uxw�w�x'y�y�{1|~�����[�R�״ߵŶ���P�p�����������@���>���_����������a�d
�,zz��8��$"%�'*v*>+�-..�.92�3�3H5
IlIL�M�O[CaAb?ef$j�k�kˈ����-�����[�۩�J���>�����/�5�������k�������R�\��������K����/���}

�
W
J
�65
z
�

&
�
!
�"
�$
#5
J7
�7
GJ
J
2K
~K
�P
BR
�S
>T
U

�
k�
ȉ
��
i�
��
9�
��
��
p�
��
ݦ
��
��
}�
X�
�
<�
_�
J�
Ӻ
�
�
�
�
 �
X�
��
[�
M�
E�
��
��
��
�
��
B�
U�
2�
��
��
��
��
3�
����D[�!�'�)Z+�1i253�3}4�56�9pB�CFI�I�I�L+N?O�PQQ�VNWXTX�]�a�a�b�cDk�kIlflo9o�o�p�tBu�ukxzx�{�~#q���h�֊h���i����Б�I�=�!�����u�ܤ!�������^�Z�����E�4�����`�����(�<�A�B�l��J����� ���P���M�U���������$����Q�_�m���*�j,e24C4�78A�ABq^q�q�qht.uv�y�y;{}{�{ ������݅܆J�m����D�%�)���4�������o��X���n�+��F���+���J���;�_�w�����u�:�����u	�F
!'66(q/0�0�2k34�JSK]L�O`�`�a#j�n[|�|�~��M�.�^���ђ�O�����[�-�V�3������q�<�Y�9����^�9�����r������������r���9�;�<�<�?�E�L�MOAP�S)T�T�V�X�X�Y[T[�a�bUe�ehDu�zN{�{�|�}"�Q����7�ǃ���ދ���4�y���0���z�-��s��������L�ʼ`����s�������O�P���&�Z�[�����V���|���`�I��	�	���xQ$x$%�&y'O,%-�-0�4A7�7�7�7�8&9�;><�<=�AbC�C67D�DG�GAI�J�M�WEab�bJc�c�r�sNy���������@�3�p�ɤ���)�[��E�$�޴���)��8����{������K�
��T�A���9���������V�	 J�����(p+&,W,�,?5�5�5�:7;A6A�A%BvIGJ�K�L�M2N�O~V�W�X�Y�^d�h5iYik�nq�v�w�y�y�{�|'~�~j�L���L���]���!����~����9�����0�����������C��(��t�� �!�*�,�,-	353�5w7�7"9�E�J�P�S�T�V�W�XQY[Z[�[i�t�uvہH�S�����B�������r���ٙ�k������Y�q��5�,�
�����`���6�@���Y��������
����H����,��_��������3�
�`�	68�694bh
�'�(�/�3k7�7�7b8�9�A�F/H�KdLJMN,P]PS�VWQi�������ٕϖ���#�R�*�F�����������������������)�+�+.�.76j8�8�:�;<B�B�F�L�M�OrPQR�T�TT\h\�]b'o�o|p�q_r~u�v�v�x�y	�4���ٙX�C�U�c��T����Ф�Ʀ��
�.�̫-���[���Ѷ!�Ӽt���������Q�~���������U���1�BY(�01�1�3E8�8W?�?@�BcCOG.M�R�WzX>g�ln@o�otq�u@����I������d�ωM�ۜ>���b�����e��4�'�ί���H�9���߳�˷���h�����K���l���0�I�K�M�NU�h�j�k�l�lmnn"���7���+�o��������3������k��������������T�������N�V���g�	��x�'�����_���?�p�n�����70�71�72�2
� }"�'�.�1w23m5=�=\>�>�A?C�C�G[H%J�M�P=WIY�Z]�`Tb�bxc�dn�o�x�x�U�Æ0��ʌ�f�	������
�,�i���J�����P�������G�A����A�z�$�V����F�����_��MUUs��� � �#�#�%�.[/�0O2�243�5�6�S�S�^`?f�k�l�m
nwn�qr[r�s�s\vw@y�y�{�|�}$~�~j�D���L���|���{�������N���|�#�v�B���6�P�G��_���޺��u�+������%�c�B��������C�����#�%�P���������y���s�W	��;�f�,��"�$�%1&�&G(�2;3>5�7U8G;�@&D�D4E�E}J7L�N�R�R�S4T�T�X�Y2Z�Z�[�\&]�a�b�bce�e�g�j�k�k�oZp�p�piv1zQz�z|}�~9����w���Ӟ�ڟ���ͧ �6�6������R�r�@����Ѷ�S �T �_ �b �e r �r �x ߁ ł ,� � �� � )� �� �� �� � I� �� �� -� ל �� S� G� �� F� �� ǥ 	� �� �� C� c� �� �� <� � l� �� �� w� �� }� � 6� N� �� � .� � ?� �� 5� u� 2� S� �� (!~73!�4!�O!@P!�Q!R!�V!�V!�Y!�`!�a!�a!Bp!q!r!�u!
w!�y!�z!�z!}!�}!�~!�~!Z!��!I�!k�!a�!ԑ!�!��!w�!Ҳ!9�!��!��!��!@�!��!I�!��!��!��!c�!?�!j�!N�!��!<�!	�!��!�"�"\")74"�""a"z"�"�#"�%"'":+"�+"1"?2"X3"4"#I"�I"�O"P"�Z"Ie"�f"g"7�"�"�"��"j�"�"��"ߤ"j�"V�"�"��"=�"��"��"?�"#�"��"�"I�">�"�"d�"|�"��"��"��"+�"e�"P�"��"��"��"v�"��"�"��""�"#�"��"��"�"I�"|�"�#`##�#�75#�#�#�#�##�&#)#)*#e-#�-#�9#�K#lL#�L#^T#�U#1Y#`#�b#c#�c#�u#�z#|#}#
�#_�#Z�#�#��#�#��#��#��#g�#s�#�#G�#��#��#��#��#	�#��#��#O�#�#��#0$B	$�$�$�$p$W$\$!$t"$.+$�.$o0$�N$U$zU$V$�W$KZ$}\$�\$U`$�`$�b$c$�c$9j$$l�$B�$w�$��$J�$o�$ը$��$�$�$ �$�$]�$��$ʴ$"�$��$E�$>�$׷$�$,�$`n%o%q%�w%:y%�z%�}%l~%Ʌ%0�%�%�%��%a�%z�%�%=�%ڙ%��%76�%~�%��%��%q�%��%g�%��%Y�%G�%Ϩ%v�%/�%��%�%g�%��%"�%0�%D�%��%��%��%��%��%q�%��%��%��%��%c�%
�%-�%>�%��%��%`�%��%��%@�%I�%��%)�%��%��%3&w&l77&&~&x&�&�&�&�&� &`$&%&�%&/&&�&&�'&7)&q)&,&G,&1.&�.&�.&0&T0&�0&�5&L:&�G&�G&�M&N&�N&�P&^R&�!'�$'-'�/'�2'�4'5'�8'�8'�9'd:'�:'�<'='�='L?'	@'�G'�K'VL'�L'M'_M'�M'7N'�N'�S'FU'cY'XZ'`'�a'�c'Ne'%j'5j'�k'�m'�q'^r'�s'�t'�w'U|'�|'w}'�'/�']�'��'�'	�'��'L�'5�'��'��'��'��'h�'�'��'�'��'�'��'�'Ө'c�'ɩ'ӵ'��'�'!�'��'��';�'��'��'��'m�'�'��'��'��'��'��'�'��'��'l�'��'�'Y�'�'F�'Z�'��'{�'K�'(}(0(�(E({(�(�78( (�(X(�(�(�(�(e(�(�(R(#(%(�%(g&(�)(�;(Z<(>(�>(M?(&A(�A(�D(F(J(�K(79L(�_(�_(�_(ql(4o(wq(�q(�t(Pu('{(>|(�}(g~(O(
�(��(S�(��(��(��(?�(��(��(>�(	�(��(��(��(��(��(�(��(J�(�(��(��(��(X�(G�(��(o�(k�(��(7�(��(��(��(��(N�(��(H)�)�)	))_)�#)�#)@')+);+)�+)`,)t/)�2)�3)D5)x6)+:)�:)B?)�@)�F)+G)�H)EN)O)�P)�S)�T)U)aW)�W)%X)�X)PZ)�Z)�[)�\)S])�])<_)�`)�`)/a)zq)�q)9u)^v)�v):w)�w)Ix)�{)s})݆)ˈ)~�)��)-�)U�)��)��)O'*C+*q.*#/*�0*:3*�A*�W*Z*)_*_i*j*�j*�w*�x*y*�y*h}*�}*-*g	+�+B+y+|+�+`+�+#+�%+&+C(+�(+^)+�)+/++1/+i3+�4+6+�9+lE+�H+I+�I+�J+�X+�x+�y+&�+%�+��+`�+��+��+��+��+|�+J�+(�+��+��+T�+��+@�+g�+�+��+p�+w�+}�+/,v,M,�,�,�,�`,�a,e,ot,w,x,y,�z,J{,|,��,ɂ,�,A�,F�,+�,ފ,r�,ʏ,O�,��,�,��,k�,��,Һ,��,!�,��,X�,��,��,վ,,�,��,U�,�,E�,��,m�,��,w�,��,��,��,I�,��,K�,1�,L�,��,��,x�,��,��,��,+�,S�,��,�-�-b-?-�-�-�-S-�-\-�-$%-�&-5)-�G-�K-�M-#P-�`-�a-�a-�b-�d-Ae-Uf-�f-�g-h-�h-li-
j-Sj-�j-Ul-�m-Nn-t-6x-�x-�y-�}-#~-��-��-��-͠-8�-%�-G�-��-��-ô-�-��-��-O�-�-{�-��-:.6./80.a.�."!.]!.�!.GQ.;|.Ʉ.q�.v�.’.�.�.[�.��.��.��.d�.��.~�.Ҭ.i�.��.��.H�.U�.��.��.X�.��.�.I�.��.��.��.��.��.��.5�.��.�.i�.o�.�/N//c/�/�/�/�/�/�
/x/�/�/�/1/F//�/
/a/D@/�F/�G/�K/O/�Q/�S/�S/T/eT/jZ/�[/'\/�`/-b/tb/�b/�c/�d/9f/�i/�k/l/Om/8o/8r/Bs/|s/�t/w/cx/�{/"|/�|/}/^�/e�/0�/Z�/0�/��/c�/a�/f�/�/��/��/K�/�/{�/ث/d�/w�/'�/P�/�/�/[�/��/�/p�/B�/J�/C�/��/~�/y�/'�/^0�$0?'0-*0g,0�40\50`70�80�>09@0�F0G0�J0L0 M0�N0KO0�O0�O0�Q0�R0�U0�V0�Z0|]0�^0�`0�e0f0Hg0_g0�h0�k081l0m0,n0�q0�r0�v0��00�0Ɉ0�0��0˕0��0��0�0v�0�0y�0ӽ05�0��0��0A�0�%2&2�-2G02�02�12�12|22`:2�F2 G2L2�O2�W2N\2�\2~_2�c2f2�h2�h2'i2�i2�l2m2Po2�p2r2�r2yt2U|2}2~2Z~2�2�2H�2��2��2Y�2c�2��2��2�2O�2��2��2I�3�3ĥ3v�3��3��3k�3�3j�3R�3�3��3�3G�3'�32�3��3R�3��3��3��3_�3S�3��3 �3u�38�3)�3��3x�3��3T�3��3`�3��3��3��3�3i�3v�3�4�4�4�4�4�4/4_44h4�!4"4