Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00104_00000_shuffled.ds.index72 linesDownload Raw Back to root
1D�c�Q��y;$&,'�'�(�2�3�4�5�5u6;=?�?=@qB]C�DHG�H�I�TOW�W�XZ�\]�]�^�`�`�?�������ƚœ�(�á,�͢�z�\�0����b�ʱ�:�v���<�������"������<�����m���A�����^� ��������"#�$�%_&5'�0E2j24�46�6?7l8�;'>y>�A_B�BsCiD�E�F�H	_�`9d�e�h�k�lm�m�����+���8��%�H�I���;�l�̩)�[�������8�����(��������G������������s��n���Gp!�!�&�)-.m.G1>2�35�57�<>�>B�FS[T�YY\]�^�^�_�a�b�ceSi�j�nZr�r~t*wx+y;yny{�}-���"�“w����%�������K���#�o��������=�?� ��������@�����D�g���������/�D�������`���u����(�*�4.6)@�@pB�I5J$KzLmQYS[V�V�WGY_YY[z\�\|]^H^�^_�_|`xb�h�j�k�luHu‡;������ǘ�r��p��������O�����f����������,���J�[� �V����o�Ɩ�'����������РT���P�v�ߩ��ݫ��O�����l����� �����@��4������	�w����D���f�������3�����u���/�c����P������-�R�$�	�2_8l)�mnS!�!�'�+.3�5�97:\:�?.A�O<PQ�TXzY\!]�]�_�a�e�emf!gh�k�m�v)xzZ{B|R���B�������'�I���B������;�V�����m��������-�W�0�k���*���t�����I����e�����������n�������j�3�
_����	h�=��#t%7+v+4,�-�/I0�0%405�6�6�7�>??�?�A�B(K��.�=a�5���Zn� >!�!�Y�Y�[�d;h`jpr^wUx�xJy�|}}�~u�����f���>�j��y�Z�Ͳ��[�����������Ϳ����x�#���	�����/����t���/�������k�i����/������	�	<	�	m	�	�	�	�	(	�	�	�	]	�	�	j 	� 	K!	_"	�"	�#	P+	�1	�2	S6	�6	:		A	2A	4H	:I	�O	bT	�T	�V	14�5�6 7U8�9E10�11�12e13�1415�16�17�!18A#19�$20�$21�%22)23�+24�-25�-267027Z028�029y130�231d432�433�434y735s<36�<37�>38l@39Ő40�41�42��43��447�45X�46^�47I�48a�49��50�51��52�53��54��55��56+�57(�58<0���j�]\�� [!�*�,�.p14?�K7M�O2S~V�X2Y>Y�Yv[W]r_�a�a�c�f(m�w�y�z�{�{�}�~�~"�F�`���t�.�B���[�ӓ�f�%���؛\�~�o����5�����,�'�a�:�O�����=���m�,���@���5�Q���`���(���������� ���������~�,��E�
"!���S? � �"h$�$�%�%�&�,.�.�./�/�0�0�1/2k495�6�75;�KZN<OfP�RjS�S`TBV4W>[�\�<����ق(�_������0����g���X�	�˔��™^�{��������C������%�ȶ�2�K�۾��1���������6�.���G���T���
��v
$
J
�
�59
�
�
�


h
(
v
�@
%i
%k
iw
�w
'x
�x
�{
)�
[�
�
��
\�
Š
�
(�
݌
�
��
;�
ŕ
�
��
b�
�
M�
؞
��
4�
��
��
(�
j�
Ȱ
��
8�
V�
��
d�
�
��
�
��
F�
d�
�
��
'�
��
��
��
e�
��
�#$�JMK�OcP(R�R�U�YD[]_bd�d�iPjonp�ps\s�s�sx�z�=�k����e�јY�٤����ܱX�������<������QSiU�U`WGsmu�u�y�y�z�{:|�|�|60}�~Po����R�d���ԍ�܏D�S���ޒÓ����r�d��.���\��>�a���Y����ܦ}����Y�ſ������C�!�i�D�z���
�I�i�~���8������������)�P�q���0?��	661����%(�(�(G)*^+�+�-`.$5E9g9:�;�>�@+A�ACLI9M�MhVlZn`o�s�tqv�v�w[�ф3���Q�]���'�W�A���n�����������t+|�6�u(,e,�,R.1/~/�/_05:�:2B�C�DE�FlG�G62PtP�R�S�S63U�`�aybkJk}k�l�m�nco�p�p�q�r+s�t�|�~����-�����i�Ѡ�:�����S�ܲ����O�ڸ �˽"�E�u������!��e�4�����N���!�<�/�.�o�I���:������#���g������>�����������l�.[�64���?� [ s J"�"#C2a2b34�8�=�?T@�A�A�CgD�E�G)J�a�c�c6d�i�j�jn;o�o�o�z{�{

�ҁ^����k�ш���يx���U�_�]���Z���^���>�����	���ɶ���l��'�������2�2���W���x�B�����N�������U���l)���Y"�(�)�)M-.?/12L2I4�6�9�;65A�A"LMwM�N.O�R�RH`�`�`�a�bc�c�f{�{8|��C�S�#�2����������������	�	#��X(8 l)�*�+{,�,�13�8�;�;^AB�C�E�F(HrH�H"IwO1P~PQQ�}^~;�L�)�ɠ��ήʰ�c�}��"���-�'�2����\�L���������h���@	�W N!""�&�&�'g*�+�.�0w1<�>�?�E!H�H�J"KUQ1R�a`e�wax�x�\���ȅ�$���ٳ�Z�����k���������!�h���v������Y�������K��Q��+��;D�E�I�KJOtOjP�VJW�WgX�[�[1]z]�^_�_@`z`�`\h(j�k�k�k1l�m<nYqn{3~����y��[��ͣ���J�è������;��������w���'������?�������)������T��Uy	z'�}�1\��F�R�0K1[34�5�6�7�9�;=?B�BCHD�D�DE�N�O�O�PuQ�R	T6]w_(`�p�q~r�r�uz��j���тi���66��݅N�����*�S�e������G��D`	�	-t����4!�!%�(O)�MiNPGU�V�W�W�m�n�pq(qxs�t�uJv8y�z�{�|4�z�U�`�Ȉ����v��������n�L�������:���ע)�X�����3�r������I��]�W����n���O���u��������|���6�������v�l��I����MZ�
D�up3f>@rA�F�H�I�J
KPKULM�NR�SsV
Y�Y[![�\]�ac:dDg�h/j�l�op�p�r_s�s]t�w�w�w�x�z|�|u}�~���`�������֌�����T�U�Ve'k�kv�vu��.����L�o�@�����Q�67�8�������۠*�m��������۱d���y�@�u�ҿ��5�������������J�1�E����o������*�����%K��z?�!"�"[$,&@'�-6y6#<�@�@J�S�TV�X�Y@ZsZz[�\�]^l^�bgch^h�h���)��������� �C�����%�������s���G�����ݹ�+�L���=�ߙ��[�������n�$�
����P��r���9����������B�%����Z���X�O���"����������j�����	!Z%�%}&e/3P4�5�78=@�A�B�G�G*LnLNtN�SIT�UV�`Ke�e�q�rPs'tkuWw	�W�o���ɍ��,�{�܎������s� �������¥t�ڧ��S����^�0�J�����{���~������{������ $ q � 5 �	 * �� ^� �� l� $� >� � �� B� 8� � L� ,� !!-!h!�!�!�!�!!'!u!�!�!E+!o+!�+!�,!�-!�.!~1!�3!�4!?!�B!�E!�!p�!”!ܠ!�!��!1�!Ԧ!�!��!�!:�!��!�!��!Y�!o�!��!�!��!��!��!�!8�!��!��!�!��!��!��!#
"v"$"�"D"�">"�"�","�"W#"�%"�%"�("�*"�+"�-"/"u/"�="@"�@"cB"�D"NE"�E"G"[M"�N"lO"�O"�P"Q"TS"�S"�T"V"%X"�c"�e"f"Ij"(q"r"�~"�"4�"l�";�"t�"d�"��"��"��"��"g�"�"2�"k�"[�"��"��"P�"��"��"G�"c�"y�"<�"��"��"�"&�"��"��"��"��"d�"��"��"��"�"|�"��"��"U�"�"Z�"��"C�"��%��%7�%e�%��%7�%�%>�%|�%��%�%K�%��%%�%!�%	�%k�%`�%^�%�%0�%?�%�&A&�&�&�&�&L&d&3&�&�&|#&�#&h&&�&&�'&>,&68.&0&�0&H4&-6&7&8&�8&9&�:&#;&c;&�F&�G&~I&�I&J&�J&K&(K&�L&�M&<N&�U&�Z&U\&�r&�u&,v&�w&{&�|&�&�&��&b�&ޠ&~�&Q�&ť&��&ܹ&�&��&)�&��&S�&=�&�&��&o�&�&��&D�&�&�]'�]'p^'_'a`''b'�d'�e'�f'�g'�k'�k'v'ό' �'�'m�'��'��'�'��'P�'p�'о'Q�'��'��'��'��'+�'��'��'��'��'��'��'{�'��'(�'P�'��'��'��'��'8�'��'(R((D(�(�(�)(q*(�+(�/(%0(�0(V3(�3(v5(�8(�:(�:(A(M(aM(�P(�Q(_R(nS((X(�X(Y([(�](�^(�`(�d(	j('j(nn(�n(q(�r(�s(�u(�u()w(S�(9�(a�(!�(a�(��(Z�(�(N�(��(a�(��(ť(b�(��(Ǫ(��(`�(��(ƭ(�(�(Ե(Ŷ(W�(0�(g�(
�()�($�(��(K�(D�(��(��(^�(��(��(��(Q�(��(��(�(_�(��(�(��(��(��(?�(��(��(3�(n�(W�(��()�)�)))6)
)]
)y
)�
)�)�)�);)�)d)y)-))8)	)�)�)�)�)Z")�#)�()�*)�-)0)0)"3)�:)�>)@)�A)�A)lJ)�J)<K)�K)�L)'M)6N)�P)LQ)uT)�T)69U)QU)�U)70W)�Z)\)G\)q\)�\)[r)s)Lu)}u)v)�x)�z)�{)�})M~)�~)j)��)��)0�)��)�)�)�)��)��)ת)j�)>�)�)>�)��)^�)�)��)��)�)E�)��)M�)S�)G�)t�)��)��)C�)/�)��)��)��)��)��)��)��)y�)?�)��)�)��)��)��)�)2�)�f,Gi,�j, k,�p,0s,,�,��,��,?�,��,F�,��,#�,1�,ަ,�,��,��,�,�,��,��,��,g�,��,8�,��,��,��,	�,�,��,�,��,�,�,��,[�,&�,E�,9�,��,��,3�,]�,��,��,"�,h�,��,(-�-c-e-�-�-�-�	-`71-�-<-�-�--�-�-t-� -;"-�"-J%-�&-C--1-�1-i2-5-�8-�;-}<-:=-'?-Ք-�-X�-��-�-��-��-{�-ۙ-X�-��-��-#�-H�-�-2�-W�-��-^�-v�-�-��-�-u�-��-��-�-_�-v�-��-Q�-��-��-$�-��-��-&�-��-~�-��-��-��-��-��-�-��-��-�-�.8.&.$..M.�.�.�.�.(.s.�.�.�%.�'.(.(.C).?+.�,.?2.%3.�4.�;.�<.�E.�G.,H.=J.�J.QQ.�Z.�].�_.�_.A`.ta.�b.�b.mc.%x.�x.�x.�y.�z.�{.i|.�~.�.��.x�.܎.q�.r�.��.m�.ە.��.�.��.+�.͢.��.}�.�.�.:�.X�.2�.,�.��.��.;�.Y�.��.��.d�.\�.��.��.p///�/ /�/$	//�/b/�/^/t/	/�/�"/�$/�'/%-/�//�0/�0/2/�3/C5/�7/9/:/x:/�:/l?/qI/N/O/.W/qW/�W/�X/�_/�`/�a/{b/�b/_c/�e/_g/y/Iy/�/��/Z�/&�/�/l�/ͩ/��/�/)�/X�/�/�/��/��/��/پ/��/i�/V�/��/��/	�/"�/x�/e�/��/O�/��/d�/0�/��/��/,�/��/)�/o0D0�0�0k0�	0/0�0#0�#0`&0N80Q@0�@0�A0B0xB0�C0G0yH0�I0?J0�V0�X0[0��0��0\�0��0��0��072�0�0��0��0��0�0v�0��0��0��0i�0��0��0{�0��0��0��0-�0T�0�1� 1�!1�#17%1�%1-&1�&1@,1,1m-1�.1<21�21�41;12>1�?1�F1G1�H1�I1>V1M[1`1�k1�n1Qo1�o1kp1�1;�1��1�1҆1;�1
�1&�1\�1X�1l�1&�1��1�1��1ƶ1�1��1��1Z�1��1��1-�1S2-2�2E2�2�2H"2_)2].2x.2�02T12�12n:2�:2)>2�@2�A2�M2�N2�X2A`21a2�b2�b2/c2e2qg2�g2�h2i2�k2[o2r2]�2��2ޠ2��2:�2֣2X�2��2��2��2��2m�2��2�2��2ϴ2ٶ2�2��2�2H�2��2p�2O�2a�2q�2C�2��2��2��2��2b�2��2�2k�2��2)�2��2j�24�2J�2a�2��2�2��2	�2��2~�2:�2`�2��2�3�3s3�	33�3S
3U3}3�3�3(3T 3�"3�"3I$3�&323�8393�;3=3�>3�?3�C3mr3�r3u3�v3Rw3 x3��3^�3�3��3֋3��3�3,�3��3U�3p�3.�3�3��3��3��3��3�3d�3��3�3S�3��3