Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00067_00000_shuffled.ds.index99 linesDownload Raw Back to root
1+��Z�O72[��p���!E%�/L23�3�8+9)>�?B%D{D�E�I�I'J�JvL3S�UWa]abm}m�n�olpZt�u�v�vx�y�z�|G���#�L���։`�?�����W����̘��
�B�V���5�b�,�f����N���*�ְ����(�D���е,��%�=�k�1�~���X�\�y�J��������(�%�
� �����%4��yY�`���I�G`�}�9�9 $!'#�#'%&&'M'�'�)7*32%3�3"6m:l?mB�E�F�J�KNOFOeP�Y+\Hg;k�kAl�l�lVm�q�t�v�w�y�|�|o}�p�[��ȓf�h��0�3������ݩ:�U����C��L�]���l�������f��w��������H��|��o��K���������B�����+���z�!�Z�"�#�$/&'C:X:YU�V�X�Y`�`ax�����;�!��ܥ��J�����y���l�������l�=�����{���J������g"q��Q��[�^g���E�= �!�"�.R1�9M�O�PPQ�Q�Y�ad�hpj�k�l�lm�mSngr�s�s�uFv�vyw�x�z�}\���4�c�����~�e�����M���ј��Y�ܜբ��!�G����(���=���%���]�������G�����K�����������c���0
a2O	r
F0i374T56�7�79.9�:�;}A�C�EG_HI�I�I3M�MKNyO5RQS�U�Z�\�]�^�^�c:jym�n�o�ru����8�.�̈́Ʌb�����ݓ���y���֘1���H�ٴM����}�a�ľ��;��^�i�����#���������f���F�������C�����OaU��,��I���,�-�.�/"0n=�=�>}C�C�D�D_K�i4j�l�r�s�s�u�v.wSx{�~6�)���R���X��������&�-������������$����H�ܹӻ���,�y�� �������O���2����5���Y������r����\�����������(�O����� ����
�;���+6�5�8(P/D/�/G0'8�:]<�=�EF�F(PeX#Yhmvmnix�yz�b����E�������#���G�"�z�����_�������F�M�L���ܱͲ���J���������M�b�����$��������������m��Ji��,�35�5�7�8~;�D&EjE�E�EG�GUM�M�N�R�R�S�U�W�W�Yg[�[�^]a�a�d�dZz�{�|JȀЪ�ʫj�2�������Ʒ*�Һ��I�Y���+�(�g������/"n9�I�JYK6MvM�M�+�j���ڏ����i�R�8�ƙ2�S���=�͝d���{�2��)���>������H�o�#�m�������}�������$���a�f���X�e�O���		�	�
	�	�	V	X	Y			�	L			z	�	�!	v"	�#	k'	�'	�(	�/	2=	�K	�L	VS	�S	�T	Qa	�a	~d	�d	kk	%l	Fn	�n	�p	Et	�t	�t	-u		�	u�	T�	��	m�	�	�	�	��	ʓ	��	)�	j�	�	d�	[�	��	)�	ţ	a�	��	��	��	��	/�	��	_�	6�7V8�9�10�11�12713i!14w$15?'16�'17*18b319420�421�522x623�<24�=25=>26�@27@E28�G29�I302J31�J32K33�M34�N35�O36�P37}R38�Y39C\40�]41�_42�`43�d44ue45�e46|i47n48q�49��50��51f�52̧53Ш54|�55��56��57��58��59��60(�61��62��63l�64��65o�66��67��68��69��70��71�72I�73Q�74c�75�76N�77�78I�794�80��81��82��8356��	���<�@!C#�/�0$2 3�9K�K�N;O�Z[�[D`�`Pd�d�de�ef�f�fr{A|�|l~��>�c��ԣ3�n�>�����������(�}���ۺ���h��������S���5�����m���T������7�=�]������]�����w���D����F�x843�85�tw��!�$[&	'{'�'�(@,�-�/0�2^3�3M4
6L7f7�8@9-:;�=tCD<D�J[KN�O�PBT�X
\a\t^�a�c�gIjIp�|B}�}�}�}�~	�������t�,��]�t�����u�����K���F��������������
Q
%
86
�
\
�
�
	
�
�
!
O!
�"
;<
�<
=
M=
P
sQ
�V
Y
�]
�`
�f
�f
=h
�k
q
Tq
�q
�q
�r
Wz
�~
B
��
��
�
��
Ύ
��
��
	�
ܗ
��
K�
ɪ
$�
��
�
l�
��
_�
Z�
��
��
)�
t�
�
�
��
6�
'�
��
��
��
_�
v�
E�
E�
��
7�
	)P)+�,�-�.t0�2y4�4<5�5	7`7k8�9�=H>�?�L~M�R�R(U�U�W�]^�optFtyI|�|�|b�ĕk�4�����������ՠ87���`�P���V���0�g�����f�����88�.�T�������U�	�����C���D*5.u/68f8;�;dE&FG�G][�[\^�`�op�q�stsv`w4}H~����Լ6�.�g���7�����i�z��v���4�P�n���L������Q���w�h���$�A�C�)�O�����3�����p�v����C�O#�%�&�'�'<(F0�1�1\23";�EGoI�L
O89Q�T�WZ,Z4\�\�]90^�_�_b�e�e\fiij�p�qPrxrt<xex�xk|�~�������B�X�֘Z�D�Z�'�d�5��Q����x�/���n�����:�������'����������e;��q����n�MM\�\�]�^�k�lr�r.s_~M�����9��f���ǣ*� �?�Ԧ��� �i�L����ղѷ���A���m�B�#���t�f6��e��'V~�'_)�)91*~*92,�,�-�3.=�R0T�TzW�WKZ�\�_�dSe�e!fng�giu�uv�vu�F���Ǚ��� �M����p�����	�P����x�������:��������o�-�I���V�����	���	���<������
.�t��y&�'�/X0-3�4p7pL�W�XxY�Z[G`�a�lNyI���՚i�^����t���Ʃe�z����8���~�ۭ�%�Y�a����D�k���K������p�4���������,��%#�),*�+�-�/[1�2_4�6s]�]s^�^7_a�b�fLh�h-m|m�n�nCs9y$~��ԇ����M�ΣQ���c���y��������o�k�԰X���k�����/���������V���E���o�������������������e���l���6����f�g���{�����,�������;���^�M�����k�'y�N3��'L 8!�!"*$�$W%'i'�;MD2EhE,FrGugv�xpz�z�|L-�/������"�~�����[�H������`.2�2�3�7.:<�=�=�C�FQG^I�I�QtRSYSFUxU�V�W�Xo]�d�e�i�j�k�n-y�~��̈&�n�3�^���_����	��)��g�n���������H�����	93-94��
�|���� � 6!�ESF�G�J@QkR�U95VMWKt�u�w�y�{�}�~I����������S�ܕ��;���?�3�F�c���ī�+^�+�|��K � � �!"}&g'B)�)RA�AFCF>F�F�Q�RNT�W�W�X?Y,^af2inwn"o�q�ruz�{T|�|�}��]�=�y�>�c����D��ĥY�ש�3���+�u����������������x���M�9�����������������96k����"np�+bdI)�)+�+/60$BeN�N&OWP�Po�ёF�j�$���>�����������o���0�Bu!�u!zv!�x!~z!�!�!$�!��!ԅ!Ɇ!��!��!��!��!ό!��!x�!��!�!��!&�!^�!�!��!Ȟ!_�!F�!��!+�!ʷ!2�!k�!Q�!��!4�!`�!��!��!G�!�!-�!��!��!��!��!��!Z�!y�!�"�"
"3"�"+"a"�"�"#"�","�."�/",0"I1"�2"R4"�9":"�:"�;"�<">"�@"~A"aE"W"Z"�\"�\"�b"Xc"oc"de"f"#p"�p"�{"�{"�|"�}"$"�":�"��"K�"c�"97�"��"҇"��"s�"�"J�"�"f�"��"p�"v�"@�"�"&�"��"I�"M�"�"L�"��"��"3�"��"��"�"O�"��"�"��"�"z�"��"��"�"d�"��"U#�#�#�#�#4#�#�#�.#�5#�6#�6#�7#�7#�8#�9#<>#o>#�>#9@#�@#1C#�C#�O#ZU#�V#GW#�W#�Y#$Z#�Z#_[#]\#�\#;]#r_#�_#e`#$a#�b#�e#Gg#{h#	w#��#ن#D�#ڈ#��#��#��#�#s�#�#�#��#�#S�#�#;�#@�#��#��#��#C�#��#��#��#��#��#�#a�#	�#��#@�#l�#��#��#�#s�#��#��#��#-�#	�#��#��#��#$�$�$�$$MA$�A$D$�D$#J$M$�N$QP$�P$UT$~T$�T$
W$�W$(Y$�^$k_$�b$�g$�j$�k$�m$0q$�q$Ur$�s$�$��$��$ͅ$І$}�$�$��$N�$��$Z�$ә$�$��$>�$i�$��$��$�$��$B�$��$״$׵$��$�$E�$S�$��$��$7�$��$��$�$�$g�$��$��$�$��$��$��$��$:�$��$%�$��$N%�%	%%�B%CC%�D%�G%3H%�K%�M%�N%�}%�%��%�%2�%�%��%��%�%��%P�%�%p�%��%��%ъ%ƌ%D�%,�%A�%��%x�%�%Q�%K�&K�&L�&��&��&��&��&��&|�&��&�&k�&��&��&��&2�&��&��&2�&��&�&g�&��&��&��&��&�&��&-�&��&��&��&A'�'� 'i!'i6'�O'tS'V'�V'$W'�W'�]'t_',`'�`'.a'^d'$g'~h'�h'�j'qk'�k'el',m'�m'�m'w'Iy'�~'�'S�'̤'ɩ'[�'��'ܱ'�(�(�(
(�(Y(�(�(�(�(M(�(�('(�(6 (N!(<((�((�+(@,(U,(&4([4(�<(J=(t=(�F(|H(�K(!M(�M(iP(Q(,Q(�Q(pS(<U(�U(RV(0W(rW(�W(V\(,^(�^(L_(`(�b(�c((e(�e(�g(�l(m(Un(�o(�u(�u(w(�x(z(�{(܍(ê(�(�(�(F�(��(�(y�(��(��(`�(E�(A�(s�(!�(r�(�(��(�(`�(�(V�(��(}�(�(��(��(��(c�)��){�)��)��))�)��)��)��)��)��)Q�)��)��)��)l�)��)`�)�)?�);�)�)W�)J�)��)�*s*^	**s*A*�**w *C!*�"*�#*6=*5?*UA*xB*UF*�F*�J*�K*�P*�W*	X*�Z*�_*s`*"a*if*qz*�}*P�*��*��*��*�*��*)�*��*Q�*�*^�*n�*��*K�*��*��*)�*>�*�*�*n�*��*��*H�*�*��*t�*�*��*$�*l�*��*��*��*��*%�*��*:�*��*��*�*8�*n�*��*��*�+++F+�+�+p
+7+�+�++5+�++o+y +	!+P!+L(+)+X)+�)+++�-+�-+b/+�2+�Z+�Z+a[+�m+�n+�o+3p+t+}u+"w+��+��++�+b�+��+>�+H�+��+ܟ+y�+��+��+�+��+�+��+�+i�+��+��+��+��+��+w�+��+P�+��+V�+��+
�+�+��+,�+��+��+��+��+��+��+��+�+p�+��+��+��+[�+t�+x�+��+��+]�+�+3�+W�+��+�+��+1�+3�+�+c�+
,�,n,�,,N98,|,,,�,S,�,z,|%,�<,�<,=,�>,�A,�B,nC,�C,�X,Z,aZ,I[,^,�e,�f,8g,rl,�o,p,}u,�x,y,z,�z,�z,:�,��,0�,��,�,ʒ,h�,�,�,_�,�,��,ա,^�,�,�,�,Z�,��,��,!�,��,��,��,��,��,4�,��,��,E�,K�,5�,��,D�,��,"-�-�--�-�-c-�-�-� -{"-@#-�G-BK-GT-X-�[-\-M`-�b-�e-�e-j-�n-ko-�r-�z-�z-�{-�{-h|-}-��-
�-��-d�-U�-x�-E�-��-��-�-��-��-�-.�...b.�.�.�.I.EI.�I.4J.�K.�M.fR2�S2�]2/^2K`2a2da2�a2*b2�b2ˆ2,�2��2)�2‰229�2��2D�2x�2��2�2ޛ2|�2�2�2,�2��2	�2G�2��2�2��2h�2}�2>�2��25�2��20�2�2�T3�T3'U3pU3�V3GW3�d3ge3�e3�g3^h3Mx3?{3��3��3��3�3(�3$�3ˆ3�3m�3:�3]�3��3�3�3�3Q�3ۨ3ĩ3ڪ3`�3��3M�3ɰ3?�3ܲ3w�3��3_�3�3��3/�3��3��3�3b�3��3�3��3�3��3C�3��3��3��3��3��3I�3w�3e4{4�4Y4�41404M4�44u4� 4#!4�%4�+4�,4'.4U.4�/4I24�44D94�94#;4�;4S=4�>4�A4�P4�Q4zR4�R4PT4TU4�U4Z4�y4�{4p�4Ƭ4ޮ4\�4��4δ4��4h�4P�4S�4��4{�4^�4��4�4��4��4��4��4��4��4�4d�4`�4P�4��45=5�5�#5_*5..5I.5�.5P/5(95�@5LD5�D5=E5?F5�F5NG5RH5�J5�M5N5�X5\5y^5sb5�d5�f5�g5�g52i5�i5m5nm5�p5"r5�r5�r5�s5�t5�t5�{5s|5}5�}5+�5[�5e�5҄5�5Ƈ5&�5N�5��5�5N�5�5I�5_�5z�5?�5ӧ5�5�5��5��5�5��5q�5��5)�57�5��5��5t�5��5��5�5X�5<�5}�5��5;�5{�5��5��5�5��5�5K�5��5"�5;�5��5��50�5��5�5�996_6�6�6A6�6~6�6�6�6Q%6+6z66�66_76m86�:6;6�;6�<6�=6)>65>6�?6�@6�@6�A6C6E6\E6OG6tJ6�J6�K6�O6Q6�Q6�R6QT6{V6B^6�}6��6�6V�6i�6�6��65�6�6��6W�6�6j�6�6v�6`�6ɩ6<�6��6�6H�6��6ļ68�6v�6Q�6��6��6��6