Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00082_00000_shuffled.ds.index90 linesDownload Raw Back to root
1�[�2C�z����� !�+0�0g2g3r4�;�<9=>U>�>�?@�B�CF�̀n�����i���˒^�����y���8�����`�P�������@�/�o�/�E���k�G����H�|��H�����q�����"������G����h����� �T�d�{�l�_�/���/�����3
k���	3�4���*�h�#�$�&�'�0�56p9�:�<3A�ADkE�E<IhO�O�P�Q�QSS�T�UvVpXsY�Z'[�`�o�s8uOvnx�x�y){�{}w~�~^����ɏ!���K���6�ɛR�'�t������T���4���)�u�s��������2!	K5�6e6
I
�
PL4+|+--q-�-/�1�1�2�364�6j;�<G>o>"?�B:D�I�IMK�K5L�L�M�M=V�X&_�_aVbjbicNdpdUeJl�lpcrqsuv|�}l~���k���Ȏя�������]���%��R���Z����-�f�z����Q�1�����������������F��������8���� �!�$E%<&�&'()j*}-�27�7�8�9.B�C�D�DUEFiIZK�KQO�SUU�V7WX�g_hMi�kEs��ۂV�R�k�݈	�������U�S���?�Q�׹j�Żv�����H�������# ' �$a?CAC]CFqJSUxX�YZ�[#j�j2rX���Y������ٍՎU�����̛(��w�П�����C���)���P���Z�L����z���������P�j�)�2��������Y���c�����&W���Z� ['Z)�)�)�+F,z,~0o3	@�@7FGGEH�HyJ�J�L�M"O�O|PkR�R{S[W�WnXY�Z�Zu[!\�\�]�^?`eu�z�{��������O���������ȕ����3���{�|�ͺ���� �]�f����`�y�����������/�����S�������L���D�;������7�����(���������f
 ~X�'!�!$"�8U9�9!:y:
<�A!B�CHDXE�IWK�K�M5NSPdV[u[j`@bUcmdae�g4h$j�j!k�k�n�p�r�s0w�{�~"a}�������Ɔ�|������*�Z���
�r�����q�g�?���B���s�v�����X�:�m���.�b����=�����8��O�[C�#�#A$a$�$K�KM�O9P�PVQ�V;Y�i�i"kl�m<nomo�o�oou�z~u���%����_���	�.���J�`�ҢD���>��O�N�M���w�.�9���	� ���6�������������������-9�w.:$"�"�"�(�(.�0�4w5�5�6�68�<�?�?A�B�C#FRFG�HJ�J�N�O�P�QU�U�WMX�X3Z�Z�\�]f`�e2f9gch`il�mSnRo�odr�r�v�w�x%yc��{���l�R�
�&��q��9�Y�������՞����|�T����ȫ��d�<	I	^	�	�#	M%	�%	?&	J(	_+	�.	�/	�5	:	�:	;	<	�<	�=	?@	]I	�|	$}	L	��	ć	��	O�	j�	!�	Ȥ	"�	�	-�	��	r�	|�	J�	�	ү	��	��	ɱ	˹	�	&�	G�	'�	�	��	~�	��	��	��	-�	��	v�	��	�	��	��	p�	z�	�	��	"�	U�	�	2�	q�	��	��	�	7�	Z�	e�	�10�11$1213�14:15 16D
17R18�19�20M21�22�23�2425�26�27�28�#29�#30/$31�$32�'33@+34�+35p,36U-37A:38o;39@40{L41M42gR43�S44yW45X46[47�[48�]49�r50�v51Y~52�~53�54ǁ55��56��57��58DZ59��60��61X�62.�63޼64ѿ65��66�67��685�69;�70y�71)�72�73�١3�d�����N����\������t�������2�a���y�c�{�A�f�b�F����������a�������O�a�� � �#�$&z&�&74(>(�(�+5,!0�4iS�S�SM[�a`daf�f�h�j�k�o�o�q�s3u{u����������~�h������
�Q���
Q
k
R
,
�75

�
�
k
�D
`M
>N
�N
zO
�P
�R
�W
kX
d
�e
If
f
�h
i
�j
Hk
�l
�m
p
�r
76t
�v
.x
�z
�}
�}
~
g~
��
΂
�
��
ߑ
9�
¤
�
��
	�
I�
U�
��
�
��
��
��
��
>�
c�
4�
��
��
&�
"�
`�
��
��
<�
��
��
��
��
	�
��
R�
;�
��
�
^�
i�
�77O�&QW!�&j)A*�4�7h8z>(?�?�?g@SAC�C�DiE�K:M���o�QR���  D&�'�'�*]+B._G�GH�M%Q�R�`b�cddvf�f�gvh�h�h�i,kFm�m�nLor|�~��&�̓���͇��C�S�ڎ��w�ʡ*���7����ô�R�#���ĸ&�&�9�T���s�����7����o����������������������(�P�����������������W�_�|������	Kc�
�
$"�+�.6<b@	B�B�CDNeU&Z�]/l�tu�v�x����J�=����P�(�£��_���h�j��������������Q������<���/���@�O�}���i�����8�������;�������|���P�������2�fk
8sh�XK�����()�*g0.67789C:�:�<=<A�CCF�I�I�N�NaO,QKR!S�SuT{UWYHZ�Z)jwj�jhk�kFn�؂Ճ�΄"�a���߈��ӊ �K�Ύk���Ǘ������O������������4�v�����:�b��3�����������0���v
Ke���/�'g*v;�;}\�\�\�]�_V`�l�mbqhv������)�S��������ѩ@������{�X���s�n�2����{����e�>n�����Y�,Aa"2 !�+�.�/t09�?%B�F�FxGI�I�N�PR�S%W�X0Ym]�]c`�c^h�n�ov>zd�/�E�ӑ���l���^����������L����78�j�(���׮{�����79�ϸ����d���\�������9���p��H�����X������q�6�������������*����5���=�������g1 �!m"�$a%�%�9�DcE�E�F80IlMPN�N�U�X*[@^�_�`ga:b6f�gi�j@k�km�q�r@t&���R�ȿ��T����H����.���a������F�	�����"�w�����
�N������"(�(4*V*�*T,F.�O�R�RCS�TYU%V:X�X�Yg]�]�a�dIhSj�jkkojo,qAr	u�wK{�{�|�
�i�G�?�ו6��������ǭ��:������~��������������q�-�������������i�W������]��l1#�'�(�(�)�=�>BcD�D8K�LEjjWmo1p�ppu�u��ɉ������i��?�[�	�ѝ������d�z����fpj�j�}��)�Џ��Ւ�o���q��������v�޽���������������������2�[���2��������%���	�81o�
+
�
�
��������W�_���_�ֳ���f�����8���L���S�]�����W���-���n���c��8�82��Nu���CYa���!�$$&l.�.k0�0T5�7�?�?]@,I�JQ/QhU�XZ\]�^_Y`fd�d)g�tMu�u}y���v��L���1�����*���ݓ��–o�q���ۣ8�0����z������R�1�;�8�^�X����y�������h"�Ha�> N!�!p$�%�%�&J'Y(�()�)u*t,�-�.�4�5;f;�;�=JHI�I�P{SV1Y�Y:Z�`�b�q�r�t�v�wlx�x zzz"�H�?���.�&�d�������l����\�]���J�����*�}�<���_�+�C	�	�%!(�)�-�.�0�2;5�6�9�9�:};�<h=�>�?@T@}A:D�E_FJG�Gbbjcd)h�m�o�osp�u�w�z�|�~&�v���B��������a���n�x�����\�\��w������f���%�%�E���h�?��[uP0� � *!�"M#\%�%�&�(�)�)V+;.�0�6�<�B�C�CG8Wf[[^9e�e�f>gBi�k3l�pq�s�x�z7����q�����"���9�����#�M���)�&�I���8�.�a���������1��P�4X5�59�:�:];�;5<�D�E$FOG�GH�JuVG\�\K_a(a�iok��Ր	�����ћ{�������>���h�ٶ�׸һ���E�������}��������!���������������������.�|�i � d < d � 4 E  . �$ �' !( X) �* e+ �, Q DQ `R ~R S LW �[ �[ �b -d �d 'f �f �g �h _i �j �k ss �s �t Xu x z �z {| �| �� � |� )� c� �� �� � � � � �� o� �� �� �� ;� � �� |� 4� K� �� �� �� �� 	� �� � � �� 6� �� �� 83� �� P� �� C� �� x!�!�!!k!�!o!T!�!b!�!_!�!�/!50!1!�O!�O!|Q!�S!T!WU!,Z!E[!I_!�_![`!.c!�h!Ci!�i!"j!�j!�l!�l!�p!q!Eq!�s!qt!u!{v!:x!�x![}!�}!q�!�!և!�!	�!��!��!2�!��!�!/�!��!��!��!��!�!�!�!��!��!��!��!��!*�!�!?�!��!��!8�!�!Z�!G�!S�!(�!"�!��!��!]�!��!��!��!F�!��!�
"�"H" "�"3"�"�"Z",*">" ?"7F"�H"�I"N"�N"IO";P"�Q"T"*W"BW"�Y"�Z"�^"�^"`"�d"�d"�f"2h"�n"Sp"lq"Qr"�r"�u"�v"�v"�w"�x"U}"z~"�"�"��"��"��"�"��"��"Ҕ"u�"_�"��"ߝ"��">�"i�"�"��"��"B�"��"|�"Զ"p�"4�"��"�"U�"��"��"e�"t�"/�"�"�"0�"F�"l�"U�"�"��"$�"��"��"C�"�##�#P#�#K#z#=#[#?#�#�#�##�#�#
#�#V#�#�##%#~&#�&#�(#@*#�+#�/#}0#-H#NH#�H#I#�I#M#lM#N#�N#O#PR#cR#+X#�X#�^#3`#.a#Rc#�j#ql#�m#q#r#�s#�s#�s#�u#&v#�v#x#�y#�y#�z#|#��#��#�#��#��#��#��#ԧ#f�#��#��#X�#T�#?�#8�#��#=�#��#��#�#��#2�#��#'�#s�#>�#��#�$E�$�$w�$��$H�$��$Z�$_�$��$�$^%�%A%�%�%�%� %� %e%%�'%(%�(%�)%m-%{-%�-%�/%�/%0%=%�=%�A%�B%D%F%OG%H%�H%J%�J%�J%�M%@N%wN%6O%�O%HZ%u[%�[%�`%�c%`h%)o%4r%�t%�t%Gv%Nw%�w%��%�%��%��%҄%.�%��%˒%#�%�%o�%�%t�%o�%ɞ%d�%X�%�%x�%��%��%¥%9�%��%߯%��%�%��%6�%��%�%˷%=�%��%&�%R�%��%�%0�%��%X�%|�%��%W�%&�&�&y	&�84&>&K&�&�&6&�&&	&�&&Y&�&�&<&�&!&Z#&#$&T&&�&&:&�:&;&�;&�f&+i&�m&�m&�n&�n&�o&�p&�s&��&$�&��&�&��&�&�&�&H�&ʛ&��&�&ǥ&l�&H�&ǩ&�&U�&��&�&��&�&G�&�&1�&�&)�&j�&�&3�&V�&��&'�&��&g�&��&t�&��&y�&��&
�&j�&f�&��&��&k�&[�&�&[�&R�&+�&��&��&~�&��&��&:';'�'�'�'~85'�'�'h
'�
'�'�'.'r'+'�'^'�'�'G','�-'�/'z'|'�~''a�'��'��'86�'�'H�'��'��'͇'��'�'a�'l�'�'7�'��'�'��'�'{�'�'��'#�'|�'?�'�'@�'��'̿'��'��'y�'w�'(�'��'��'��'��'X�'��'��'��'��'[�'��'��'|�'��'/�'��'(W(x(�(�(6(l(�(x(�(;(�(�(�((�((0 (~ (�$(T%('(F'(�4(�6(G9(U9(�9(x;(�;(�<(F>(�u(0v(0�(x�(��(��(5�(��(h�(�(#�(��(��(g�(U�(��(��(�(��(��(��(��(~�(-�(!�(,�(w�(��(��(��(0�(+�(c�(��(��(��(�)�)�)�)H	)87)a88)�)2)�)�
)�)�)Q)�)�()n-)l.)f/)�0)3)O^)89_)�`)	a)'c)-d)�e)�m)@n)`o)�p)�r)8w).)��)��)R�)h�)~�)Z�)*�)��)��)��)*�)��)H�)��)q�)a�)H�)U�)��)��)=�)��)z�)|�)!�)`�)��)O�)��)#�)��)�)1�)�)��)��).�)��)��)�)_�)�)�)G�)0�)�**G*^*�#*'*T(*�(*�(*�)*�)*S**+*7+*�\*D]*�]*�]*U`*�d*/e*Pg*�j*P*�*q�*��*��*^�*��*�*Տ*�*u�*ٔ*��*
�*��*'�*��*��*u�*��*��*�*{�*��*+�*��*�*�*��*4�*W�*��*r�*��*G�*��*�*\�*8�*�+�+c+�+�+*+�+U+x+f+/"+w"+%(+�-+�0+�2+�2+!3+Q3+�3+�3+�6++7+^:+�=+%E+jJ+�J+�Y+UZ+�Z+��+H�+��+N�+k�+��+O�+/�+��+��+��+,�+%�+��+��+�+��+c�+'�+��+��+��+��+��+�+R,�,�,~,�,,m90,h,�,D,$,�,I,k,�,�,�,�,,V#,V$,;%,j(,),�*,�-,�0,�1,�2,�2,3,�3,r:,];,�;,J=,