Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00043_00000_shuffled.ds.index120 linesDownload Raw Back to root
1b����	G2�3�I���E"�"�$�4�537�9�:�:�<�=G>�>�@�@%C�D�EG�I/L�L�L�M|N�S�UWXKZ[o[�\�]?`�a�c�e�f>i�i�k�l�op�uC���n����ߍ�;�������*"�#�*+r+�+�,C45P7�7�8�<u=�H�IzK�KL�P�P*QoQwRGV�V^Z�[{]�a�b�eg<i�j"k�nyr*t|y"z�|(}q��Љ���t�f���u���������¨��\����Ȯ��V���׺-����1�Y�W��E���b�,������'���?���d������2���>�������_��5�ye��4^��!6"#F#r$%@%)J+�+	.e.t/�/^0�2D�I/J1U�VW.X�X"`Olp�rǂ��f���+��7�O�����������C�>������0�����w��������<���S�]B � @!�"$'�()�):*+!.�/O6$8�>�@4A�D�E�G.I�I{J�JO���u�����Q�	�]��;�|���gwG�sI��"k'�'�(�7�>~?�A�F�G�I/K�K�L?O�O__�_�agq�q�w�y�}����'����ŚF�c������%�¬��u�a�@�a�"�i\��}o�Q�Ϛ��j�ќ��#���r���U��V��L�5������������[�����[������������������������F�o���O�s�mC\�<3�@
��t��D~��5!~!�"9#�$Z%|%�%-'t(�(�)�-�07�890;~;C�CND�DErHVKlP�P�Q3Z�[�ef�fnr�z{:{���?�9�C�e�����|����>?BFB�BJDHE�E�LN�O�O|R�XeZ>[jj��	���`�I����<�k���j��(�G�ٶV�ι�s�7���h�����_���a���J���e���8�d���_�@�=�]�L�������iA�!�,,.)0�02�23�3�5b7�TE�{��.������������_�������	S	
	^
	;		b	�	�	�	^!	k$	b%	�%	&	�&	�'	6(	�(	;*	+	~,	H-	�-	�/	�2	�3	�4	7	f7	E9	:	�:	�C	F	�F	�K	(P	�P	cQ	�R	�T	/]	a	�a	�b	4k	�v	)w	Az	�~	F�	Ө	<�	q�	ۯ	�	Q�	ʱ	��	�	"�	��	j�	�	��	�	C�	|�	�	 �	�	"�	R�	�	3�	��	��	"�	��	6�	e�	x�	��	�	-�	`�	6�	��	3�	:6 78�9�10J11�12�13�14�%15�)16)*17+18�.19�/20�121�122
223�424i625�626�=271@28�O29*P30R31S32�S33�S34�V35,X36eX37zb38We39g40�g41�h42#i439i44gi45�i46�k47�l48�l49Zm50�m51�n52<p53�t54�w55ly56�57��58��59N�60��61�62[�63�64�65�66҅67�68ݏ69�70z�71�72��73�74��75P�76̟77��78��79\�80��81[�82#�83�84�85W�86�87��88��89K�90^�91Q�92Q�93�94��95��96`�97Z�98v�99��100m�Q
��101�h���38sp�uavO{�|}{~�Ϛ��������٤�a�Χ�Ū.�'�[���8���|�x�]��'�:����������~���$�j�E��N��
�2�L��.�m�a1!�!|#L$z'1-�0�2^3�5=1=�=@>�>o@DLUYU�]�^_�_�a�b�f�r�sKu��0���j�ׇ�3��U�����$���h�ٕ���Z�����v��m�X�d����[��k�(����T���������Z�v�����������)�����_���������������v���������A����
A
�
u	
�	
>

O

)
t
�
q
�
�(
�+
�+
1.
�.
|3
B
�K
Ag
�k
�l
!m
Gn
�o
8q
~s
102t
\u
�u
-v
Ix
�z
�}
l
h�
��
e�
u�
�
�
��
�
(�
��
.�
8�8@B�C�DzF�F�KZN\faCj�k�km�p�uv�v�z�}��H�V�����ڊ��g����(�Ɠ��טԜ}�f��۫��M���˯2�3�̶W��������#�3��s����6�E���
�D�e��=��M�z
?�:0�0�308
9�9�<�A1B]D�H	I�J�JOK�KgN�O�P�f�f�i�pzuyvk~�t�#�Ŋ&��R��`�ʟ�����V��Э*�����A�ǴͶ�������
�}��v������*���N������*�k�������;��AR�a'(�1�7>�>�A�il4o7p�q�q�wjzP|�}�}�~�~Y��;�X�,�n���v��R�d�L���R�����<�!�U�z�������(�����
���������l�B�M������h�����������&�?��f���a����	����7� �"�%�)!5m56D6�7L;�;�B�FG J9K@L6�ݬt�����в;���ȴ��)�������o������c�����{���3���5������������5���103�������q�HTl	�%s�!S$�$�$V%�(�()�2�34,4U4�4-:=�@�D�D�D6g]g�g]hXk�kZn�n�z|W|�}���D�~�ѓ=���F���K����������C�ߨ����I����A�Z�j�ε�����]����:�����������3���:�������������������k��9�c��������P�Q�:U�104DV�U��&)])�) *�*--$/*0�0�4�>AD�DyE�E�E�EwF_NuN<V7X�ZUbib�c�d�dmgeh�hIjq(q�z|3}�ۃ��(�j�؉��������� ����O���105�R�������4��/� ������������z�����	�106T��tT#F&�4�5CA�A�B�SU�V�W�]�c6dNe�u�wyy�|�|d���O�2����=�#�������z�����S�ʛŜ�u����U�s�/������l�����/���c���r�Y������U������,����2�v�������S�����$�������W������:�\:��T&h.f5�5�:i;�<2=(?�?>AYQ^R`T@V�V�V�\]�ae�e�hik�k�kmwy�y(�����d�ß��/���(���s�d�	�W�������,���Z�e��ɼӼ��_�5���L���5���������u����`��������s������������+�����X�]���D�\���|�����X����!��4V�s#�#f(.+�,#2L4^9�9�=�@aA�B�M�QV`�`a�b�dTk�n!p�p&q�X���-�I�ڒ���a���-�d�d�ЛŜ.�ٟ��g�����Ư��ڲ?� ���̶��l�k���@�����D107FX�ZU[H`(b8cd g�gCh�h|i;j�j�lLm�oIp�p0r�r�sRu`vD�y�������~�������R�s�I�K���Ǡ�����D�?�'�֬��5�x��~����н����j���*�[�����q�M�������������[�o�������V>f�
F����:' � >!i#�&�'-(�)�,�-�-�-�-Q6�7K=-A	CpC<E�EpF,G�J�K.LJP4Q�R�R�S�T|Z�Z�[$\�\�_�_�`�a�bke|e�fij�l�q�r�t5v}wx{��ԉ�h� ������R�@���Ι��A���b���-�����޳���������~�������u���������������a���p�+�f���N��������Us����]��� � �%()*:*�*�+,�,�,(-N-�.3/)4j4�489N;�>�?�@zAByHLN@P�P�XP[�\�\108^�`�b�fUg6hvt�x�z�z�|}��P�u�̝�Q�)���&���\���3�����9�������#��C���	����=�a��������Q�-���A�a�y�����~�v�6�a���&�G���x����@>A�AlB�DE9H9J:MYMBN�O'PQ�cMdkfltLtFv�v�v|yX~ς�e��Ն������>���-���>����ڧV��Ы��&��������Z�
���9�D�x�
����L�������}��~�������E��!"S#�%�(|*|+a/�/�02�203K4{48e<(?A�B$EF:FmJRKFLwPEQ109R�S�TV�a�c^d�e�fiKi�j�ns�v|�~n�t�؂
���������x�������ޘ�,�Ԝ���ɟ�'�~�çd���ب٫��ެ�����a���0�ֳ��m�t�S����o�����110�.�z������4�-� b���0111n�f�_��� o%�%-*s3Y4�5�6?8�9�:w;H<�<c?*BLtM�M#N�O>P�cUf�h�j�k�k�m�n�p�r6�����g�a��������]���P�E�J�w�N���C�+��`#�c#kq#�t#112u#Sx#�|#׉#W�#l�#��#-�#�#0�#/�#R�#֙#$�#��#��#s�#��#Ԝ#c�#ա#+�#֣#Ϩ#�#��#�#J�#��#�#��#�#*�#�#a�#{�#j�#)�#A�#��#߻#3�#�#Y�#��#9�#��#{�#=�#L�#R�#��#��#�#P�#��#^�#��#!�#L�#��#I�#��#��#�$�$113$]$�$�
$�$$e$�$y$9$�$L$�$$U!$
$$5)$%+$�+$h,$b-$�-$
8$�9$z:$G;$r<$�=$�P$�S$W$aX$.Y$�Y$�Z$&[$4\$�]$f`$	�${�$��$��$ɮ$ٯ$��$N%%�%�%�	%E%g
%�
%%:%�%%�%�'%�'%�(%�)%-%�-%?.%�.%6%�@%NB%�B%�C%�D%*F%KF%�I%kJ%�L%TM%MO%�O%YQ%R%�U%�U%�V%3`%\a%�c%�j%�j%~%/�%ρ%��%��%�%��%��%
�%:�%��%ĕ%��%E�%X�%w�%/
&�
&-&) &�(&�)&�)&.*&|.&�/&�0&1&�2&
5&�7&�7&g9&�9&�;&�=&�>&�?&�B&C&�C&�E&�K&bN&�N&=P&�Q&0U&�U&�V&�X&d\&�]&�]&ef&'i&hj&�j&�p&�v&114x&ۀ&��&R�&�&/�&A�&��&Þ&�&3�&��&j�&'�'<'R'�'�'�'H115'
'G
'b't'v''u'�'j'M='�='[>'�H'�H'pI'S'^S'�Y'kZ'�Z'��'U�''�'[�'?�'o�'0�'v�'I�'��'{�'&�'��'��'��'��'��'��'��'/�'d�'�(�(7(g(�	(�116(](�(�(�(�(�(�() (,,(o9(�:(�<(�<(�>(G( H(�I(�J(�N(�Q(MR(�R(S(hS(T({U(�Z(b[(�[(E\(�^(�_(�a(�c(q( q(wu((y(�z(v{(?|(�|(�|(�|(_(�(	�(+�(��(N�(��(��(��(��(��(Ϡ(̢(�(T�(�(~�(0�(W�(��(��(�(�(,�(Z�(־(��( �(�( �(��((�(��(~�(�(�(��(J�(�(V�(��(,�(u�(��(&�(��((�(��(9�(��(��(��(>)�)<	)}	)�	)�))6)_)�)�))/))�)�)j )�!)"")�")#)S%)�%)&)	6)�6)�;)�>)C)�C)eq)q)}s)t)ct)�u)�u)�v)�w)x)~x)�x)z)bz)1})_)z)=�)117�)�)U�)!�)1�)�)��)�)��)&�)��)��)S�)��)C�)�)��)��)�)5�)��)Y�)5�)��)E�)*�**�*z*�*y*�**H*�*�*�"*�%*�,*�/*�0*�D*�D*BQ*S*0Z*�Z*d[*te*'f*uf*�f*�g*�g*�i*�j*Ul*�l*118m*Gn*pn*�n*�o*ۡ*��*)�*��*��*�*e+�+�+I+]+�+�+�+:+|+a+]+�+9+�+z+D+�+� +#+Q&+<++e-+�.+�0+U5+	6+�9+0<+m<+=+�>+)@+�@+pB+[C+UG+�G+�G+�I+SJ+�J+nO+AP+�P+�Q+>]+�]+>a+�a++b+Ce+�e+Vf+�f+�f+s+�s+Pt+Xv+-x+Ny+�y+{+�}+D~+j~+�+|�+�+b�+M�+��+��+�+��+��+�+B�+��+��+ؚ+͜+��+��+ڪ+C�+��+׬+f�+��+��+P�+�+�+ܹ+Q�+��+��+h�+8�+T�+n�+��+��+��+��+�+g�+��+��+��+M�+�+��+j�+_�+s�+�+�+
�+c119,�,�
,,,�,�!,�",�,,�.,/,
1,a1,V2,L3,�3,�:,L>,?,@,^A,�G,0H,�H,�K,WU,Nm,[n,un,Eq,yr,�t,�x,�y,�z,�{,w�,�,�,p�,E�,�,�,'�,��,A�,��,�,%�,��,�,��,�,#�,s�,s�,��,j�,L�,Z�,��,P�,m�,��,��,q�,e-5-�-�-%-j-�->'-�'-])-F*-�*-�*-�+-�+-�,-�0-�2-6;-�=-i>-D-�I-jT-TU-�X-#[-r]-a-�-��-|�-E�-c�-+�-��-�-��-�-<�-ܖ-��-<�-Ϙ-�-Q�-�-�-�-_�-�-�-¿-��->�-��-��-{�-&�-=�-Y�-��-�-#�-M�-��-
�-��-b�-��-l�-m�-#.�...`120.M.�.�.').�).�*.�2.$3.E4.5.B.GF.�G.�H.oJ.�J.bP.{V.�W.�X.��.܁.,�.[�.��.'�.�.\�.��.W�.8�.9�.�.}�.��.x�.Ƣ.�.\�.��.�.�.|�.ԭ.Ǯ.d�.��.m�.ٴ.�.Ѷ..�.C�.��.c�.��.z�.��.��.�.0�.��.��.E/\/h /L-/�4/�5/86/7/�7/,8/�9/�N/5U/XU/�]/^/�^/�_/q`/�`/�a/c/�d/+e/�g/�j/n/n/&y/&z/Jz/a�//�/[�/��/ �/�/��/��/)�/�/}�/1�/��/u�/'�/�/�/��/E�/��//�/��/X�/{�/��/��/�/n�/��/