Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00030_00000_shuffled.ds.index98 linesDownload Raw Back to root
1�W{f�	�2�?C��~�K�A�!�;!�#�$<(�,1}7��`L3M NP1QRW�Wj^ag�gk�w�}�����\���U�	���7��r�������������6�S�����d�h�,���0���b�W��B8u J @!�#	%�%�&�(�0�q�v�w�x-y�{�����]�w���x�S��;�7�T��-�����!��������������������������[��������\���'�&�P���X����	���>�t !�#w$s%6-�.�6�7:�:(=�?VA D�D_J�J)KJTJY!]�j�kun�nfo3x�x!y�y�{�|}~wK�z�Ƅ��:���(�؛]�:���S�ǟ~���d�i�J�Ӿ����.����������1�����*�%��B� �@�R�l�����R��������6���L������������>�j�k�����W���~�	3r4��U!�"�%L(�)�,�,.k3�6�7W8�8�:�<�>>BRD�D!EhI�IZJ�JJK�K,M�NOc�c�e.f�f_{M}~�~�6���������τQ�������i�]��a�����֝���$��+�C�����ȫ����ݯ3�����L�u������������#�:�'=�u*�*�+C-.=.�v�w�{|D��:���#�ʋ!����s���X����A�λ0���޾N�����������$��F���N�=����k���=��@	P�e��n�H�7�R��' >!�!�!#+#�#�+,�,?/�/Q0�0�7:8�9�:�@D^D}D�D�G�HI6I���K��� ����=�<������Q�����v�N�������W[���5�H�}�m� !A"}#�&`cd)eFeXe�eguhKi�jla��X�ِ��m����ܱ#�������:�t�*������<�������W�_�q�c���f���������Y����O|m$�$�&�'e2�2V8):_:a;�=�@�A�B~C�CD2E6G5Q4S�SHT�UV�V�V�W�Z1�K����H�����m�����L�n�����{�����6������(���O�	9		�		m	b	i
	�	�	�	�	�	�	�	#	n	�	%	&	�&	�)	�*	�,	�-	21	:3	�4	5	A8	�C	�C	�H	yI	=J	�J	FL	ZP	{Q	nS	�S	�W	CX	oX	�l	�m	�	��	��	ɉ	��	#�	\�	7�	j�	٠	G�	�	��	!�	��	ٲ	��	R�	γ	%�	�	��	��	B�	��	�	�	�	��	�	�	�	��	+�	��	9�	w�	��	��	Y�	��	��	?�	��	��	��	j�	Y�	��	T�	��	�	36(78K9#10C$11�$12�$13�(14)15I*16<,17�,18519�520#>21^C22�D23[E24MI25FJ26�J27�J28�K29L30O31�O32�Q33�R34SS35�S36\T37�T38�Z39\[405^41{_42�_43
`44�`45�a468b47:d48�f49�g50�h51i52k53�l54�l55Up56:q57@s58�v59�w603x61�x62�x63\}64�}65~66_~67�68I�69��70I�71�F�G$R4W�WXX([x[�[W^f^�^�_aiDi�i�jLk�klOm�m��
����3�ۘ%�7����ĝ5�"�äS������L��q�	�����ݹV�4�0�W��T������)���E��E�����������V�������D_��r�	�72Ia< X � S"�#-&%)[)*�*�-�/�/w3!4~4i8�8�A�AB~C�E�I)N�NP*P7PR�RS�SAX�X�Z�^�^�_BmKn�}��h���������Y���G�����/�7
,
�
;



l
�
D
zI
�O
QQ
�Q
�`
a
?d
�f
�g
i
fi
'l
�n
�o
ڍ
�
��
S�
]�
ʝ
�
'�
ܠ
ݫ
H�
~�
��
��
|�
��

�
u�
ͺ
��
��
:�
ɽ
��
�
��
�
��
W�
��
��
��
��
\�
�
�
��
��
��
��
��
��
J�
��
XV��A�n�y�����|���h������_���:�I��i+W�j�7!i!�(,.�;�<�<d=�=?&A�A�GQ`Q�Q�Q�T�U�V�W)X`X�X|Z\�^�_vbe�e5fk�o	q���|�}������k�ş4�ק*�������(�	�2�ʾM�P����5���b�t���!�H�����4�,�b�@�����/�����%���������v�6y �!�#~'�-^.�2V3
44+6�6�7�8�8<l<=>�DEFjG9I�Q�R4UU�X�Y�Z/[�c�d�d�f�f�hfj�kal�m�n!oEp`pq�s t�uev�v%z�z�zt|�|�|�~̂ˆ��<�މ�Ȍ���Ȏ�̏��ړ4�U�͖�������D�l���P�����!���h���q����������7351�
�_W�U������!�$�%.&['�'.�>�@zC6O�O@P]T�T�U�|Z}�}���������Z�W�<�G�ִͶs���Էa����%���������O���+�������:�V�����������@"m���74W��	| #T%�&a(�()o*�2�306Y<�<9?�@A�O4PHRxS�TVeW(YmZ�['\1`p|s�xJ�}����s�*�w���>�����75�S�~�0�O���ݶ76�и���<�T�r�Q���4�J���;�l�������������z�����w���W�77�����E�~���D�6�H78f79�80�� 
�
�
(H,� �E��a � k)�)*�*+�,-�1�1i3�4x6�7G8�9:N:<�>`FTG�^qa�c>gh�i�i�j�t�t�u.wʅ	�Z������+��Ï��^���	����������a���ƫo�����ȹi�������Z���/�������]�s�P�����������m�������E��*��z8	�	%81^82a��0������83����>���q�r�������<���W����W���������G�;�p��ѹջ����*�������l���G�����<���2����p�������#�G�A�a���&��s���_4H��$!="�"G$�%�'A*P3(4�4�4<8U8C9�:�:9;�;�<=)?�?_AsB�C;DnK�MiN�ODR�RlmLo:prqs�s=u�u8x=|@~�;���f�������-�����ɶ���7�G�)���ѿe�N�������������o���l�3������������������O���O���������Z�n�p���J���R���?��`�O��84&/��g���E�C�%')W)�.�/�3�9�:;-ICL�M�ObS�S�U�V?Y�Z#\Q]�_�`0a85b�d�eVf>���f�k���*�����̞
��-�6����h�&�;�a���?�O���_��������W���<��������U�-�
%�u��3;4?�E�i2jFj�j�w�y z.}��.���>�f�T�����������H�����6���,����:�����86���O�b�����-�|�!"�"[(�(+�g�hBj k�loyr\t�t�t|�n�a�ё9�h�L�ء֣����R��������P���'���v����������^��h�~��������������o��������C87��{�e� �"M#�#�)�-1�1S2�3�3�5N6�6:7�9�9�CI�I'OYRkS>U�W�XYZ�Z-[�[F]*`e`�a.����?�0�Z��6�a��#���^��0�(�~��@����0���0������d��'��}�����?�j������I�f�����)��T7���b(�(*Y+1�7�88��3
�
5�H�N�B	%�%<&�&	)2)�)m,22�34�4^5�6�6k9�9�;B>c@�EN�U�UV"XMX�X�Y5_	`=`;a�b�bcmefkl�l+m�m*o�o�xyXz4{7�߃\��������K�����"���	��3�I�B�XW(X�X�X�Y��ń��f���f���R�n�;���Û��G���y�*���7����3�������d�P���j�|
�
#(%)�*�+,x-�.�0�0�1�1x2,3�5�k^l�m�p���]�Z���B�ъ��'���|�k��������x����R�Z�h���М�����ͧ��ݨ#����T�K�����'�������{���P M  ^ � 6 c ; 9 � � <: �= �@ aB D @E �F G �G �G �I �J �J �M �M P JR HT \ �c �d �e �f 6j Tj �j =o �p �p �x �y �� � �� 4� @� �� J� �� � A� �� 0� 4� � �� �� ڨ $� L� Ъ �� � �� .� �� >� E� [� R� Y� c� �� C� �� �� � � 4� �� � N� n� �� 7� �� �� �� � O� �� -� � �� 5� �� -� �� �� &� �� )� �� %� �� X!!s!� !�!!�%!�*!+!;+!�T!X!AZ!ka!�a!�b!�e!f!�f!�p!q!r!�r!Ys!t!�t!\v!"x!�y!Nz!${!Ȅ!0�!8�!n�!�!m�!��!��!��!Y�!��!O�!�!L�!��!�!m�!f�!Q�!h�!�!a�!��!��!H�!89�!�!m�!��!Z�!�!s�!��!��!��!��!��!��!��!��!��!D�!�!��!��!��!L�!,�!;�!��!
"�"5"�"y"z"�"�"'"$"@"�!"""a""�."9/"[0"42"�7"�C"F"iG"G"JH"�H"	J"�L"�N"ZR"�R"S"zV"�V"�\"�]"�^"`"a`"Ab"�b"d"�q"�r"أ"��"�"3�"O�"��"D�"��"_�"�"}�"K�"��"��"��"��"�":�"U�" �"@�"�"��"
�"`�"`�"��"�##p#E	#S#-#�#`#�#�G#�G#FQ#�S#qV#GX#�X#LZ#4`#ca#nm#o#K�#��#W�#��#��#�#'�#��#�#t�#��#	�#��#T�#��#�#[$�$o$�$�	$�90$;$j$$�$$K$d$91H$�H$}I$lJ$wL$�L$%M$ܢ$�$ϥ$��$��$��$��$%�$&�$_�$��$ж$~�$l�$��$��$�$�$K�$��$'�$��$k�$8�$[�$,�$��$��$A�$��$X�$�%�%�%�%�%K%�%�%`%�%�%h&%09%�9%c;%�;%�=%�?%@%�A%�D%XH%�H%I%HI%SL%M%zM%�N%�N%�O%R%�S%\%�]%�]%(^%�^%�d%e%ue%`f%g%6�%��%M�%�%	�%g�%��%��%��% �%,�%��%��%-�%��%��%��%B�%;&�&b&�&4	&�92&	&�&�&t&�&2&�&&)&&U&�&j&^&�&Z&&�&&'&�*&+&�-&�.&2/&3&4&d6&�6&>&A&:A&IA&�A&�F&�G&�G&AH&�Q&-R&u[&�^&xa&�a&Zb&Sk&%l&al&�u&�~&&�&��&��&��&��&<�&k�&��&(�&��&��&��&b�&�&��&S�&��&)�&��&��&��&��&s�&q�&��&��&8�&�&s�&��&!�&{�&��&/�&��&!�&��&�&4�&O�&Y�&��&V�)��)��)��)��)�)��)��)��)��),�)��)��)*&*l*p*v93*�94*�*:*�*>*?*c?*�?*�V*"[*`*s`*�g*-h*`h*j*[j*�j*�k*%l*�l*Zm*�n*�o*�r*�v*	w*Mx*jx*�*��*��*�*T�*#�*”*>�*(�*��*�*��*
�*��*��*��*�*;�*��*��*[�*��*%�*��*-�*��*��*��*2�*��*/�*��*S�*|�*��*�*w�*�+�+c+�++�	+	+c+�++�.+4/+^2+_3+�4+^5+2=+Y?+'E+:F+mK+�Q+�X+�[+�]+�]+�_+?c+d+�h+ m+Xm+Pp+[q+�r+6�+Z�+�+�+��+��+:�+��+
�+�+��+��+_�+��+Ƚ+��+P�+:�+^�+�+��+�+B�+K�+�+z�+��+��+��+�+��+�,�,�,�,^,z,`,\,�,�,�,!,�!,�",%,&,,-,R.,�.,W/,�/,�2,�2,6,�A,�C,AG,�H,�Q,QU,�`,%c,�c,�c,;�,a�,T�,̧,��,��,�,/�,e�,r�,4�,۹,*�,�,j�,I�,��,q�,B�,j�,��,E�,{�,��,��,,�,��,.�,��,u�,��,��,��,>�,6�,\�,�-�-�-�-�95-�96-�-.-�-|-�-�--R)-�*-,-x1-�2-3-(3-�6-�6-8-38-�8-G-!M-O-�Q-i-(i-vo-�p-
q-�v-M-P�-��-��-L�-҂-݂-Z�-��-��-J�-Ֆ-��-x�-��-z�-�-��-N�-��-ķ-2�-�-��-ھ-��-�-3�-A�-�-��-1�-��-��-�-�-��-��-��-1�-V�-��-��-Q�-��-b�-6�-��-��-97�-G�-�-B�-�.�.�.�.�..�.�.�	.�98.	.X
.�
.�.�.(.�.+.�.v..�.� .� .>%.r%. &.'.).�G.�H.�I.yJ.�L.�L.�M.N.SN.fc.�c.�d.�e.pf.�g.o.r.�r.�s.Ht.�t.�v.5x.Vx.w.�.�.'�.P�.$�.�.H�.E�.�.��.��.%�.��./�.[�.�.��.�.r�.ب.�.�.7�.;�.-�.�.#�.��.��.!�.��.��.��.�.|�.��.r�.��.��.d�.��.�.s�.��.^�.F�.��.��.��.��.�.m�.��.�/G/u/�/�/�/S/./u/�/�!/8"/�"/:/rA/8B/�B/
G/G/�G/KH/>J/0M/�T/\/�\/�_/.`/�`/�a/�i/
k/9l/�r/Ys/is/�u/Dv/uw/�|/P/(�/�/��/U�/��/��/,�/��/U�/��/�/��/ƨ/�/w�/��/X�/��/h�/��/��/�/w�/��/��/Y�/f�/p�/��/��/.�/��/t�/s�/��/]�/��/�/��/R�/y�/�/'�/R�/��/��/��/X�/��/��/K�/�/S�/��/��/��/�0	0J0�0�0�0�0r'0�'0�)0'*0c*0�*0�,0�/0<0010�103080�;0�<0