Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00103_00000_shuffled.ds.index24 linesDownload Raw Back to root
1M2f	�3�4>�6h�����R>}?�?�H�K�M-N�PNQ�~t�s���/�Dž��x����h���>�n����ٖ���ٙE�ğ�X����6�P���������2�{����������:���u�m���\���,�������N�k������%^+�+{-�-�-
.�/�/>1�2�5�:�H.IEOTQRS�S]b�fhick�kot?�����N�����Ն��������t�ܮ	��<������*�m�H���^�n�C�4���G������9�������L��,\,�/�0W233m;�>A?!ATCQDZQ�Q>S�S;WgY`m�mnn"st�u&v�v�y�zƀV�����׌��<�����O�������w�.@�@A�B�EM�O�OgT	U�V�W�X�Y;�ˀe�i����Ԍ��ԍ2���ܓ���֟���-�Ϥ�����P�+��ٯ��\�f���b����a��:�����(�{�K���������n�8�
5d6��2�i�|
 u&�&('t'E(.<�<@d@B�B3C�D�K�KN�P�R�STU�U\W�X�X8Y�\<]b]�]�dge�fhg�h�h	jlPoKq7:�#��X�����������������m�����Z�Ȳ��)�˹��V���r���q��$��~���'�l���]�#�������P���9�*�D�����$�v�����Gb{"�&l(�-~.�.r/�/�1275�7�7�B�C�C*D�F�G�G�f9g�g�h�im�r;t3w�w^x�yz�z�{�}q~&���ʀv�̈����y���ɝ���]�Ӫ��]�	����
����������������j�������"���2���7�����i����L	k	�8�9k��
�t��[��&e'�)H/�1~205@5�5J9�9�9�:/<=�="@�A�DJBR�R�U0W~d9fhj�jMk�k�r7x8zvz�z}~Q�1���p�������&���Ӝ�������ͪ�(�~���f���l�ֲ��b�ij���������?��n�����6�6����u���H�n��[�[Saka�aGh�h�h i�i2k�l6n�n�R��T�����>��ޕ˞����Ƣ	���Ѥ�˩����ǯ������<���������0�����R�5�����47
	�	�.�/�/5�78I8|8=D�KMQM�OBPQXU�U2V|Y�YH[�[d\%_[c�e�f
i7i@jyj�j6k�kXl�lQq�vIy����e����A�P�׍�_�,�Ҕ���B���v����A��ݭ+���5�Y������^����Y�O���Q����Q����U�U�\�������
4
�
�
�


�

f
�
|


q$
�$
1)
�)
�*
\-
o/
�0
e2
�2
�7
8
o8
�9
�:
�;
,=
6>
�>
H?
F
�H
�I
�J
DK
�V
W
�W
2Y
�Y
�[
w^
c
�d
�e
g
�i
�u
�y
$z
{
�{
~
�~
-
��
��
��
��
3�
{�
��
��
��
+�
ː
�
��
�
@�
U�
y�
;�
�
��
Q�
��
j�
��
��
C�
��
a�
��
��
��
��
��
N�
��
��
g�
/�
��
�
N�;
�B�^Gfl�l mgp`q_v�w{2���.�/������������C�q�
����P�����������������|�����A������L�6�10�����8'"(*�*�0K1�1(3[4W6+9�;0@	A�B#EtE�FGH5HOH�P�Q�R�e�gfs*�����Ō�ٍǎ&�;���f�|���L�������������l����������+�O�M�Ծ������Y���\���D�K�/����m�&���i�����S���.���������\�T2�
��K�9��b,$6'CxE�GdHlL�LgN�NdOPS0YZ�Z'[a�cewxL{�{�|}�~�y�������i�����ɟ͠9�����q��~���&��*�Q����?�׳��,���έ��_�²y��_�{�˿������P�G�����lq-s[t{|_|���E�F�����"�+�f�_����11����ٷ��A�Z�Խ���پ������{�C�����9�R�����2���a�*�>���l�������-�V���������]����P��$3&�&G(e+#2Q2l5l6P78�9[;?@!AnA�H*IjIJ%L3MIOjOVQSSuT�TV�f�h�p�y�yb���b���ů�������������������}�I���������.����I�a���'�o�d����W���.��
�
V�� t�}�Y��O$%T).*�=�C12E�H�VZXJ`Wb�h�hk>mlo�o�o�pfq4rtat�tuqv;y�y�|F}Q�����\�e��3�(�܇���8���I�&���5�����������g���������'�S���w���!��13�14��K�d�0W�Z�\�\]|^%_�_=a�a}c;d�dkh�t�v�w.x�x�yyz�zx�s�‘�c�<���Г;�������	�c�հ[��������+��k����=�&�������"�J�E�q���$����t�150��� K"�1\2.4^4s5�5O8�8�9�<4?n?�?�?BE�Yic�c^d6e�e�m�w�w�x�y��7���V���F�p������]���ްa���w�A���϶�����`�16�1����\���]�z�l�Y���=���;�P��X���0��^���	�17�18
l��xO �%#'�'f(.)Z+�+�,Q�RFU�V�XY�YgZ
d�fgn�no�sgt8vLv�v�ybz/{J�Ҙ��(�h���v�ț&�^�d��l����c�ۭ;�R��@������m�������G���%�����#�M�G��������-��ԡ&�����+�9�U����y���Ǽ��u���;�����$�k�������������z����3���
������
���%V&�'�)�)./�2�BpDE:E�EF	GYG�G^JKFN�T�Z�[Rc�cn���f�:����u��1�¦�b�����h�޳��-�f��%	�$<23I���#�$~&�'�0>1�2�EdF�GU\�������$�B���S�ҷP���ż�\�+���^�@����A�J���� �h������T�B�s�����o�8��#n0�133�3�9�;==�=�>_?yA�D�J�LMLM�M�V�[]l^�^ę1�P�K�ˠG����l�l�٩:�����X�/�s�X��&�>�����=���U���	���N�"���^���)�e���������g�5�z	(VI
�8!8�8�8�:�:�;�;?(@�A�CE�L�M�OYP�_�`'agh<i�i�kmzO{�~�~����А����l�o�أ��إ��l���'��������.�e�O�G�����������|�5�����Y�\�'�p	�	X�q�y�>����"�#�%o.�.'12�2�3�5798<e>Z@�@DgQ,R�S<T)a�ablr���������X�������H���V���)�V��!
M
����1P"�5�p��� �#�#�1�2�3g7�7�84STT�U�W�p�piqL��q�������.�m�����<�ij��ٴѸ���}����l�H�v���+����X�A��q���<�|�������i�o�P���t���+�'�������]�����F��D��F�S�W`Z*[�[q]�^B`�a$c�h�i l�l=x�x�ypz�z�{v}��l ' �19 ! � y
  l 	 � � � � � � � v   �  C! �! c" t" 9& �, 5- �. j0 �1 s3 �4 |5 �5 l7 T9 G? (c �c �c d qd !f �i �j [n ʞ I� &� )� �� �� �� a� }� �� �� e� V� �� �� �� �� �� 20� M!,!r!�! !t	!�	!�!6&!}&!�(!�)!�,!U-!�-!R0!�9!:>!j>!U?!�?!�@!21A!FA!:P!FQ!wV!U\!#]!)^!�^!b!)b!�c!Ed!�d!Df!jh!hj!�t!/v!�v!�w!�{!�|!�|!�!@�!ą!��!��!~�!��!ƨ!��!��!7"29"�9"�<"�="g>"�G"I"PI"L"�N"`O"�O"�O"�O"tP"�S"�V"tW"�W"�X"hY"=Z"�]"�f"Yg"Fh""i"�j"k"Rl"n"Fp":q"�q"�r"bs"Zu"�u"kv"�v"|"'}"�}"�"0�"�"τ"x�"��"2�"��"��"��"�"E�"ˡ",�""�"Ȩ"��"��"�"��"*�"L�"�"��"�"(�"L�"��"��"��">�"~�"�"5�"��"��"e�"0�"��"��"W�"��",�"��"��"��"��"`�"U�"#q###�#L#�
##h#|#�#�#!8#UD#�D#�N#�Z#d#9r#�r#�s#w#�w#�z#�{#�#d�#��#��#��#��#"�#��#�#N�#x�#��#��#�#מ#�#K�#۫#��#�#e�#�#��#�#��#��#�#2�#B�#/�#(�#��#h�#S�#Z�#��#�#��#��#��#)�#"�#�#��#��#��#��#��#��#&�#��#}�#j�#��#��#��#�$�$�$�	$�$$$r!$C"$�"$#$68$�8$�8$09$K9$:$�;$d=$�=$%?$A$�A$RB$�E$�F$L$L$YL$M$�N$O$cO$�Q$�R$�R$(W$�Y$�Z$W[$�[$�b$�b$8c$%e$�f$�g$�h$�k$Xm$�o$p$Oq$�q$<r$�s$�t$�{$�$�$n�$b�$��$�$4�$ߏ$M�$L�$��$Ț$��$-�$Z�$�$��$��$J�$3�$��$"�${�$�$��$+�$��$�$n�$��$9�$��$W�$��$)�$�%%a%<	%�	%�%�%6%-&%�'%�)%	-%�-%b.%�<%�C%gD%QF%LL%�L%�M%�R%@S%�T%<V%�W%�X%`Y%�Z%+[%y\%�]%F^%da%$h%�j%q%�x%�y%�z%5�%��%�%G�%{�%,�%j�%@�%\�%;�%��%��%K�%՞%��%��%ڣ%�%��%_�%��%��%�%n�%��%�%��%9�%��%�%��%��%��%��%j�%��%��%~�%d�%�%��%��%�%��%�%��%��%{�%I�%��%a�%��%A�%�&�&=&�&r&^&G&�&:&�&�&�&@"&�#&Q$&z&&(&�)&�+&J,&p.&�/&X0&l0&�1&k5&f?&G&CJ&�J&�J&#K&|K&6L&�L&�M&�N&O&HT&�X&%Y&Z&l[&*_&�a&$c&�c&d&uh&�i&�)C�)"�)��)��)!�)�)±)'�)ط)��)��)�)y�)+�))�)��)��)M�)��)��)��)��)$�)=�)�)��)��)�)��)�)9�)��)�)o�)b�)1�)�){�)�*Q*<*�*�22*T*�*k*5*�*�*�*"*�"*%%*�%*�-*�;*o<*�A*9G*�G*=M*/O*�R*�T*�W*�n*lr*s*{s*+t*�t*w�*��*‡*	�*��*މ*x�*�*c�*ݍ*)�*��*+�*m�*��*,�*��*t�*��*}�*͟*�*��*��*}�*�*)�*ͪ*��*u�*��*>�*9�*`�*z�*r�*��*��*��*"�*l�*��*�+�+�+�+)+�+�	++%+�+�+�++�+T+�+@+W0++6+��+%�+��+�+Ɵ+��+ަ+�+��+�+��+\�+�+��+]�+�+��+��+��+��+ؽ+I�+�+.�+7�+;�+��+Q�+��+��+!�+��+��+`�+&�+��+��+)�+T�+��+�+?�+��+��+��+��+��+t�+��+R�+��+d�+P�+,8,�,,W,�,,�
,�,�,,�,�,%,�,d,�,k,�,�!,�$,�$,v',�(,4.,d.,�.,.3,m4,/6,R8,�8,�8,9,z9,�:,�;,�<,@,�A,�^,�_,q,~q,�q,�t,�t,Yu,�u,#v,��/u�/��/��/�/-�/��/��/��/��/23�/��/�/�/8�/��/��/�/q�0��0��0��0O�0�0u�0��0�0ػ0��0��0f�0K�02�0�0*�0n�0��0U�0�0f�0\�0��0��0�0��0�1X1�1$1F1i1. 1�"1%#1X#1�$1/)1+1�-1/1I11�11_21�21?1�?1kK1�L1YP1[R1�W1�\1Y]1Hb1�c1�e1nk1m1�n1�q1�w1�y1�{1|1)}1�1_�1��1!�1a�1��1��1��1�1��1ų1Q�1��1��1��1��1��1��1Y�1�1!�1��1k�1��1��1�1��1]�1��1I�1g�1t�1t�1��1m�1��1(�1��1N	22�2�2f2�2L02�02(12�82�R2�V2TW24X2nX2�X2Q[2�h2�h2�i2rj2 m2�m224o2+q2�s2ft2�v2(x2#2f�2��2#�2σ2�2h�2��2o�2��2��2�2�2��2�2a�2*�2ܣ2�2'�2ܪ25�2��2K�2�2��2�2l�2��2�2γ2��2Զ23�2T�2޷2/�2��2�2q�2��2��2`�2 �2X�2��2�2��2L�2��2��2��2��2��2F�2�2_�2?3"3�3$3U3�3�
3�33�33�3s33�33i3�3Z3�3�"3�$3�)31*31-3.03�03y13�13�13123*8393�A3�C3CE3G3�H3)v3�v3�x3��3�3��3T�3��3��3�3u�3�3��3��3%�3p�3o�3,�3m�3:�3��3B�3�3A�3m�3?�3S�3y�3��34�3��3O�3��3]�3��3��3��3��3��3��3u�3�444z4�4�4�4j44�4;	4�44g44B4�4�44S4>(4�(4�,4-4�.4�=4QC4IJ4�K4hV4W4�[4�\4{h4�t4y4ny4�4m�4ނ4�4�4z�4�4#�4a�4��4��4:�4y�4<�4`�44�4��4X�4p�4��4H�4S�4u�4��4��4:�4��45�4��4��4\�4��4P�4��4��4��4"�4��4�4��4��4��4"5�5�5E5�5J5�	5	5�5(5R5�5|5�5Q5�5|5%5O5�5J5�5v+5�+5t,5�-5�.5�/5}?5>@5�@5�A5�B5C5RE5�E5�E5�F5)G5�H5~M5�M5�O5OQ5�Q5U5V5�X5OY5Kq5\q5�r5ry5�{5j|5�|5t51�5�5