Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00013_00000_shuffled.ds.index91 linesDownload Raw Back to root
1
�Z�k��V�< x$�%�&�&(W)",(.D0	1Y1�1d2b3�5�6�7�9<<0=�>1?E?�AF_F�GXJ[L�N�Q�R ST�T=ab�b�b�b�fuo�o4s<t�t$u1~�G�u�_������P����~�Ȑ���1�����������d���y�����V�5���&�������������o���h����������2��l�����������$b%	&�1�4z5�e~g�g�h�i'j�j��_������|�ڌ��קP���B�/���ܲи���_������w���c��������:�X����#��Q�����!���>���6����������q��`+�,{/0�0�0�24Y4�4 535�5�:;�;�<�<a>A=A�A�LN�Q�S�V�[\�a�b�de�e�fk{p-u2v�x�y{Z{>|�|��·���&�ơݣ�����˸��)�^�ǽm�ǿ����u�$�-���V��������������v���j���	�F���/�(���r��l��8�QNT�UzZ�\�]`�1���e�.�2�g�����x�^��k�δ޴/��k���Խ׾���������J�������y�a��������h���F� �B�����������L�����K���
�>�2%���IC'�'R(�(�+�+�,{-.�0'1�1�3�6C7�BrESH�X>[�[=_w_�a�b`c/gl�l�o qTq�r�ret�t5�a�өe�c�:�l�ܲ9������n�|����y���w������۟���I�A�߷����Q�@�9�����V�z�������G�D�'����k�"��	�m�������}��n
�
c�V������c!,V,�,�I�LMO�PKQ�R3U<c�c,g�h$ixi�i܌y���`�������ϻ	��	�	o�	Z�	�	>�	V�	�	E�	��	��	��	��	��	��	"�	�	��	*�	��	��	!�	��	��	�	!�	��	�	B�	4�56�7�8
9J
10�
11�
12;13R14�15;16�17�18P419�720o>21�C22DH23{H24�O25�R26.T272U28�^29�e30r31�r32s�33��34�35A�36d�37��38D�39��40٫41��42��43��44��45:�46��47��48��497�50�51s�52@�53��54E�55��56��57D�58��59,�60��61��62��63��64t�65X�66��671�68z�69.�70��71��725�H�	�	�73Jb"�"�$B%;'(�)�,�4�7�OQ7R�U�WtXgY�Y�ZR[�\�afb�deMevhv�wр�=�����҉ ��G���������������_�����B�����k� ���:�T�(�74#�����2� !%�)�-C=�>�KpM\O�OfST4V�V�W�\PbhPil�l�l�nq[q,x�y�zD�I�D���������������������������]��
p
�
�
.-
W0
^5
.C
�C
9F
)G
;K
PL
%Q
�Z
!\
�b
pc
�d
@k
}p
�s
*u
�{
�{
^}
�
��
k�
T�
�
�
6�
��
˘
k�
�

�
t�
c�
��
��
\�
��
��
��
^�
6�
��
�
��
��
z�
a�
�
s�
O � �-a?�@�M6R\S�S�T`V	W\(]cke f%hm�nZo;p�q�r�rGxyDy�|}J�C�����O���5�A�@���b�N���u���!^"75>�`s���3��Q"}"B%�%M')�.y1�2�3�4�4]5�6�7�9:<�<Z=>5?�?�@'P�PYRU2X�X�X[4]�]�_�c�dq�t�v�vAw�w����O�‘H����,j-n:Q<�<76J�JKdM�N�O@P�Q2S�W"YjY�Y=Z�Z[�\�m�r{�}~��g��D���L���:�g�Ǩ�P����n�R���:�\�d���)��l����	�'�|���2���f�7�*�'�d������9���Kn�,OD�DM5MvMR�RgSTPY�]�_@`�f�t���Ԡ^����C�Ʈ4���r���y���"��������������U�F������B���������.���$KL6F���لT������<�f�ʓ�{��F�z��������,���(�F���������*�&���������s�t��A�����Q��3� .'�*+�+B./X/�0�1h8%=�?�A�CE1F{F�GwH�KFQlRSmS�T�X�]�_Fk�kCl�m"oLpiu.xEy�y�{�~7�"�77�փ�������t�A�ЏA�ۑ��g���ϡ����������.�/��P�t���˴���8����p������������R�S���9�����p�����H����!8#C%&�&S'�(�(!*�+�338�839t9�<�=�>�>;@A�B�CKDzG�G HJ�OWP�P*R�S�T�TU2Vgc�cd>j�q�tv$w�y�y�4�I���X�j�[������E�q�������;���)���(����������I�B�F���������E��������.�!�X�>�>;��78�}<L�e��]K�"�>�>$?�@<A�A�B�D�D�DbE,HUH9I]J5LN�O.P�R�S	T�U�V;W�X�Y�Z|[79]�]�h�jMlgx�y�z-}\}>��^�3�#�ҧm����_���P���h�������F�9�h���������Y�$�[���������.�#�d��&T_�]!�'80��[��yL{< � � �!)"#�#*$�$'+(z(�;�JL�L�Q�QdU![�[5g�gjm5n`o�ov/w�w�yM�}�ގ��Ɠ�$�K��w���կG�R�A����L�W��������~�����
�2���������O�`�O�h���;�������m��7�@�c&-!m!�'L)+ -]=�=DIIME\�g�k�klPnzn5}t����Z����S��+�����ס���|�����0�мٽ�F�
���0�q�#���(���c�_�K$L!"�%w&*W*�*&.�1�2�2X>�>%FO^�_v`�`na=b�q�r�uDyz&{Y{�{���Մх<�x�;���f���7�
�������ñ5���s���T�}���2�3�^�1����b���7���v���*�����n���Y(I-/2/?�@�CQD�jjmi�|���*���O�Z�}�����^�i���{���&�[���C�����x�����Ui/1��81���m� �!""�(Z)P,Y4h5G9�:F=�?�@�A�A>DF�F�G;KL;O�OP�Q�R�TYU�`iaOx���� �g�=��Q�1��k�ɗ0�%���G����§��p����"��)�������@�������\�l�����T�������b�[  q l �
 h � � &  qG �G �N �P �S T �U \ px $y 8y z { �| 6� X� f� x� � "� �� � X� �� $� � �� �� �� �� �� ?� �� �� �� �� �� �� v� �� �!�!�!Y!�!�!c!:!�!m!�!�!I$!(&!�(!�)!�/!@0!K1!�2!lC!�C!E!_J!xL!eS!�S!�W!�a!Ed!�|!;~!�!S�!��!9�!o�!j�!A�!��!0�!X�!c�!��!<�!i�!��!��!��!�!>�!T�!d�!6�!��!��!��!��!��!z�!��!,�!��!G�!�!��!��!`�!��!��!��!"�!��!��!��!��!�!��!;"�""�
","�"�"""�""j%";'"�'"@("%1"�1"U6"�6"�7"n8"�9":"~;"�F"FG"pI"mK"UM"�M",N"�O")R"�S"aV"�V"VW"WX"�X"Z"�Z"�]"Ol"�q"?r"�w"{"{{"-~"ƀ"�"��">�"c�"f�"7�"ԉ"S�"�"M�"��"O�"��"�"_�"��"3�"~�"��"��"C#r#�#]	#y#�#�#�#;##V##�#�#J!#c!#�"#�.#V0#-1#|1#�2#s3#�5#�9#�h#vo#�o#0p#�r#Su#�u#�v#�w#�#ʞ#�#5�#c�#�#i�#�#$�#��#Z�#�#=�#��#��#;�#��#A�#6�#��#��#I�#��#�#M�#��#��#��#��#Q�#��#��#�#��#��#n$�$�82$?$�$W$~
$$V$m$�$$$u$�$"$�#$�($�2$�4$]6$�7$b8$2:$^h$i$�m$�n$dp$�z$�|$�~$E$��$��$t�$
�$�$�$��$1�$��$��$>�$ݖ$�$�$j�$|�$��$��${�$��$��$��$��$��$4�$��$��$u�$��$u�$w�$��$>�$<�$�$��$,�$?�$�%�%83	%�%-%Q%_%�%�%�g%&h%i%k%�k%�l%m%zm%�p%�q%hr%s%�t%u%�x%_y%�}%�%�%c�%߆%�%T�%-�%r�%��%:�%n�%��%%�%�%��%B�%��%��%�%��%B�%�%��%��%��%��%�%��%t�%��%E�%��%"�%W�%�%��%��%m�%��%S�%��%.�%p�%��%�%��%��%T�%@&^&'&�&[&�&�&�&�&E&(&�&a&�&�'&�*&�+&�,&�-&�.&�/&�0&}2&�5&�A&VB&�]&�]&e^&ya&�a&�a&�c&Ne&sg&�i&ym&�q&t&-t&;y&z&��&	�&Q�&�&C�&��&X�&Z�&(�&C�&)�&ؚ&+�&	�&L�&Ԡ&��&��&��&+�&é&߫&T�&=�&C�&��&��&�&�&-�&�5'�7'8'�9'�:'�<'�='�@'2F'�F'zG'�G'�H'	I'YJ'�J'.O'�O'IP'&Q'�Q'��'�'#�'W�'��'�'e�'��'��'q�'-�'��'�'�'9�'�'d�'}�'�'_�'$�'��'��'��'8�'��'�'84�'�'��'p�'��'1�'L�'��'��'��'�'��'�((�(�(�(((,	(785(S(l
((&((@)('*(+,(�,(&-(,7(i:(G;(�;(=(�>(�?(`@(�@($E(�E(�F(�G(L(�M(;O(�U(0V(�V(�Y(QZ(�b(�c(fd(�p(Rq(r(�r(�v(w(�w(x({(�{(��(�(2�(B�(�(W�(��(�(�(��(�([�(&�(86�(�(u�(�(ů(��(��("�(��(��(��(��(��(��(��(t�(��(��(��(l�(��(��(�(	�(��()�)))�)?
)Y
)�
)�
))�)�)8)F)@)�)�")�")�$)�*)+)9+),)�2)�4)�6)7)�7)<8)?)�?)�B)�G)�H)�I)X))Y)�[)�])�^)	g)bi)
l)�m)�z)7{)*})G�)��)<�)+�)r�).�)�)�)�)f�)�)7�)y�)ő)0�)�)ě)��)�)�);�)(�)R�)Ң)Q�)��)��)�)��)�)�)r�)��)��)V�)8�)��)'�)��)}�)�)��)��)��)��)��)�)��)>�)��)*O*�*J	**�*�*V*l*;*�*(*�*�*�*y!*�!*"*�%*�%*<&*�&*'3*k4*>5*E6*}7*878*j9*�9*�9*�C*kE*F*�F*IJ*)N*O*�Q*�R*�S*V*��-:�-��-�n.Wr.��.m�.E�.)�.F�.��.��.�.m�.��.��.h�.��.��.ʿ.i�.��.S�.��.��.�.p�.��.�.2/B/�/t/�/K/J	/`	/�88//�
/�/�/�/R//{/�/�/?/�/�/�/�/�/3/H/�/� /?!/�"/q$/D&/-/89//0/�2/3/�3/q5/�:/�>/A/�A/�E/bG/@H/fl/�p/nr/�s/&t//��/N�/·/?�/�/p�/i�/��/)�/J�/��/�/��/��/�/<�/��/L�/9�/P�/��/��/��/˰/��/q�0Y�0��0�0�0��0��0��06�0��0%�0��0�1A1Z1}1�1�1�1"1+)1�,1-1�81�91�:1�<1�<1�[1o]1�]1?^1�a1�a1.c1�c1�w1�x1�y1�{1�1(�1h�1y�1,�1��1L�1�1�1�1��1U�1�1��1�1g�1��18�1��1�1=�1Z�1ˣ1y�1�1í1i�1S�1�1s�1��2��2f�2��2�2l�2��2�2��2:�2��2�2`�2�2<�2��2F�2��24�2��2n�2p�2��2�2��2��2�	3�3�3T3\3~33�,3.303�03�0333�>3�?3�X3�X32Y3{Y3�Y3�`3�a3�a3�b3c3�d31e3�e3�x3�y35z3`|3a3&�3��3h�3��3_�3�3T�3��3V�3h�3ӣ3Q�3#�3M�3&�3��3��3N�3��3A�3g�3v�31�3j�3�3��3r�3�3u�3��3��3Q�3��334�4�4�4�904-4f4�4x!4#4:#4,&4v&4A'4�'4�)4�*4+4�14D34Z44J54�74'94;4c;4�=4��6��62�6��6��6�7S	7<7n7�787�7�77�77�737r!7{#7O$7�$7�&7K'7t(7g)7�.7z27\37d47R57�57R77�97�:7�?7B7=E7�E7�K7�L7N7vO7"R7]7v]7�]7�^7	�7<�7��7C�7��7U�7h�7��7��7ޛ7;�7�7��77�7
�7��7p�7��7��7��791�7v�7��7��7��7��7��7��7��7��7$888�8�8�88.8+8$-8�18928s28�38<8�<8{=8b8�e8:g8yk8m8m8n8Kn8Xt8�u8Tv8�v8�w8kx8+z8
{8g{8*}8\�8~�8��8��8/�8¨8ͫ8'�8�8:�8��8��8��8�8'�8@�8!�8��8��8$�8	�8��8��8��8�8��8��8D�8)�8��8��8#�8��8��8T9�9�9�939	9_	9�&9�'9](9R+9�+9	-9029=39�39<49�D9M9eM9.N9�N9O9oV9�Z9	`9�a9�b90c9hd9�d9�e9Tf90g9�g9�j9fk9�m9{n9�q96s9�u93w9��9'�9��9��9ԫ9��9�9L�9��9̸9u�9��99�9`�9ͽ9�9��9�9p�9��9u�9*�9��9��9��9��9��9W�9��9��9:�9��9�9��97:F:k:�:):l:>:�:6:~:�:�:�:�!:�":�3:�5:�8:�9:�>:N:�S:qT:W:�[:\:]:�]:V_:�_:�_:\`:Vp:�u::w:�w::y:Cz:	�:Ҏ:��:��:�:Y�:L�:��:��:|�:�:��:c�:��:��:�:9�:8�:Z�:�:��:��:�:@�:߿:��:��:u�:��:��:��:i�:��:��:��:��:�:b;�;z;�;G	;�	;;�;;J;�
;d;�;�;f;m;;;�;v;�;!;$;/(;�(;H*;�7;_:;F?;8A;�A;�B;%C;�E;�F;.J;aJ;|J;M;}M;�V;KX;�\;�\;�^;�`;�a;`g;=i;}i;j;k;Hp;�s;t;Dt;Zw;Zy;�z;o{;�{;�~;b�;��;�;7�;7�; �;�;�;�;�;O�;��;ѝ;|�;��;Ş;��;Ÿ;g�;�;��;n�;��;�;��;�;!�;ت;|�;�;�;