Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00012_00000_shuffled.ds.index24 linesDownload Raw Back to root
1�M	�2"%�%1&�3�4f5g6�GKI�KLLL�LzM>N*S�SUV�W�bic&�������݊u����e�'�x�ǚø׼<���#����������B����W�;���s�C�\���P�h�V���3�����"�������:����m��	H	v	�	�	�4� 2p-�H#�&4)�)�,=-�-30�2�4�5�56�9�9�LN�N�N3O4P�PV�V.[�aibCePg�g)hrq�rJs!vjw�|*�������K�����p���^��!�S���g�d�P�����V���"������������%������9�6��B2C� �"�"n')E,�,E-61�3}6�O,TXW�[�]�^�_�a�abjc݂,����S�NJ������Ԙc�P�d�М��m�A�6���5���������������������������������$�d%�'�*�1�;�=�=�?+@�DxGhH3V�VFYqYHZ�Zle=fhchpqhr�uy�yHz�z7}�����h�·.����ӱ��]���˷�(�y�Ծ�����'�w�J�u�[�F����|�H�q�0�I����e���B���0�����H��O����;�;�D[FyG�H�I�I�J�L<M]NkOQ�U9V�VuYZ�n�o5q�r
s�s�s�t<wz�{A}H���������.����O��E�ڕE�����]�şz�o����N���������f�p���,�������������L��l���v�������g���D���	�j��	5!�N�Ul&.')�*�+K-�6;7�8�9;_;�=@�A�C	E�H]J�JKLLGM7N�O`P�P�Q�`�a�d`e�e g'yby�ySz�{q|�|�~����e�1�;���T�R�<���E�M�
�g����<�P�����������]��� �r�|���&������b���|���R�����d�������8�-F��;��	�	�6��{7!L!�!o"�$8�9�9�;|<e��ȋߋ�C���X���0�`�	�����)�� �&����]����|�W�8�A�i���_�U�*���i�-�L���������S�����G�3�T�$�k�B���������������M���$���6	�
����"�#=%�%Z.�3�4�:jE�I�L�OPV�Y�YRZ�[�\EkCm�ptqs�tNu�u�uXx�|�}�~̅y�:�@�B�C�CKE F�FXH@KW�\e]s_�_?`Sb~g�jGk�sovpx�y�z�{�|!}����F�������ݔj����-�f�����4������C�I�'��}����������!�:��������0�sU�i�-�P�*,�,�,�-�-P2d3u5�7�:�;�?�A
F8X�[�[a_ka�b�e�f`gj�k�mEo5sC�������s�>��f�"�d���E�)�����U���i���5����
�

j
�
�
<'
](
�)
�)
Z*
I,
u-
:/
0
�0
O1
b1
�1
X7
�8
39
�;
<
?=
�@
3B
�B
�B
*C
~C
;E
EF
rJ
K
$K
ZK
hL
�S
9T
�V
�W
�X
DZ
�[
�^
X_
�_
�`
�b
jd
(f
ai
bk
`m
�m
xp
�y
�z
��
}�
��
�
��
��
��
��
�
Q��8LA���[�� �#�%%&j'�7>�>�>�?�BRCDEI�X�X2YZfZV[�[�]V^�^�_P`pa�aNbd�j�p�qert�t�t�uv�w�y�~=3�^�փ����S���'��;�Q�~�l������v����l�������]����e��w�Y���Խ�޿_�=���������[�(���:�5�����:�������c���n�����������	J10F�������Y-�-4.�1�1�CH$JKL�UW8W!^�f@g�glh�h�i?z�ze�Ă�����"�����u����g����Z����G���������0�Z��8�K�]�����o�����*!X#b$�$;&<'y'�'v1�3�4C5�5O6�@AfB"O�P�V]Zj[bq11�3�n�����u������D�i���Z�������I�����N�����Z���T���J����4�������$���������:���=������;����d-��$�&++v.�4�5067�7�;~<�<�@�A�A�HKN�N�N�Q�TWe[�^�����l�|�h��9�e���Ȯ��8�%�ÿ%���e������F�5���d�������� �:�g�@���W�����6�����F������p4�#��v��GW����(����5�!i"�$9&G'�'�(j)2,�-����a�N����g��jul�l�~݁ك���T�K����w���n��	�����G�v������!e(2)�+�,q-�-�1�3O5�JTL�L5M�N�W8\p]�^9aIc�e�h
jzjSloAp�qlwFy
{����ǃ���h�>���J�S������>����G��ų_�h�Ƶi�<�����������v�	�12��
�6� �!"$�(E*0�0S1�1z2�6@I�K*L�M�O�R�TLU$Z�Zc[?]j^Cgjj}jfk�k�}�~��l���9������$�ؓW�U��E�Ιa����������p�Ǹ��u�2�ٽ�����?"�"�*D+B2f2�5�=\@D�E�F�F=HIYI-JBK�MtPXQR�S�Z�d�e�e1h�h�hujUq�r�u9v�v)wBw�w�x�x�x�}~~�����G�s���&�`�2�Ƭ8���ٰ��i���6�;�������������k�=�K���s���P�
��������������	l134
o[=����_���$�&�(Z)o+�0E2�2�EiF�OqT�V�W�XY��HC���9N;�;�;d>O?�?�BLCvE�EM,O14RfSTTeT\]k]�a�b�b^d�f�gGj�jm�tOu�yY|܇����	����i�r����t������D���
�#%%z%H&�'\)+h,<S=�=4>'A�c�jmXmHowodp^w�w0y!�8�g�#��������9��[�����s�ܶr�K�y�8������c������d���9����Q��������R!�!�!#L�M�OeSj�j�r�r�sѐ;����M��n��c����A�x�Ƶ���о�M�$�������0�A�H�M�.�������U��'�	5J�.,�	�'� ]!�!,#�$%!&r(Y)�)�*�*�,m-Y.�2p4�7�8�>)B�BkF�HIJJ1J'K]NT�T+U�W�[]e]`�c�c�iMj�j�~I�c�؁K�ӄ��	������'�^���������1�������&�����&�)������������V��b��9�:T=�=B6C�J�K�N�O~S�T�V�^b�bze�f�kdm!ngo�q-r�t�u�uVvCx�y�yg{�{\~�~�����������������\�������N�����v���J�ڜ�؝����ʠ3���{���ڦĨo����X���>�t�������������+,192z5|7:`:h<�<�AB�B�E�E�J�U\�o}s�u�w�x�xW���'������������?�	�����������'�����������3�h�������7�T�Z�2�15�
0
C��r���B5c�F��K!�!�>0@�E\FSGJ�J�T;USV�V�VbW�\�^�_�a�cDdpk�k�n3o�q�~�]�,��¤��7�����'���N�<������ q � % � �	 B16 u17 f T
 y
 : � � ! �  �  h � � �! �" Y$ & i* =- . �. �. U0 �0 j1 �2 �4 v5 �@ iB �B �B �D E M �M YV �V �e %f �g �h i #i �i 18k �k Ln �o �r �y '~ e� �� E� �� ܋ nj � �� B� �� �&!�'!j*!�*!3,!1!l1!}5!�6!�7!�7!;!X;!�?!�T!X!![!L[!�d!��!�!0�!}�!ۂ!^�!��!�!9�!��!�!Z�!,�!I�!ܓ!E�!Z�!�!}�!�!��!Ȩ!��!��!��!>�!&�!��!�!�!D�!��!^�!��!�!2�!<�!��!M�!k�!f�!��!��!0�!��!F�!��!3�!D�!$�!?�!��!�!]"w"�"
")"{)"�)"O+"�+","�1"I3"�3"(5"FU"]a"�b"vc"$e"4j"pj"Kk"l"_l"Jp"�p"jq"�q"�r"�r"t"Eu"�|"}"a}"�}"'~"��"��"ń"Ò"}�"��"��"ͬ"��"�"L�"��"׼"q�"
�"?�"G�"��"�"��"��"��"��"��"��"��"?�"��"�#�W#�X#NZ#�[#']#�]#;^#�`#na#�a#�a#$b#�b#ym#�p#?q#s#t#�t#Yu#w#zw#ly###z�#��#'�#�#)�#��#�#�#4�#>�#�#��#?�#�#�#Ş#L�#a�#:�#��#@�##�#X�#��#��#t�#�#Q�#C�#b�#\�#��#(�#_�#��#��#��#��#��#�#`�#��#<�#��#��#��#�#��#��#n�#��#��#��#$�$�$L$�>$�>$|?$@$4@$5E$�[$T_$�a$r�%D�%��%e�%[�%��%��%��%��%��%M�%��%1�%]19&�&�&z&�&U&/&H&�&�!&�%&N&&E'&#)&I*&+&xX&Z&�i&Ej&Yk&�l&�n&zo&q&Iq&�q&Mr&7x&mx&��&�&C�&R�&י&��&�&e�&��&�&b�&�&�&�&��&Y�&��&S�&��&��&�&��&��&��&�&d�&��&�&/�&��&�&��&0�&��&`�&��&��&��&��&1�&��&F�&��&3�&��&��&��&�'3'�'�'z20'�'21'�'�'P'�'+'+'�,'|-'e='WB'>E'�E'*G'�H'�I'K'BK'�L'�M'�k'�m'0n'Wo'�o'�v'�v' {'`{'9}'I~'�~'�'�'ń'�'�'<�'��'	�'��'��'֚'J�'��'�'՜'p�'��'ʼ'��'��'#�'B�'��'$�'��'��'&�'�'��'^�':�'�'��'	�'1�'��'�(�(�?(t@(A(�A(fC(�D(�D(+E(�E(�E(�H(�H(BI(rI(�I(K({K(�O(aT(�U(kV(IY(�Z(&^(�_(�b(Yc(ce(pf(�f( p(�}(C~(�~(J�(��(R�(݅(T�(�(U�(��(��(З(�(f�(�(E�('�(V�(��(��(�(�(_�(�("�(c�(&�(t�(��(��(��(F�(��(&�(
�(��(a�(y�(��(��(��(��(4�(��(Q�(��(��(��(l�(~�()�22)8)�)�)`)�)j)W)�)T),)n-)�-)$.)*/)�0)V2)�2)�3)�3)+:)G)�I)^K)6N)N)
O)�d)�d)0h)i).i)Pj)�j)�j)k)gl)�r)s)�s)�u)�u)�x)��)��)��)^�)�)(�)1�)��)�)r�)ҧ)��)Ϯ)گ)��)��)ɶ)��)J�)��)��)/�)�)��)��)e�)#�)��)%�)��3e�3��3��3 �3��3�3-�3��3��3#�3��3C�3��34R4o4�4�4�4j4	4�4�44�4\j4;l4�u4Hw4/z4|4	}4h4�4��4w�4��43�4��4
�4χ4͊4��4�4��4��4��4�4��4��4�4��4��46�4˩4�4��4u�4-�4��4�4�4@�4��4E�47�4a�4��4��4��4��4�4u�4n�6��6��6X77f87�97~:7�=7 ?7�E77F7uO7P7�P7�Q7�Q7�Q7=R7}S7�T7AV7�g7�i7^j7+l7)n7�p7�q7qs7�v7�w7y7{z7l{7�~7�7�7M�7��7^�7��7r�7#�7��7�7q�7P�7��7|�7N�7��7[�7R�7�7��7��7E�7��7��7��7��7J�79�7c�7�7��7��7A�7�7��7��7��7��7�8�8_8�238�8
8T
8�
8808_8�8O8["8�"8#8T#8$8�$8'8*85*8�*8|-8�/838�;8�<8)?8:V8�W8�Z8[8W[8�]8Cg8�k8�o86q80x8�8��8k�8��8ό8��8��8�8n�8��8�8��8l�8;�8��8m�8�8��8��8��86�8��8��8��8��8e�8��8��8��8��8G�8��8/�8y�8��8c�8��8�8v�8��8��8n9m
9�
9m9�9�9�9:9x9\"9�$9%9�%9�)9{+9@,9u/9E19�29�2969�69�89V99�>9&A9B98C9�C9D9�E9DF9.N9IO9�O9�O9�P9AQ9PS9�X9|Y9�Y9W[9i\9�\9Cd9wd9>e9?n9ep9�r9�s9�u9�v9�w9|9^|9}9�~9�9<�9ҍ9_�9��9��9��9'�9G�9b�9�9C�9�92�9��9�9s�9P�9x�9��9��9�9�9%�9k�9��9h�9S�9:�9Z�9��9�9�9��9�9I�9��9E�9j�9��9��9��9m�93�9Z�9��9�:i::df:cl:�l:Gx:�x:z::z::}:�}:��:ن:�:��:׉:݌:��:d�:3�:e�:G�:�:$�:�:��:��:"�:M�:0�:��:��:a�:��:��:+�:ź:��:��:%�:Z�:.�:��:�:i�:G�:��:��:��:��:��:H�:i�:w�:M�:q�:�:Z�:5�:��:�;�;�;�;*;�;J;� ;� ;�);,;R,;�/;R0;�0;62;�4;C;�F;�G;�I;�I;�I;CQ; T;�W;0X;�f;g;�i;!l;�l;�m;�q>Kr>�t>�v>z>�~>>t�>��>��>c�>��>Љ>F�>_�>S�>�>~�>��>��>��>؛>W�>��>�>"�>W�>a�>Ӣ>`�>��>��>Х>>�>��>�?�	?�?f?�?$?�?x?X?>?�??z??2'?S.?/?�>?�B?�L?�P?�Y?�[?�_?�`?�a?�a?�s?~v?Zx?ux?�}?N~?i~?�~?��?ޅ?ˆ?ه?�?E�?t�?��?v�?^�?Ҏ?G�?*�?v�?U�?��?�?��?�?^�?��?��?��?��?��?��?�?�?��?��?@�?/�?��?M�?L�?��?@@�t@u@24x@Hy@={@S|@/�@e�@˞@q�@-�@�@�@l�@�@�@ն@��@w�@+�@��@a�@��@y�@��@��@��@��@�@3�@