Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00088_00000_shuffled.ds.index21 linesDownload Raw Back to root
1�$�0r���%w�Ide�'(�(�O�[A`5a�c�cj�kSm��߅}�!����Ԏ�����o���V�Ϊ�h�i�sxw"y|�}���Y�@�ۈ��������F���_�U�W�ʟ��ƤE������	�{���������a�X�S�~�"�4������������2J"
v
G3���*r�K�'&;�u!V#�*�*�+�2�627
8�9*<�?6@�@�A�B�B�B�CWD,I?I�I�RS�S�TVW�W�W�e�eWhei�ij,j�u v������������\���ܑ-�.�Z�����$������������W�������������������.�K���u���~�����*���}	� n��t#�#�#�$�&�+�,+-�-_.�.l3D8\9�<]A�AMZ�Z�\�\�_pc�c�m=n�n�t�u-v�v�v�z�8��u�l�����M�>�ޝI�G�Ƣ,���P�3�<�e�%�t��W�����Z���X�*������j�V��
�
i5��_�� a"�"a#+�+$-\/�/�69.;�;a<�<�=u>�>u?�?�@AAPA4D�D�D<Eg�W�6�?�,�������'
`
�
#
7
]
#
c	
�5
/
�

e
y

�

J
�
W
�
�
�

�
&

�
�(
�)
�/
r1
�2
�3
g4
�4
D5
�8
 ;
&=
�A
�C
IF
}F
I
�K
�M
KN
�N
�P
Q
U
�U
aW
�W
�X
�]
_�g���:�3����]���������~�ث}���+�g���j�ʷ9����κ_������J�����^�����A�}����k������co6z�
M�����)i?�"D$�&Z1�14�5O6X9�:&;�;<�<>K>;KLM�N O�U/VyV�WR^D_�_`C`�a�c�j3lwp~v������i�m�7���S�����#�©7�l�Ư$�3�_�Կ����v�"�q��y���L�t�*����q���C�����"����2���s���2�H�����^���2���`� �~���A�0������VfT�#�-T.�2363:5�5�566�;gAB�C�F@H�HIKJ-LjL�M-NIN [�\A]j���g������3����T�����
�}�7]� $�$%%�&�6f7�?;A\L�N�PmRVY�l�nwo� ��e�?��ޘҢv����m�����а��̱�D�H�h������u�>���U�����pE��$8��֌>�@�R�ߒ�=���B��d�����Q�J�-�(������������y����������p�{�������@���W���7��c�*�����������	��	�T��?(F�F�HJ�J�K�L>M}M�R�T�UrVvXY�Y]�c�m`pCr�r!t�t�v}\}�~1S���L��������d���՘���I�.���ţͨe����^���y�&�����;�N�����q�����8������������9���;~�e�������%�A���������������A�p���]�����:���/�-�h�����%������������3���,�X�������"���I�T��moqXqastu�upv�w�w*x�|؁6���4�ӆh�Q���<�ԏ�����ٚ͞!�Y�0���{�d�ŧ���� ��m���������%�������.�����x� ����������������T�
4h�9��3�#$$%�%�()�)�*�5�6@7�7D>JAG�G�H�I�IJuKOM�͏d�ߒ�����ƙU���ơ��/���l�ڴF��V�=���P�)���w�����j�����A�1�M�G���v���S�#����������w�t���������+(h�k�12w3o6�6�7�9�;9<�N)OfOS10TOU�U*[,k]lmXm�mo�u'|�|U����������������M�<�o�G���"������j�����}���������a������{!d$�/0�12#;o;�? @�@CH-N�N�OxPR&T�U=X�X�Z\k^K`b~e�e_h�k�nTpkp�qxt�u,vdv�v6w�w�w�z�{�|�~Z�h������A���q�ړ��їu�Ú=���ĭ=�n�����5�k�s�����������a��I��������x��7is{�Y-/{03 3�6�7�8w;�<=�>~?JK�K9N�N�Oȥ��'���<��S�ɼe�9�����K�k�1�a�������&����B�����^�k�����,�����E���4�q�LX.������p"3M4�6�:�;�<�@�@RB�B�C�D�F�GbJLNQ�QUR}SKW�W�Y@Z[h[�[�t?u�yk~�A���^��q�����������p���5�����*���ɩ���}�+�����B�?���Q�������D�t�1���k���#�����11��`������������M�(� ]�Ei�%�4�5�5%:�?�DmEAI8K+R�R�TiUZf]a�bcjc�c�frg�g ivj2o�yTz�|"}���ֆΈd��l�E�b�ߔZ�8�ĚߜA��C���h��:������I������o��������[�����-�%����1�l���G�����b�*�����#������������w |V�*B+&-�-E.r./�/�/�4�6l8�8DN�R�STU2VTV�V�X�Zd]�]`bc�die�~5��������c�M�ȉ�������*�[�-�p���x�����-�»����������|���M�������]�4���P<>=q?dBxC�D�D3G�G�GUJ�JNK�LGRWRNSX`X�Zy\�\�]$^&_b�b�bLq�z{l�����r�z�@�`���5����K�"�ȫ#�:���������ļ�1�Q�����o���\����{����N���"��������W�* � 3 � { � C � �  �" �" q+ }0 >7 |8 $= �> 
B !B GE �F �G H �I �J aK �L �P 0R tR PT �T ni �j hl &m jm �s �u �z P{ �{ u� � F� H� � �� � ʑ ̒ � �� P� � �� :� �� �� � Z� �!!d!�!	!�!�!�!�!�$!%!:(!P0!�1!�2!I3!�3!�4!B5!�6!7!�7!�8!�9!?:!�;!�=!n@!�E!�G!H!VN!~]!^!�_!'g!j!qz!�z!K�!�!פ! �!�!ת!��!�!�!�!�!V�!{�!��!ܺ!��!Ի!��!1�!��!��!�!��!t"�#"H%"g&"�("�)"9O"�R"A\"5_"�a"wc"�d"�z"K{"�"Z�"^�"�"͊"G�"��"f�"�"t�"��"��"\�"��"`�"��"��"U�"��"��"��"��"��"��"oq%Yv%�x%�y%�z%�%�%)�%ي%�%��%��%Ԏ%ظ%��%c�%�%��%W�%j�%��%��%��%\�%I�%��%�&e&6&�&�&�&	&� &(!&�!&$#&�#&$&%0&|2&�3&�7&�8&:9&C:&<&~=&�B&YD&�D&�E&�H&yJ&>K&eL&�P&�Q&�S&�T&�T&�V&-W&�W&)Y&�Y&�Z&�]&�]&tc&�g&�h&�q&~&��&Ƀ&�&�&p�&\�&��&�&s�&�&��&:�&ܥ&+�&��&��&7�&o�&ʫ&G�&]�&�&��&��&��&��&��&v�&|''B'U'�''G$'�&'�*'+,'�,'�-'3'�='�?'2A'�N'�Q'�S'�V'
W''W'�W'�W'�X'[Y'�['�\'6_'�_'Ea'�a'�b'(c'�c'�d'f'Sf'by'5'��'�'��'x�'\�'��'F�'ɒ'��'��'�'�'K�'��'s�'˝'�'M�'�'&�'˴'Ƕ'�((�(�((�(�"(#(�#(�0(�7(%8(?(�@(�@(uA(�A(�B(�E(PF(�F(4G(yG(6p(�p(�r(Rs(�s(�(��(�(n�(��(�(r�(g�(R�(�(m�(�(��(ڕ(��(ѝ(��(��(`�(��(ʡ(�(;�(3�(3�(��(��(Ȫ(��(��(7�(N�(\�(ɼ(��(��(��(��(N�(i�(-�(��(��(��(8�(��(��(��(��(��(��(�))�)�)�)�)-)))B)� )�")�$)�%)&)�&)�*))+)�+)e,)�-)�/)<1)H2)�3)V6)�;)K<)�<)I=)�>)�G)�I)1J)�M)~P)8\)�\)!])Ub)d)�e)lg)�g)�l)rn)�o)*})Q})�})��)<�)�)Ň)��)>�)�)�)�)�)ˡ)��)բ)��)��)˥)�)w�)ɨ)t�)��)d�)ժ)��)�)î)}�)G�)�)k�)�)v�)�)e�)O�)k�)��)Q�)��)G�)��)~�)�):�)��)y�)P�)��)��)��)>�)1�)s�)8*9*L*�**�*Z*�*�*12*
*�**�*+*<*�*�+*�,*.*�/*�0*�0*�2*3*�5*(6*o6*�7*k8*w:*�F*BG*eG*$K*mL*LM*sN*�N*�P*�T*�Y*BZ*�]*�_*Ob*�b*�e*�h*j*7j*�n*�p*]r*�s*At*�t*�x*�z*+}*~*��*�*ׄ*��*�*X�*��*�*ė*|�*A�*��*	�*��*G�*�*H�*�*{�*��*i�*�*G�*��*��*U�*.�*��*c�*�*�*b�*s�*
�*��*��*L�*��*��*��*��*=�*[�*-+�	+13+6+�:+14;+�<+w>+_?+�?+�n+cs+�t+�u+�y+*z+�z+�z+\{+|+�|+�}+d~+~�+��+��+�+l�+Ę+��+��+t�+�,Z",�",�",z#,�',�),J*,t*,�*,	+,%,,}6,�6,�8,�8,�:,I;, <,�<,�C,I,�J,�K,jN,O,�Q,OT,,U,�W,�_,�i,ej,k,�k,�n,eo,Kv,�w,�x,y,�{,�{,|,|~,�~,��,�,�,}�,Մ,N�,0�,m�,4�,��,.�,�,Ք,H�,��,̙,��,>�,��,]�,V�,D�,��,��,��,-�-L-�--=-W-�-z-'!-�!-h#-u$- )-T)-�)-9*-v*-,-�,-&--�/-H0-�0-+2-�2-�4-�5-�8-%<-�B-�C-�H-�K-2L-�N->P-�U-SV-lX-Y-yY-�Y-�Y-
]-�`-�e-@m-?o-�o-]|-u|-.}-ށ-U�-#�-��-��-�-\�-��-ɛ-��-��-��-G�-�-I�-��-��-��-<�-`�-s�-��-?�-��-+�-+�-��-#../.�.�.{.�.�.m.�.t.,.�.8".o#.D%.�%.;&.�).�*.+.P+.�,.�-.�..�/.�/.*1.�4.5.;8.�E.G.MH.�H.�I.�I.1_.zh.�h.�}.�.�.=�.$�.J�.׺.��.?�.�.^�.Z�.��.��.?�.	�.M�.w�.��.�.?�.q�.�.t�.�.��.�.r�.��._�.��.�.Y�.��.E�.�.��.?�.�/�/p/�/S/�/�!/#/�#/3$/�$/2&/�'/�(/6)/g+/Q7/^9/�:/QG/�H/�I//L/�O/�U/+f/�h/fi/=m/�o/&t/�w/8|/�|/�}/�}/��/]�/�/J�/��/�/��/Ÿ/ǭ/�/�/)�/Q�/��/߰/�/V�/��/��/Ҹ/��/�/%�/��/K�/��/��/��/|�/��/��/��/��/��/n�/$�/��/��/6�/i�/��/�0�0�#0$0�$0�%0a(0,,0�.0�/0�10D20�50�80�90�<0�<0�=0F>0�D0&G0'H0MH0�H0#K0%W0?X0�w0�z0|0S}0v~0�~0��0�0ڑ0M�0��0��0r�0v�0�0+21�31
71�@1+F1�P1cX1\1`1�a1�a1>c1�c1�d1�f1Bk1�k1b�115�1=�1��1"�1¯1��1��1�1��1��1��1#�1W�1��1��1��1��1��1��1��1G�1�1��1i�1S�1��1��1��1��1}�1��13�1��1��1q�1��1��1p�1��12�2h2O	2�2g2�2�2�2�2w2*2�*2+2�92�a2�d2�f2�g2�i2�k2�m2o2s2Ys2?t2�u2Vv2x2�{216~2�~2V2�2a�2��2ܗ2
�2F�2^�2+�2Ý2B�217�2n�2��2��2/�2׮22�2��2�2/�2�21�2��2B�2Z�2��2
�2��2��2��2Z�2��2.�2d�2e�2��2��2d�2%�2�2��2U�2��2��2E�2��2��2a�2��2��2��2��2��2r�2D3I3|33�3�3H3�33�3�	33k3�3L3y3�3�3o!3a)3Z/3m03^53563�73!93F;3c>3�?3�?3�B3�C3�E3�F3JI3�J3�P3�U3lY31[3�\3�^3�`3�`36a3be3�e3�z3m�3V�3��39�3j�3b�37�3	�3�3߼3'�3�3,�3T�3��3��3��3��37�3��3'�3A�3��3��3��3�30�3��3�3%�3�3��3�3y�3!�3��3��3�4�4�4�4�4q4E4�4�
4�4�4�4,4m4�4�454�4]4�F4�K4�M4�M4;O4}P4Q4|Q4�W4�Y4�]4�f4�q4.v4�}4�4U�418�4�4�4��4�4`�4��4Ү4�4��4G�4��4�4M�4&�4^~5�5��5��5�5��5r�5n�5�5G�5)�5��5؛5��5/�5�5��5��5W�5��5B�5ܻ5��5*�5p�5f�5��5�5��5��5E�5G�5d�5{�5�5��5,�5��5d�5��5D�5��5��51�5v�5��5�5�5�5��5-�506�6�6O6�6�
6�6�6�6�656U%6[&6�&6�'6c)6�)6&+60-6�06�46,@6�@6[H6�I6�N6`O6<Q6R6;U6{U6/V6w66x6�x6�z6�7/7�7�7�7I7X7�,7�-7�.7�/7927x27�27�27337F7
a7�c7�j7k7�l7m7�m7wo7�p7�q7(s7�v7[y7�{7|7�7b�7u�7ڐ7̕7X�7��7��7Ǯ7 �7g�7�7�7��7�7d�7��7%�7��7��7�7��7#�7��7��7<�7X�7h�7�198M8c8	8�8S8�*8,8$.8�.8�.8�485898�:8�;8�<8�>8.?8F8{F8�G8�I8'J8�K8\N8�Q8�R8�S8eT8�V8�V8�V8�X8�Z8[8�[8�]8�^8�^80_8�_8cc8�c8Fe89v8y8�z8#{8��8Z�8Ʉ87�8ŋ8�8w�8�87�8'�8ʓ8ҙ8��8��89�8��8��8�8�8>�8��8κ8�89�8o�8Y�8��8(�8(�8��8`�8r�8��8��8�9A9r9�9z209�219�9�9L9�9+9�9�9u 9� 9�!9#9w#9$97&9v&9.9�.9�09G19�29�39�59�89=9h=9@9G@9�E99F9�F9�G9
H9�H9�I9	J9�J9�P9�V9W9&Z9)[9�[9�^9v�9�9d:�:�::�:\ :;!:3:�;:�<:Q=:�>:c?:J@:�A:�A:�C:�I:ZM:�N:�P:/U:�:1�:�:��:�:9�:ĉ:F�:��:F�:��:�:��:ұ:��:Q�:}�:W�:
�:^�: �:��:a�:��:��:O�:�:`�:��:)�:��: