Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00123_00000_shuffled.ds.index74 linesDownload Raw Back to root
1�k�qeZ���%	n	�
�
���3O�>"�"�#>-�?NH+I�I�N|O)PSJT'V�X4[�[�b�r�tXu#|i|�|�}|~���4�����s�T���A��������h�[�����������,�V���r�����n���2�h���{���)�5&F��T
v
,��E��,N.R2�3�34�4�48>@A(BQCKD�p�r�t�t�uvsw�wz{|�͂��)������ ���D�o���x�ے?�t�Ǔ{�X���{��(��s���ڰ���y�$�����>�`�$�s�E����c
�R��"�&�&�'6�;�;�<b=�>m?�A�ASF�F�F�L�L�O?QZ![�\;]T^�^`�c�l!p]p�p�s�t-u�u�wx3xWy�z�|�}c��Q���<�����܎N���Β��w�ś؛2�z�����r�w��ͭ���w�C����R��������������������R�y���������Q���Ly��+�3
�{�������Q'`(�(�(�)�*!+�-�1(2946!7T9�>TA�EH)L�L�L�u�x�y9zd�^�����1�����)������B���{��[���y�������G�����������t�0��������&�!�������_�e���������6�O���FX�+�����h���/���*���4��5�{�����#S%�%�%�)81g1�1�2g5�=x>�>/?CF�F(�;�p������������7���?���~����n�$�\�y���������=���3�� � � �!�#(�(R+@.�1�3,=u=0>J?�@CVC�E�J�KO9QDS�S�UWX�Z \�]^�`$a5a�a�b�c@d�fgth�i�l�o�p^r�u�u�v�xBz�z�|�|;�C�Q����W�w���"��n���ϥک��
�w����n��������η̸ڿ6�h�������;���~�=�s�h�����H�7�s��� 	�	v	i	
	�	;	&	�	�	/	�	$	�	�		o	0%	m&	'6	O6	�7	8	�8	F9	5<	x<	�A	�D	�E	�K	�L	�O	fP	qS	�S	�T	�Z	�\	y]	�`	�a	�a	*b	?s	�s	9t	�t	lv	Gw	�x	��	�	�	��	j�	c�	�	/�	=�	~�	�	�B7�C8%D9nD10"E11:G12XH13wH14�I15�J169N17�O18OV19vW205]21�]22�g23ah24�h25Ri26�i27�i283m29o30�p31��32�33��34�35X�36s�37��380�399�40�41��42̴43I�44~�45��466�47�48��49)7+:,�-�13�u�{O|�|�>������[�����>�S�����K����@������������<��J�������������������K�r�P� �!Q'�'�(�)*-�.�2�4X6M8V;V[\�\�]h_�`Ha�a<dOeg�h�ik�lomn7p}p�p50qr�rH���J�΢
�f����߬U�ɰC��=��̷��������������K������S51�52����. � �(b).53/R4"79�<=	@�A�B�B�M2P�RT	X+X[�\�]^?^�^�aQn`q�qXs�s�t�u�uhw����|�`�H� �2�ϑH�;������Z����'�U��P��P�®��H����H�Ѻ��������>���������������E�����*y�F
=� p/��� �!��������u���A����خS�������J�}�+�����������=����(�*�~����5�T�1�.�������\���&�w�B���S�@�v����	J54�d� � h!"B"v#(�P�R~WCY�[�_�_Sc`d�d�e�f�g3iQj�k�q55rxs�s#���Ί�����ޒ�� �1����>���I~:/� �*^,�-'.m0�0�2�2�5<56@CDM�k�l�o-q�wxZzj|�V��@���ɔ����_��L�Ȫյ8�^�]�����q��=�+�D�T����������������D������������������������$��Z�ak�"p#r%�,�,�-0s0�1�EvHmIJUJ�M�N�N/O�O�Q,o57r9v�v�z�z�{�|��l�U�58��<�!������"�������U�	�i����T���l�P�һ�������������K���H�!���w���&��[��>6��#�%�&.'�'�)�01�4i7�7�8�<|=�>{A�A�C�C�D[I�I�J*LmLyM�Q�V�W�Y�YCZ�Zk\/_�w}6}t}�~i�Ȃ:�C�&�@���	�z���)��U�D�`�l���z�ٴ�59����A��������60���D���o�����c���A������,�G�������
�_�[���T�o4 )|45�5�5�6C7�8�;�;b=�=�>XB�B7F�N$P7R�T�T�U�W�X[�q�~��т���'�"��Ōg�V�ӏc���*�����������9�u�������[��`�#�����m���;�;���D������������E���M��8��61�@WC��M!0%�%Y+�+e/=0|0�0�13�3H9�>w?t@�@eArB�CFUFJ(O
S`Y�Ygb�b>d�g����`����6�x�D�r�^���?���E�j���H�����bZ������$�&�(*�+�,�,m-�1�2�3	:�;D=�=
@f@�@A�B�C�D|E+HIX�X�Z,]_�_`t`�`c�c�g>hih�i�jlBm+n�xoy|�}.~{�������������'��V��F�����?�p�è�F��!�6�H�s���a�J�p���y���t���~����������)�j&�}p$�$�%b'"(B)�/P0�0�4�4�6709�;�=\> @rA�A:H�I�[�[E`b�nQo(z�z�{u|�~�~ހ_�����ܒ^���O�!���T�3�m����ؤb�Ϋ�����]��� �
���n���w�|� �:�d���8�S�����������������\w�!5"C"#/�t�0��r�����#�R�����K�������o���D���i�6������eE�+D'�#%@'�+p1K4�:�<=�=hQg�j�k�lymVn�n	o�o�t�tI���L�T�̗�™S�ЛA�E�{��k���A���Ҫ��M�@�����ʶ����l�������4�����������c�f�V����������I�����_���@�4�������F��������T�q�
�S �!�"�$�(�-�/0rA\B�C/g�iqm+o�q(rav	xexy�yg����dž�p���*�k�������ʡ����Ω8�\�6�����G���A�P����k������~�(�8��)���i�c���������&����:�J62r�-36=7m9�9�:1;f;�;7?�ABaB�B`CG�H�HDIDKM#M�M�OrQkT�Uc]j`Za(gDh�n�n�o�p0t3v�vWw�x�yd|�|_}~�~��ą����$p�$��$J�$��$0�$�%g%�6%�7%�J%�O%	V%�Z%�Z%\c%�c%�l%�m%�n%p%�q%mt%u%)v%�w%�y%}%B�%_�%L�%ߌ%��%R�%��%}�%��%J�%Ǩ%��%��%~�%԰%��%��%0�%�%�%�&y&!&A"&2*&�,&-&�1&e4&=7&�7&I;&�>&A&~D&ZE&XG&�I&�L&?R&EZ&�Z&�Z&_&`&�`&�b&�c&xd&Je&�g&3h&�h&l&�m&�p&�|&[}&�}&�}&O~&,�&��&Z�&��&��&Ȋ&ً&��&��&e�&��&�&Ɛ&(�&͓&63�&˛&��&�&|�&
�&K�&��&��&5�&�&٭&s�&��&��&�&�&�'�'�'%'�64'�'
'�'�'h'1''V'|'0 '� '_!'�$'�&'�&')']e'4h'{k'|m'��'�']�'��'a�'(�'��'g�'��'��'�'j�'�'/�'F�'	�'��'[�'s�'��'1�'��'��'��'��)�)��)��)w�)��)c�))�)W�)�);�)c�)��)�)y�)��)A�)��)�)��)��)��)/�)�)q�)&*�**�*{ *4!*�!*�&*m**�+*�0*(1*4*\4*l8*#9*v;*l=*�=*;>*�>*uJ*M*�S*�S*�T*p]*._*{`*<b*�d*�d*�d*We*If*�f*�f*�g*�h*�k*�o* p*�p*�p*:s*At*qt*Hu*�u*�w*�x*{*�}*/~**��*i�*��*��*��*��*�*C�*�*��*�*#�*�*�*۶*�*��*L�*l�*��*S�*��*0�*��*�*(�*c�*��*��*G�*��*��*�*
�*2�*��*��*r�*��*��*Q+�+�+Y+|+x$+�$+e'+�2+�6+�9+�B+;E+]G+�H+�J+R+zS+�b+e+g+�g+�j+�k+	l+�l+�m+o+�q+�r+�w+/|+�~+=+�+7�+��+
�+}�+��+�+Ĝ+v�+�+�+b�+d�+²+в+e�+��+��+R�+��+Ӹ+�+y�+��+�+V�+k�+��+��+i�+��+��+��+�,4,�,>,�,,�,,Q,�,�,4),�),�-,65.,�3,_7,�9,1;,m>,	?,�D,�D,�I,AJ,SK,�M,jO,2,	�,�,V�,�,��,��,Ɏ,J�,ݐ,��,��,��,�,-�,�,��,�,v�,g�,��,�,m�,��,w�,l�,6�,��,��,O�,�,��,��,��,��,��,�,��,�,��,��,��,^�,5�,��,F�,��,N--�-F66-�67--;-�-�--p-�--3-�-�-�-�-�-t -�.-�2-�K-�K-(S-�S-9T-}T-�[-�[-@^-�f-�g-�i-�k-=�-n�-��-J�-�-�-{�-��-�-��-��-��-��-��-��->�-'�-q�-��-Z�-{�-��-�/S/\///$/�*/z-/S//f0/1/'1/p2/�5/sC/D/GE//V/YV/�W/�Y/Z/_/�_/�`/�`/c/c/�h/�i/�j/�k/�l/�{/i�/у/Έ/ۋ/��/��/"�/��/V�/��/^�/��/B�/��/(�/��/68�/ɷ/ͺ/��/��/��/6�/��/�/��/r�/N�/��/��/��/��/��/��/V�/69�/�/�/�/j�/?�/�/�0Y	0�700�0�0�0E
0�0�0&0�0)0�0�0"0+0�00�0�0�$0+%0&0�.0%/010d10�304050C50}60�80q�0Ʌ0��0��0f�0��0�1�11$1�(1l*1�,1�/1G21�21�5181{91AA1�C1�D1,E1<F1H1�H1KI1:J1�K1\N1�P1�_1_n1�o1Js1;t1u1Bv1�|1�}1X1�1��1��1�1۔1��1�1�1_�1��1�1C�1ʨ1�1-�1��1Y2�712
2�2W2�
2m2�2 2�2�2_2y2g2~2�2�2x2'2�'2�'2�(2+2�12�;2<2>2}E2�F2�L2)R2�S2�T2�T2�T2V2�2�2@�2M�2��2�2'�2p�2��2�2/�2��2.�2��2l�26�2�2!�25�2ו2Ж2�2�2P�2��2G�2ݢ2��2ز2��2�2R�2��2x�2��2w�2��2h�2�2��2K�2��2�2^�2��2��2��2��28�2"�2��2��2��2�3y3O33�3�	3�3u
3�
3�3�3�3U33�53�63�83_;3S?3I3rI3�L3M3{S3}U3�X3�Z3�[3�]3_3�_3�`3d3zf3�g3i3(o3�o3�o3�s3�v3�v3|y3�}3)~3�~3X3��3�3��3�3��3�3_�3��3ݟ3�3C�3{�3S�3(�3r�3`�3��3G�3��3`�3��3r�3[�3��3��3��3z�3"�3�3`4	4O	4M4�44~
4�4�4�484�4u4494\ 4� 4.4c/4!<4�=4�>4D4mD4�E4�E4�F4ZH4�N4�N4.\49]4a4{a4�b4~d4?e4ge4-f4g4�j4�m4�n4�p4�q4'r4>�4��4^�4�4[�4�47�4��4��4ڝ4D�4Z�44�4u�4��4�4��4��4��4y�4��4�4��4��4>�4��4��4��4��4q�4��4��4��4�4e�4��4y�4��4��4/�4��4�58545l5�5i5�5�5`545Nq5`q5v5Cx5��5�5̩53�5��5��5¯5n�5s�5��6��69�6ƍ6��6�6�6i�6�6*�6��6K�6��6ʥ6C�6v�6�6ʺ6��6W�6u�6`�6��6?�6Z�6�6��63�6Z�6�6o�6��6��6s�6��6��6��6)�6��6��6R�6��6��6��6��6�6�6��6n�6�6P�6�6#�6]�6��6�6��6��6��6[7s747�7�7�77277�7P7�7�77d$7�$7%7�&7�(7v)7u�7-�7e�7��7��7(�7K�7u�7	�7;�7�7�7�7*�7�7p�7��7�7��7�74�7]�7H�7��7�7j�7U�7�7��7�7ڶ7��7�7ݸ7K�7�72�7Ⱦ7%�7��7��7��7n�7y�7��7g�7h�7��7��7��7��7��7��7K�7��7�7O�7��7��7�72�7<�78�7�8J8�
8�8�8S8�8|8f8r8� 8!8�!8�!8�"8�%8"'8N)8�-8�.8�.8�48%68�78P98\<8�=8z?8�A8�Q8R8lR8�R8��8��8�8��8%�8ޒ8a�8�8�8��8�8�8�8~�8��8{�8��8޷8)�8w�8��8��89�8��8t�8�8��8�8.�8��8��85�8��8�8j�8��8��8��8��8h�8��8��8�9�9O9�9(9+739�#9$9&99(9)9�*9�59�69p99�:9;9�;9~?9�@9.D9$E9oE9�E9�H9�J9�J9�K9SN9�N9�U9�Y9^9�^9u`9�`9u9�v9�x9�y9�z9�{9��94�9d�9,�9��91�9,�9ޒ9Ǔ9��9��9�9��9��9�9[�9��9��9��9��9C�9x�9��91�9��9�9��9��9��9��9��9��9��9[�9_�9��9T�9�9�9I�9V�9��9��974�9f�9��9��9��9��9��9��9~�9$�9w$:�$:�%:�%:(:�,:)4:�8:�<:�=:�R:^U:�W:]X:�Y:Z:�Z:�[:�[:\]:�^:t_:j`:��:�:��:��:H�:�:'�:��:��:ͦ:3�:ߵ:��:ܼ:��:A�:��:��:�:/�:i�:��:��:r�:'�:��:~�:�:��:��:��:��:��:/�:��:��:�:��:f�:��:��:��:r�:��: �:��:�:~�:t�:��:^�:��:=;�;;R;�;B;&;x;b
;�
;�
;;,;Y";�$;a);�);�+;�,;