Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00121_00000_shuffled.ds.index141 linesDownload Raw Back to root
1&�
���ML���!�$�%>'�,�0���������#���3�߲�>�1�������������t������4�Mv;2�,��&�)�+F.�.�.O/'0D28�9�:�]�^`�`{a�a�aDn�n�q�r�tvu�u^vgzR}�}~m���O���<������Z�؞�]�3���ʣA�����ѩȫ��3���0�O�E�����Y�F����������������X���`�����`���,�Q��(M+�+�.�/�/k0�12}5b7�8�:;0;�;d<�?hi@pwgz�~
�9���������šϦ�˫������&�c�T���7���C�����P����;�H�_�L���������������!�����������d+	! �����������������������I�������T��l������������������]��������g<�?	�2��N-_�t�x� R!�"�$}&�(�)1:�:.;'=�?�@�AWD3R0S�S�T3Z~Z`[\`\�^P`�`�`a1cmceg�hZi)l�lKq�q�rFsTvxfy�yj|���ȅ��0������:�W��u����
����`�<�v�+.	�/	!2	<	4=	�>	?H	�H	AI	+J	�J	�J	�J	�T	�U	'V	X	fX	�\	�\	._	B_	!`	za	�y	�	k�	:�	ψ	g�	��	t�	G�	��	�	�	�	�	�	*�	��	̠	k�	x�	�	��	��	Z�	�	B�	��	8�	�	e�	��	q�	��	o�	��	+�	��	��	��	X�	S�	��	�	��	�	��	d�	
�	��	��	5�	��	�	��	a4 5�6 7�8A9�10�11s12L13c14�15�167171819�20y21~%22&230'24�'25<)26�727 :28 F29�G30�H31�L32O33|Q34 S357T36qW37�W38�l39bv40]41+�42��434�44\�45��46z�47�48��49Z�50��51Q�52p�53ٙ54�55��56�57��58��59+�60y�61(�62u�63��64Z�65u�66�672�68Ԭ69��70��71D�72��73�74�75ŵ76��77�78ܺ79�80=�81��82<�83��84��85��86��87��88[�89�90v�91J�92��93��94��95�96�97$�98��99?�100!�101��102��103�104(�105��106�107��108�109_�110�111�112��113��114E�115��116��117��118��]�!�Q	�����a��#(%�&�(�)�:.=>�>`?!BWB�J�K�M�N�RT�T�V�V0X�\L]e]�cug�i�i�pnqLs�s�uNx�x�|�~&������������U�]���/���>�k������i�T��������������iY�	119�O<���� "*$O%~%�%�-�0,EGI_K�K�L�O�OZPtW�X�Y\[^;_�_�`+ayb7g�gYj�k�l;m�mpn�oms�t@u�}~�~4���/�–&�o���q��H�b������0��[�M����a���������"
}&
�&
	'
�'
�*
��
1�
D�
��
��
�
 �
Q�nd��!#�%U&|&,,p,q0�1�3#4X5:�:=;�;
<�<!B�H,JoJ'K�M�O�wEx�������:�H�������������G�T���R�%���ޢ�����J���(��Q�<����������J�a����7�^�9�x���S�����6�g���6�h�?�����-�8^�^&c�s�w�x�xwy;{�~�~�����)�U��������������0�l�u�����������G�"���������T���a�`��������xmp9ps�t�w�y�y]}�~[&�d�4������T���˯S���@�H��������a�����$���	������������4��������)f��|120	J�9$�2]4�47�<>@?�QSV�V�Y)Z�[g\�������¦�e�����ij��V��������������c���������N�!�s���!�5�~�W�Y������y���M��	-
�
��G�g��Q^!4!+"�"+$U$�%�(�,�,�-�.�.
�������ɹ�(�=�t���e�_�V���R�r���5�$�L���A���@�����*���Y��oD�F6G�I�I�P�P�QOb�b�h�i6j�jOp�pRrex������ �����R���$���B�e������p�x�yh{��և�Չ(�j�����Î��>�ő������C�����6��������&����.���?�������جv�1�K��r���:�`�ϻi���~b/!�!#�#�69:9/=>=F>$L�L�MnN�N'O�O�QT�VtY�Z[|]"^B^`�`�c,d>�COLM�NP"S�Xb�Y����H���!�v���]���^�1�A�����+���o�)���P�����b�1���121�j��R�����}���+�^�+122_:
T
U�'�,�!}���C?D�F�H�MNRNPMQ�V:W'^�_,g�i�rstBy=z�|H}�~g���������'��.�ה}�U�b�ڬ�L�����ӯT���ΰd�q�Ź�����P����/�t�����F���^�	�����r��x�������=��������4�i�E�����i�����i���
hyaZ#&�*J,�.�01�3`;�;�CM�PrQ:Z�Z�]�^b�eZhpj�jkPk�k�k�lmsn�n�r4s�srt:u2w�wz�|b}u}}��*��>�^�����^�0�b�%�|���<���Q���E���*����ƴ���?�a���f���g�����5�$�����Q����4�:�w���y��123���	�124�W�%��$�s�����Q!�"�#�%�'(](-/�0T7�7�:;�A=CD�EF�FIgK�K�L(W�W'X125Y�Y�\^�^�cmf�f�f�i�izqV7[+^1d�f�g�h>i�j3q�q�r�|}����Ƒ�����#���	�֨������'�N�P����n�Y�>�ݿ)���t�7�!���� وN��������������I����ޞ����ګ����5��������:�����$�P���#�e�z���y���_���>��~����7)j1�1w2�335i9E>�>BLTsT�T�U*V�W�XQZ�^_a`�`\do:p�p�pDu�v{�{��ֆ#�h���(�����ٞ��@������Q��ڻG���������s���Q���(�|��:�:�f��"i%�%�&�&@(�(Y)�*�*�,f-�-�/�9:�;e<[BB�C�E*HZ=Z�]A`ea�ap�p�rs�s>wp~��������W����8�i�қ���.�������;�F���ݻI�
�X��s���B���}�u�:[ �[ 0] {^ �` �b Of � �� �� <� � �� �� �� �� �� �� �� �� �� y� �� %� �� � �� � B� �� M� 7� w� �� H� |� �� )!!j!
126!]!�!oK!"M!�M!bN!�N!�O!�`!�`!�a!xd!�e!7g!9j!�k!2�!��!�!a�!e�!@�!�!Α!ޑ!o�!l�!��!��!��!��!]�!T�!N�!1�!5�!�!e�!��!��!�!�!�!
�!@�! �!�!/�!f�!��!��!��!��!#�!�!��!,�!��!8�!^�!��!��!��!�!��!�M")P"�P"�S"7T"�U"�V"�W"�Y"b"�b"3h"^i"�p"�"��"�"p�"127�"�"�"y�"�"��"��"`�"K�"��"A�"	�"�"��"o�"��"r�"��"��"��"�"�"��"��"��"y�"��"��"��"T�"�#D##j#�"#�$#Y'#�'#�*#z+#�+#6#8#�T#>V#j[#�\#�]#�]#ya#�a#�b#ie#128f#�h#�s#�z#|#��'m�'��'�'��'��'t�'��'��'��'_�'��'V�'2(�(�([(v(�(�(�(b(j(3(�(\!('3(L8(�;([=(�=(�=(K>(�>(@(A(�A(�A(�B(�C(KV(�V("W(Y(&Z(�_( b(�b(�i(Sn(�n(Ko(fw(�w(�|(ȁ(	�(k�(Ń(��(4�(ɡ(�(H�(Ѧ(�([�(��(��(ҳ(��(��(W�(��(��(��(��(]�(p�(D�(��("�(��(6�(��(��(Q�(/�(X�(��(��(r�(��(��(��(��(��(�(�)p)�)M)�):	)129 130)�131)�)()�)�)�)�)8)u)h()�():+)�-)�-)�/)�6)�G)~H)9{)l�)�)y�)��)��)N�)�)�)��)�)?�)ݮ)L�)��)��)��)��)A�)��)��)N�)l�)1�)r�)&�)��)��)��)��)Q�)�)132�)�)��)�)��)\9*:*�:*�<*=*;=*�=*�>*(?*�?*PA*)C*�C*�C*	E*F*�H*J*�S*ET*�T*`W*�\*�]*�]*I_*d`*va*�b*�j*��*��*�*��*��*�*~�*��*��*}�*�*j�*��*�*�*2�*7�*1�*G�*��*�*��*��*��*��*s�*��*J�*3�*��*z�*��*�*��*�*�*��*��*��*�+�+a133+v++�+�+y+�!+�'+(+q.++7+k7+I:+�;+�<+�?+�@+RC+`E+�E+F+�O+P+�Q+'R+G]+E^+�_+�_+�d+�h+�i+�i+�j+Jn+�o+ws+^|+q�+X�+@�+d�+��+F�+��+L�+ތ+�+j�+��+^�+��+@�+ە+c�+��+��+~�+�+�+{�+Ѥ+(�+f�+�+�+�+�+�+��+%�+H�+ɻ+?�+��+��+��+e�+k�+��+X�+��+E,�,9134,:,),�,e,�,e?,�?,�G,�G,�G,�K,kL,�L,}Q,S,T,dT,�X,�[,�\,�],�`,1a,�n,�s,�i-�i-�m-Qo-do-�u-jv-�v--T�-H�-g�-͉-G�-�-Ȧ-G�-��- �-��-��-ܷ-f�-��-L�-G�-��-G�-��-��-��-��-R�-��-�-��-r�-��-��-��-v�-U�-��-M�-��-��-��-��-��-��-��-0�-��-$�-�-;�-��-�.'..v.�	.�.\
.�.135%.\%.�&.�).�,.f-.�-.�/.=0.�0.�1.\2.�2.R3.�3.�5.m8.�9.f:.i>.<?.�?.<B.�C.�D.zF.�G.�I.nL.�L.	O.�O.�P.�Q.R.R.�R.?T.mU.�W.zX.BZ.'_.�a.�b.�c.�c.ae.zg.wh.j.�y.
.��.��.K�.l�.��.��.��.M�.=�.�.t�.&�.K�.:�.��.�.��.��.]�.d�.��.o�.��.��.��.��.p�.��.136�.��.��.��.��.��.��.�/�/�/R/p//�/�/�/�/�/�//E/U/(/N/�/�/� /I#/e'/�//�1/[3/�>/!?/�?/@/m\/']/�]/_/�b/?c/vf/�f/"i/~l/�l/9m/�m/ln/�v/w/�x/��/��/��/��/��/1�/��/��/�/��/<�/|�/��/f�/��/Y�/��/��/��/��/�/��/��/��/�0�00
0s00�00g%0�'0�K0qL0gM0O0kO0|R0�R0@T0�[0y\0�\0K_0Tb0�b0nd0e0Qe0hl0�s0�t0v0�v0�w08z0�{0�|0~00Z�0��0�0c�0�0�0��0��0�0�0{�0o�0j�0��0�06�0�0��0��0��0��0��0��0d�0�1m1�1w1�w1�z1'{1�}1p�1�1�1}�1��1�1(�1&�1��1��11�1}�1��1S�1&�1t�1��1��1��1�1��1��1`�1��1�1��1C�1�12�2�2y2�2M2�22B202=2�22�2�2�2�2�2�!2�!2q&2�+2�-24252�5262�=2O2(O2<Q2�R2�S2�S2�V2�f2Ug2�h2Ii2~i2�k2"l2En2go2�p2os2�y2Gz2!�2��2��2�2d�2Ǎ2r�2��2#�2<�2�2��2q�2)�2Z�2ל2(�2�2��2��2�2c�2J�2�2��2§2��2��2\�2��23�2~�2�23�2P�2��2��2�2��2��2{�2��2s�2O�2��2�3�3[3!3"3�3�3� 3f"3#3�#3�$3F%3*3s+3�+3.3�/3�/3�031333�43�53�53-73)83�93�;3�?3�A3�C3FF3jI3�M37O34P3�R3�S3�e3�i3j3ej39k3+m3�n3[r3�r3&v33{3z|3�}3O�3��3b�3�3F�3Ӑ3_�3(�33�3��3�39�3<�3��3]�3��3F�3զ3��3��3@�3~�3��3�3ܽ3��3�37�3s�3��3q�3��3��3��3G�3��3d�3w�3��3��3��3��3r�3��3��3r�3�3�3n4�4�4E	4j4
4�4#4�4R4�4�14�K4�M4@Q4�Q4�R4�U4�^4�_4�`4�a4�a4>c4�e4$p4-t4t4�t41u47v4�v4�v4x4�z4�4�4�4��4��4137�4��47�4$�4�48�4(�4a�4�4��4��4�4�4x�4L�4��4_�4w�4o�4�4��4�4��4�4{�4/�4�4&�4��4�4��4G�4��4C�4��4�4x�4��4��4��4��4v�4�4��4�4��4i�4��4.�4X5Q5�5	5x5�5�5K#5�#5"$5�&5'5�'5�-5D/5~/5�:5�<5l=50n5�n5�o5�p5s5*�5N�5��5Ճ5S�5�54�5A�5)�5�5b�5��5ר5T�5X�5��5��5b�5��5ֱ5y�5K�5=�5=�5ӵ5�5\�5��51�5�5E�5~�5��5��5��5��5�5U�5>�5"�5/�59�5w�5��5�5��5�56�5��5��5��5a�6�6��6��6�6?�6"�6?�64�6�6G�6��6��6��6d�6/�6�7<7�77�7t	7�1387�7�77�7M7�7l7�7,7^7�7�7�7�77�c7�e7Yf78m7�p7q7$s7��7?�7��7[�7��7��7͛77�7w�7i�7��7,�7Ԧ7�7�7H�7��7�7P�7϶7Ժ7��7l�7~�7��7��7��7*�7��7��7�7��7W�7M�7��7��7a�7]�7��7G�7��7��7%�7��7��7��7��7;�7��7��7��7��7��7��7��7*�7w�7��7�7w�7z871398s8�8�8%
8�8�8�8(8�8Y8n8� 8� 8''8o(8�)8-*8�+8X,8�/8�/8218q28H48158�58P;8�A85E8vE8H8�H8J8hJ8�\8�]8H^8�b8d8�d8�f8Ng80y8�y8�z8Y}8��8��8��8��8��8��8H�8��8N�8`�8͟8,�8��8z�8��8_�8�8s�8��8��8I�8	�8�8E�8�8c�8!�82�8��8/�8*�8*�8��8��8��8i�8140�8��8��8��8��8S�8_�8��8��8��8+�8��8��859n9�9�9�1419�9�9�
9�9P9�9D9�9I9�9979�9�9"9�"9�$9�%9"&9�)9X-9�-9
.9�.9519�29�29j39�:9�;9�=9�?9tA9�C9SG9�G9�I9>J9�J9Ov<�y<|<C�<�<��<l�<ɛ<^�<{�<a�<��<h�<A�<b�<�<U�<��<�<Q�<F�<��<�<��<