Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00078_00000_shuffled.ds.index96 linesDownload Raw Back to root
1mW��(�*�+�-�.�/61�1(x�x\z`{ǀ��������������ޡ����s�����>�l���e�r�,�g���<�������������t�!�V�����@�G
�z�� � "�%I'�)�*�+�+l,�,�-�2+7�7�<#?|?�?M@ZE�E�H)J�JbK�KL<L�P�R\S�S�VX�X)bJbd�d|n�oVp�qnt�w�z�~��[�����σa�>���r����w������x���a���u� �]�������ص��	��I��|�������s������Z�����T�����%���������
	?	|�zC�1U2�2�2h344�4�5�6�8#;=?~?�@�C�E�X�Y�[%_�d�h�kdlTm�n�n�t�������:����N���v�2�3�Q�'2�^4�5���6l#v&�'�'�(�)Z*�+h-�-Q.@/
0�0J2g3�344��ڎA�������=����$�����>�x��f�0���
�����z���-�V���������6��%���$�n��{���Jy
�
j�T�d��
��P��M!�'�(�:�;�;�<@T@�B�D�K�KONhP�[�]^S^9_n`Aa�p�q�wY|�~���9���\�s���ޤ'���Z���d���ϻM�w����_�,�����8�����t�����G���������;���_p7Dd��� 9!"&�+--�-.h/+011�2�7�7)9z<�<>C>�>�?.@�@8R�RVS�cGd�dMl�lo�p�s<�ς��Ȇ�A�U�Ď��<���:�Ӕo�x���,�.����e�����F��ɶ�O�:�����>�r������5�T���P�M���*�����L���������1�$����}-	�	�9�
f3��(�)k+�+�+]Q�Q�T�UmY�Y;^s`�`za�b�c�c�edg<h�hci�jVk�k�m	n-noo�w�10���c������3���������S�1�U�h�p����������?�������-�����]���������1�
�L��zs�)��Z!�%-)�)�*]+�-�-Z.K/2�6�78�9t>�@�C�E�F�LDN�Q�elmAp�rGs�uυ����W�ЉS�R�x�B�Q�!��� �ޓ��ǗK�5��7�l�˥��5�s����A�0�#�4���1�~������]���g������������,�������{�7+020�0�1�2<4b4�=>�B�D�EFMF�H�MVdrf7q�z�}�~�~y����_�|�3��@��ԉ1����
�K�����m�|���4������r����c��������`�t���q�����:����������,���A�L�����L� �S��	�	M	�	�%	�%	�%	6	V6	�6	�6	
<	�B	�E	�G	N	VN	~O	zP	�P	�\	�\	l^	�h	�n	�o	�r	�u	Bw	]y	|�	��	T�	��	�	�	B�	"�	~�	ǒ	\�	�	�	��	̚	�	P�	h�	4�	ܿ	��	R�	�	3�	��	s�	��	G�	��	J�	��	;�	+�	Z�	��	J�	X�	�	��	T�	\�	o�	D�	��	8�	��	/�	�	�	511I12]13:14�15�<16�C17�D18WE19�E20$H21�H22|K23�L24�P25�R26SS27�Y28�Y29�Z30�[31�[32$\33�\34�]35�^36_37�`38c39-c40Rd41�d42�h43}�44�45͐46�47��48��49c�50I�51��52��53n�54L�55u�56��57U�58��59��609�61,�62��63�64��65��66��67��68?�69��\t�u�wny�z{�|(��������t��Ge��H��70�
2�gc6S9Z:S=�=?F?�?�@�H�H`I�^�_=cnc�c�eCf�f%g5k�k#l�lcm�n�q�r�r�v݅����H������k�����r�Εٖd��A���;��c���1�H���^���)�����Z�k���"��g����d����1����P�71���1�T�����i���W�����:�<
�
�	
772
�73
T
�
7
y
�

�
j!
�#
b$
i(
�)
�)
@-

/
'7
�7
A8
�8
?;
};
�;
�>
s?
�B
C
JC
�F
P
�Q
�S
�S
�T
kV
BX
�X
�Y
74Z
4a
b
!c
2d
�f
�f
�p
Lv
nv
��
��
,�
��
��
k�
?�
��
��
N�
W�
��
&�
��
[�
��
T�
��
n�
��#~$^%C&`9V@�@%A/BOGKFL=M�M�MdU�W�pqQq`s�s1t�|�|Ty�d�j�j�ŏ9�}��I�7�����ţP�+����\���"�é0�k�y�_���H�v�������5��l���#�O��N���,�і8�/����B�\�ѧɨ!��J�ګ��T��r��b��/�G�U���?���N���+��������^o u{��!�#M$�+�+�-.Z.�.�01F1�59:v�v:ye{�{�|�}��˃&�[�������K���)�"�L�™��_����E���������V�����������5�~���7��2���a�;�(�0�+��	I75p�$�a�x���#'['(f)?*�2P3+9�=�=�?@0@kDE]X4Z�k
nfn�r�s[t w�x�yiz{{;�s�Ā���}�5� ���[��v��+����J��P�����ӳ��������	P��4o�L/�2�3�5o89�9�:?;�;C�t|�����>�}�I���/���ќǝ����z��T���8�ܿs����������+�C������Z������6�x������5(�'!R	�76��j���.��"<"�K�N�O�Oj�����u�I���������X���������:���9�.�_����������Oy�/��J
��$����W�F&�&*2�2�4�8�;�=5@�C�DjI�I�J�NPO�OBP�R�S�T9V�V�V�WNX�X�Z�[]\t5tGv=x�yxz8|(}T �D����׋��-�\�����A�����\�����\��������n���J�;�-���2�����������=�	���m�1GM�:1�1_2�2`3�7;8v8�9N>�BiG�J�M�NAW�WX^Y�["`Lb"h{h�iMq%r�tRw�w\x/�Č*�H�>�����W���̘��љ7�����:�j���w�k���R�~�5����n�77���:�W����������[�
���&������4���j��78�w1 � '"h"$�$Q%D&'�'!*�+�-7�8�8U9�;�<�<�>�Q]�]E_�c_mhoq�y�z|D|�~�������������Z���j���՜��ޠ�C�V�o���	�)���������������J����|���&���?�Y���x�%�������<�}����79o^
x
*k��r?[` D"y".,x,�,�-�-�/6=c?�@PA�A�G]J�QR�S�^�m(n�rzs�t@v�y�z<|p}�}Z~���6���E�,���A�����Ϙc�ۚ�����_�~���k�ܼ>���п	�/H�HJP�P Q�V�V�W\\�np�q�~��`��\�ÙF�80��:������>�z��H�&��J�������~�)�\%�81Fm�&Nm��LZ�� �)i*>.�.v2�2�3�4�?�BC�C(VW�W�[�`�`zg�m4n�n��͔��X�v���&�/����_���%���u�.�l�������ɫ}�s���5�H���p�������e���|�$�v82�83�p�r�tۅ��Ŋ�ώ9�s�:�ԑW��=���ڝ���x�ȣ��,�Q���������������e�N�����W��������E�2b��W�8�!#�#�(�+,�4W6	8�?>FNF�G�J|L�M�N�N�O�PQQ6X�Z�[3\�\�\vc�f�icn�q�q�r�xz�{9}0~���U���Ř��x�6�%�����5�a���k�����Y���L����O���X�E1�O;@�GZ�^�f_` 9$%~%�&>'�*/+`+�+T/�/I01z4�8849�;<�?�?�AD{GH�K#N*SXS�S�z�~8�����t���	�N���z�����r�9�n���G��f�z���i�p�,�q�A�_���R�6�?��������\�s����y�v�����85������b���86d	�8788}�P���[�E~�) E.@/�/�071�4�4�?�AFHcL�LM�MlOR�R�SxU�U�V�YZ�Z�\x]�]j`d�r�r�sbz?|{}�o���e���;�����Ԗr�Ϙ�����ޟo�>�¢� �\����3�ޮ̯���T�r�����-�����&������r�����5�������M�}�R�����%���+���a�/���������� � � �  o " Q � " r  E 6 7 �  � � { � 89  ) �* �. q/ x9 �9 U; �; #E :E �E �K *Q �Q �Q lX �X MY �Y �Z t It �t �u 1x �z (� � "� �� n� 90� � r� E� Õ �� �� �� � m� � �� l� h� T� `� *� �� � s� �� o� d� �� N� �� �!�!'!T(!G*!�+!*-!X.!OH!&O!Q!;S!_!ec!�j!�n!o!�u!�u!;w!Gy![z!n{!}!1}!9!�!q�!��!�!��!��!�!��!Z�!��!:�!�!��!1�!��!�!P�! �!b�)�)p�)��)�)��)��)_�)4�)��)�)��)�)f�)��)��)e�)��)��)��)��)�)��)��)��)��)��)��)��)��)��)8�)e�)}�)�*m*f**U**v*g!*]#*Q$*�(*{@*NA*�A*hC*�X*�X*+Y*�Z*[*(]*�`*wd*Df*Tf*�i*j*�j*k*�o*dt*�t*/u*px*�x*K{*c�*�*Ԅ*��*%�*Ί*/�*��*��*��*�*Y�*��*ߛ*$�*��*��*
�*��*��*M�*�*9�*��*M�*�*��*7�*~�*y�*��*S�*a�*��*��*�*?�*��*��*�*q�*�*��*�*��*��*9�*!�*��*��*I�*p�*��*�+$91+L92+Q
++'+�+P+�+�+�++�+ +�N+1P+�P+oT+X+�]+�^+�_+�a+5b+�b+Fs+Q�+��+�+g�+��+�+o�+��+֬+t�+k�+D�+u�+��+��+��+�+��+��+�+��+��+�+b�+?�+t�+��+��+�+�,�,1,�,{93,�94,4,
,,�,N,0,�8,�8,959,�=,�=,S>,H,�I,�J,�K,�L,YM,�M,X,�X,�Y,�Z,j[,�[,^,�_,5a,=b,�b,�c,$e,�h,��,�,s�,�,��,��,��,��,̙,Ś,m�,t�,J�,֝,�,�,i�,�,��,U�,r�,��,�,]�,��,[�,�,*�,��,w�,s�,��,w�,�=-a>-|>-%F-J-[J-
M-P-�S-T-�U-V-eW-�b-�b-�d-�d-�e-�f-Fg-eg-Fh-�h->l-il-�m-	-�-�-��-Ԅ-�-\'.�,.�,./.�/.j<.�<.=.�=.O@.PA.D.\D.OE.�F.xK.�M.�O.�P.�Q.�Q.&T.AT.RY.�Y.�Z.J].96_.�_.�_.tc.�g.�h.=i.ti.j.+�.�.́.5�.?�.Ì.��.}�.�.M�.u�.'�.p�._�.+�.ȡ.�.��.��.��.�.2�.��.��.��.t�.��.B�.f�.�.��.��.7�.��.Y�.��.��.��.#�.��.�/./#/[/�/)/�/�//c/M/�$/^%/;(/�(/�(/\)/�*/�,/R-/�0/2/q4/5/�8/�S/U/�Y/Z/\/e\/�]/%^/F_/�_/�a/Mb/id/'e/{f/�f/�g/h/3h/[�/��/��/�/n�/��/�/�/Z�/��/O�/�/s�/��/ɮ/�/S�/%�/E�/�/�/|0�0�0�&0h'0D)0.0f.0�.0�/0"00�00�20�60�90OB0pD0:E0�H0�S0U0V0$V0SW0@[0�[0]]03^0�d0f0]f0Eg05i0�i0�q0ar0�r0�r0�s0=t0�t0�u0�w0y0Vy0�{0b|0�|0�}0�05�0��0�0��0J�0އ0Y�0?�0d�0��0��0�0g�0��0Q1�1�1]1t1�-1M.1q.1}51�51861�61�?1!@1c@1A1oB1C1
F18G1zI1ZL1�L1�M1~N1�N1xO1`Q1TR1OS1�V1Vb1�b1�c1�e1�i1v�1��1ń1�1�1��1E�1x�1��1��1��1��1��1��1I�12j	2t2
2�
2a22V2�2�21f2�w2x2�{2|2h|2ƒ2�2m�2��2F�2�2��2[�2��2�2��2ŕ2ݖ2(�2Ϛ2�2��2|�2o�2ަ2˧2H�2��2��2�2&�2\�24�2*�2��2�2��2`�2��2v�2$�2:�2��2343V3u3�
3I3�3s3�33�3>3l!3�"3O#3�#3�$3k%3	)3(63�63S73�73eL3�L3�M3�O3�R3"S3fS3hT3RV3vV3�W3,X3�X3�Y3-[3�[3�c3�d3ke3�e3Tf3i3[n3�x3�x3�y3|3�3|�3�3Z�3O�32�3��3e�3�3�3��3��3�3��3��3գ3��3�3��3��3��3Y�3��34�#4}$4�%4�&4�(4�+4,4�,404I04�34l54�84�84�@4_D4�M4/O4P4"R4MR4�S4T4�]4�^4�^4_4�e4�e4�o4�o4r4jt4��4?�4ӈ4y�4��4�4o�4n�4g�4�4x�4֙4G�4؜4/�4��4ޠ4w�4��4��4~�4��4��4��4�4
�4m�4�4��4@�4r�46�4��4��4r�4(�4N�4��4��4q�4'�4��4,�4��4�4`5	5%5�5�&5+5N+5�+5n,5�,53-5�-5)05#55�55�65�:5>5<F5G5�L5>Q5�R5&S5�S56T5Y5�Y5w[5�^5b5)c5�d5�e5zr5�s5�t5�u5xx5�x5z5}5V}55؃5�5��5�5'�5s�5�5�53�5:�5�5F�5	�5��5Ң5�5��5`�5��5d�5�5��58�5��5��5��5��5,�5��5T�5��5>�5��5t�5