Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00080_00000_shuffled.ds.index81 linesDownload Raw Back to root
1��u
�
��&8�4!�!�$G*�*,o,
-�3�4M;�<�=d>�>H?BCH�I�I*TU�U�Y-\�\z^�^&`Q`�g�m5op>q�qw�x�z{�{�F���N��K��� �U���@��q������Ԯ'�ų������
�O�����*������������������t�2���7���B�s��������+��m��[��k����H�?���v\��U�Y�!�"m$?%K&:*F01=2�X�Z�[�s�y�|}?~�;���������[�Λ`������u������x�w���,�����������������	�Ac�I@d	3C�������* y"9$�'�'�)�*�+-�-�1j2�3�3\4�5L6d9�9�B]E1JbJ�M�M�NrO�[0`�`Ha�a|bg�g�h�j�j�j�r+u�w{�{ӂ������p��=���u������Q�����ܡ����V��C���������Z�8���?�h���������"�:���-g�2�4l��5]�#j$�$DUtUUV�V�Y�_�`@anaHb�d�e\frf�g�k�k6s/v�v�v:x�y��������$������ϧ��k�G���(�خ����`������X�"�R�����@�y��Ft�_ux
p�z�L-�Ue? �$%.(�(W*�*&7!@wA-B�B�B�F�G�GDH[kCk�m�m�n�o�orp
s�s�u�v�x�|�~A�V���|�*�!�������u���o���?�˰��гO�^�����@�!�!�'8(Q7�8�?^@�K�LqZ.k�pBq�q�rOt�tN|3�j��w����-�q�~���ܠ���������ɥøf�ȼ��-�9�k����3���n�,��������������+	�5;a���Fd��t�]"|��"�,�-j/�0�7&8^:;�;�;>i@�A~B�BN�S�UIW0^�^�^�_�`�c|hQi�{�}�w�.�������'���r������������t��������0��;�j�����d�1�+� J�p�#B#k$*%0'�'e)�)a.u.x0�3�7�>�>�?jB�W9Z�d�eIf�f�}=���i�/�u��A�S������������+�Ýg������Щ4�1�̮X�����������P���1���w���w���m��������X��u���d1�	��C����z�)#!>!^&�&8�C�ECGHCJJLLVTk�l�l�m�m�nlo�y*z-����� �בÜ�Z�����~���٧����j��2�`������������v�d���������v�����u���5�l���)��������	�	R	�	N	E	� 	T!	�$	�%	�%	�'	")	i*	n+	�,	b.	�.	)0	T0	�[	G\	�`	�`	�a	c	�c	(g	�k	�m	�p	Yq	&r	�r	4u	�v	�	�	؈	��	^�	�	r�	��	_�	��	�	��	2�	��	δ	I�	��	��	�	c�	�	��	��	�	�	��	�	�16|27A78f79�710�:11�:12�:13�>14$@15�\16�]17t_18�a19Cb20!e21�e22�g23;k24l25Rl26�l27Ys28�u29_v30�v31x32�33��34��35y�36��37��38�39|�40�41D�423�43F�44e�45��46��47�48�49�50��51��52��53�54��55c�56 �57�58O�59��60�61,�62��63*�64i�65��66��67��68�69�
JYT�]����Q )"�%�'�)�*�+�,�,�.]/�7;9.;�<�=c>�?�A�AB�D?EJG�J�Q�WZ\W]^<^U_F`�`�b�e�f�g�r]s�t�umvtwQx�~���Z�D��������ǧI�#�s�=�t���w��
���c�շ$�����B�ۿ	�r�����W�R���$�j���x���'������V����������I���������A��c�"=%�&4'e(d)9+h+/�/�0�2�2@4c4�4�6�6�=�G+IY�Ye[�[�_]a�a�b�bue�f�f
|�����ԛV���c�p������s�^�����	��������[�k���������W�����A�"�4��E�f�Y���J���
�
t
B
�
q
�
�
�

U
�
�
�
�
�
�
70
�,
=-
1/
h1
�1
�2
�2
"7
]8
Y@
;A
nB
$C
�f
�k
�k
m
Hm
5o
�q
s
�z
�{
!|
�
��
��
�
�
Cd�d�d�e'fOiGjsp�rZsS������������������H�~�j��T���������P�����?�B����>__�Ig�R � !�!�&�0113�3"5�5�56
C�H�MP#S�W�[]d]L`�`b�bd�fNg�h�iQk�mrWt�urw9x�����i���������2����%��������f���r��(�V�H�������K�����_�
�
OFJ[�<{ � �#�')k)�031�3�3�3�8)9Q9:y:MM�[<\)_�_]`�k@omovp�q�wy1|V}�~��ł̃��t���ĕ™���}�D���g�n���=�g����������2�(�-1
7�:c;?�?�AiC�G�GaH�H�Q�]4`,a�a�b�f4j�e�E�z�5�����;�k��ƞX�����71�q�/�]�L�����ƭ��0�ʴd��2����K��+������3�������c�;����]�������F����Q�]�^�_�f>i�i72m(m|m�nzr�>���"����h���l�9����;��-�0t1*[`[�`$a�a9bCcgLu�{�}�}��������������M���S���2��ġ��q�3�ͩ����q���B��\�� �!�$�%,&�&�'5)/�/�0�3�<i=8>�?�@xAC�C7E"F$OzO�P~R�S;T�TUGW�Y!Z�[q^�^�_`�fqh�iEl�l2mwrrs�suZvy73ym���s����k���������ޝ��ϠC���"�P�ε�����̸�I���@�ʿ��%���!�k��������������Y� �������-	�Q�J � "v'�(�(7,�-.�/0�1A47m8�8�:�;rF-G?GuO�P�X�Xr_�`�a�b3d�dnXn�r�xz����˒��p��C�[�ƛ+������*�©��p��ѵ(�������r�ʼ(�W�b���o���V���0�%�����������5���1��W�����i�����G�G
��&BJ�LN�N�P�QlRIS�S<T�T�XL_za�a�b�b�cyd�d�eansppsw�z�~�^���*�������e�v�Ǹ7��)���<��@�?�S�L����=�������dT]U�V�X[Y�Y�[,\�`��*�Y���"���Èj�Z�����]�q�#��������<��E���5�v�:�O������D����	~���4�C��&%�%�&�0G6�9N:3@�@�B^4b�ba����ִ6���5���s���۽2�R�����������C���p�����'���*�T���	������������]���F���G���.�0���CtF�GCS�S�TU�U�WiX�X�Y�\?`�`sb�epfaj�jF��`���܄z�@����v��R�-�e���{������/��;,���yNm3�5�6/:X:�;�<�=:>�G�G�JNaN�N"O0R�T�U V�\^�_)ab-cocbd�d�d�h!j�j�s)tlx7y�y�{�|�|8}[�j���U�щ'�m���ђ��"�U�}�<���0�)��DZ�	�F�����A������ ���������Y�����v�8���Y���h�2�5�74�������l�=���X���� `!�!;;T<�=8P{SDV}W4`=ava�a=n�nSo�p5r�r�sDw-~�~����*�Lj������v���՝��U���]�Q���:����ĭ���f����z�z�z){�|�~�~Yx��$�o���/���.�>��.����
�l�3���n���G�������)��������75�����������8�������Q�]����	
��=.��O?FY+,�6�8�<�@�A�B�D�K�N�O9P�U�V�]�^�_�`agb�b�cqg�g4h8i�i�j�m4n�p�q�s�sG|�|!���߅K���a���H�t�T�������̏�6�u���9���u�,�����{�q�D���;��/�����I�:�����0�P��������-�J���
������������ � � � , � }� � 8� ܟ g� �� �� �� � E� 2� � �� v� �� �� �� � �� �� �� %� �� 0� @� � �� �� G� � =� � �� (� {� Z� �� �� }� �� �� �� �� � �� � o� �� $� \� G!�!�!�!�!	!w!�!a!�!y!=!�!s!!!|!� !-"!�#!�(!J)!�*!�,!�.!�<!A!rB!�B!DD!�D!yF!#I!$J! L!>M!�O!5R!`!k`!�`!�b!�c!4p!�t!�v!��!f�!�!a�!��!-�!��!��!��!��!�!Ț!��!�!��!˷!�!D�!��!��!76�!��!B�!~�!T�!#�!i�!�!!�!��!<�!��!��!��!b�!�"e"�"�"�"G"�""�!"�""M#"F$"�$"&"("_-"V."�."�."0"�0"N4"�4"�9":"j:"�;"�<"A"tA"�B"iH"�H"@I"�I"�J"�K"�K"M"�M"�R"�b"�d"Cn"p"5q"�q"Zr"�t"	u"<w"�w"�w"Pz"�{"�{"|"U|"�|"h�"��"R�"u�"�"a�"7�"#�"a�"�")�"��"^�"��"��"�"��"Ϸ"ٸ"��"�"�"<�"A�"p�"T�"�"��"�#� #"#j$#�'#+#�/# 1#W3#�4#�6#P7#�7#�8#F?#;C#D#�I#1J#�L#fM#�Q#5S#U#�X#tY#_Z#�[#Q_#N`#Ia#cd#�d#�h#�i#sm#o#�o#}r#�t#�u#Vw#z#�}#��#u�#��#�#��#̟#\�#͡#�#q�#u�#c�#i�#�#Ÿ#��#L�#��#4�#��#��#��#�#��#g�#��#+�#��#��#��#��#�#��#J�#��#K�#��#
�#�#Q�#��#��#�#[�#$�$X$-$�	$a77$�78$"$M$�O$6S$�S$�U$!V$OZ$qc$2d$�o$p$kp$�q$Cv$�}$b$��$�$�$v�$�$��$G�$p�$1�$d�$��$��$M�$��$��$p�$�$��$��$�$��$�$Y�$t�$��$\�$��$s�$��$�$�$��$?%v%�%+%%�%�%�%�%u!%z%%�/%�0%�1%2%�2%Q3%d3%�6%�I%�J%ZK%X%$Z%6\%�\%^%�`%�p%�q%�u%@v%�x%�%Q�%ŏ%Ց%��%#�%��%��%G�%��%��%�%�%��%1�%�%�%��%)�%��%��%'�%��%��%�%6�%��%�%��%&&L&.	&9	&y&�&?&k&�&L&�&}&q&�&�&!&r&3&�&p &�!&�1&o4&bG&�I&2L&vL&�L&M&eO&�j&u&�&�&��&3�&f�&��&�&��&�&̍&��&��&`�&'�&o�&��&W�&��&��&��&��&9�&f�&��&�'.'�'u'�''w!'�!'A#'b$'A&',''i''�''�)'�)'�+'�0'T1'�1'V2'�2'�3'�6'>7'<'e='s?'�?'�@'.C'	E'�F'XG'pQ'�Q'�Q'`X'�_'�_'�a'b'bb'�n'q'�r'w'�x'2|'6~'�'�'`�'��'x�'*�'�'�'K�'��'��'ʠ'��'e�'�'"�'.�'�'[�'��'��'	�'��'֫'�'��'B�'��'�'�'F�'m�'��'�'L�'�'��'��'8�'t�'��'��'��'��'��'}�'��'��'��'}(�(y(1(�(A(�(�(�4(F5(�6(�7(
9(H;(%<(�<(W=(Y>(�>(�?(8A(B((C(9C(�C(�F(mI(�I(�J(�P(�P(R(<S(�T(V(W(79Y(VY(Z(�[(^(�_(Xc(�d(e(��(�(I�(q�(��(W�(~�(�(��(�(�(J�(|�(��(�(`�(��(��(��(	�(y�(U�(4�(N�(��(�(��(��(��(��(�(6�(��(��(��(V�(x)�)N)�)�))�)1	);80)�)�
)�)�*)�.)K4)5)c5)%6)�E)F)�F)�F)L)�M)�N)VO)�O)��)��)��)}�)��)3*�*�*;
**�*U*�4*�:*�@*�A*KH*�H*0K*�K*{L*�M*rN*�N*�U*�V*~W*�W*Y*�Z*�[*�g*�h*�n*�n*�n*�p*�s*u*Gw*�z*�|*~*$~*~*�*8�*,�*�*��*��*��*��*�*I�*��*P�*T�*+++U&+�'+�(+~9+�<+?+$?+�H+�H+�J+�M+�N+�O+�P+9Q+QS+Y+yY+�Z+[+!c+rg+�g+�h+�j+�k+m+1m+�m+�m+n+Un+�q+�t+Nv+w+�w+W~+�~+ +u�+�+]�+��+؇+��+8�+|�+��+J�+��+�+�+��+[�+>�+y�+_�+��+ș+��+��+$�+�+P�+~�+-�+�+�+�+�+"�+.�+�+)�+I�+�+��+�+��+�+Ⱥ+��+>�+��+�+e�+��+6�+��+��+	�+��+��+��+��+�+(�+��+�+��+��+��+~�+��++�+��+o�+63,�3,�=,�=,�>,�>,�?,81C,�D,+E,@F,?G,=I,�I,iJ,K,�L,�M,�N,�P,^Q,�V,�^,2`,�g,i,Gj,2k,)l,{n,�n,�x,�z,�{,�|,[,�,��,7�,��,��,A�,B�,�,1�,��,�,�,��,0�,��,�,�,��,D�,��,ϱ,��,۶,�,��,�,��,�,`�,��,�,1�,��,B�,��,��,`�,��,��,�,�-�-�--�-+-]-�$-B&-�(-N+-�,-/8-5;-�<-�=-]@-�A-B- C-[C-�E-kF-�F-(H-BI-�L-pX-�Z-Q[-�[-X^-c-�d-�e-Ph-�j-�r-Au-�u-�u-�x-�{-|-0-m�-��-