Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00049_00000_shuffled.ds.index64 linesDownload Raw Back to root
1[>0J�2��__�r�-�[��")�|�7�����~���-�������2�Z��������N�@���S@	24	%�!&@&k&T.�.199�9�;lADF7FG�H�I/JL�Nr<v�wx�{U|�|΁f�����ֆЈ����}�:�5���������d��۝'���z�ث�g�4�������x�&�ʼ%����������������S���0���������\�:����3�����$�v������Tl(��U?��)T*�.�/�1�45c5�5�5y7�9�;?FsF�F*��@�D���C���/��q���͐���q�4��C��"�m����|���<�7���e�A��p���I�����O�������A�AEG_G�G�H�I<MNmOdP�P�Q�Q�S�U�V�WsY�\�\ra�joXp�p|q\tzw�wLy}}
��p�͚��ܞN���ء1�������'��ѫ��ǵ��x�����5�������]�X��DlFG9IJsJ�J�KMM�O�S�bfd�d=f�n>o6���b�>�l�����^���
����
�j����������D���~�������E������7�c����������]���X�$	�	��G�y%�%~(�)|+�+,,�-2w2|3�4�48�8v>�@�@�C�C�D�E4GEGJPPiP�PQ|R/W�Y�[�[�[�\�^d�d2etf/griSj�k�mpno_op�rt�uvX|/���{���Ǡ���'�Ϧr�v����ѩA����Ϭj������S�ʵж���������N�6�������%���M���F���.����������3^����(t
f�e=C+g��#"n%�(�)�*KABNOxS�S�V�VY�lvz}��&�K���������߈H��.�˒9�ӕ����F�d���Χ��.�լ�Ů֯߱.���^�������!�2�"������O�)���3����m�0���g�!���O���aI�����C$�-2�2�3�3�45�5)696�6*7�8	9�;<Y<DD�D�E?G�G7H�H�IkJ~K�K;N�S2W�W,X�[]�f\k�k�����\������������C�h����/����ɫ����a��������)�}��������+��	�	/	�		q	&				q		i	�	�		�"	#'	w'	b*	�*	�,	�-	�.	�.	�/	k0	�5	 :	�:	gK	�K	�O	!P	S	�T	V	�V	�^	R_	�_	�p	�p	Er	ur	�r	Ys	)~	�~	�	1�	ˁ	��	�	P�	��	��	3�	م	��	�	w�	B�	ȏ	��	'�	Q�	�	�	��	|�	�	x�	Ч	�	ײ	��	��	.�	?�	N�	��	��	��	n�	v�	��	��	&�	��	��	N�	��	��	o�	��	��	'�	��	^D7E8;H9RH10�O11uR12�R13�S14xT15Y16[Y17�]18�]19�]20^21P^22�a23�c24.n25�n26q27�r28Qs29�w30W|317�32b�33��34��35��36;�37��38��39@�40��41��42,<���43�]?�E��,� F$�$Q*s+v,�-i.�0�1234t;	<�=�>�?�D�K�M�MeN�N�]c_h`Ra�ab�fuhi-i�j�l�l�s_tw6z�zG{�{}�˄ӊ�����,���B�=����'�s�\���+��Q�<���B�l�
���
����������l�����������&���B������l����
U�$���a�P��'-U-�/!2�24E�E,F�P�R S�S�]4^�^)`Vh+p�pDq�v\y{�~���b�6�ć��
�
u

(
�
�
�
�

�
 
� 
.!
8!
�!
1"
L"
�"
s$
�.
�/
p4
S5
�5
�6
Y8
g>
�?
�C
�C
/F
CH
&M
�R
�T
 U
7U
�W
�X
�Y
�a
qk
!l
�x
z
5z
�z

@
ׁ
.�
F�
$�
��
��
��
X�
��
��
q�
C�
��
]�
��
�
v�
��
��
��
t�
��
y�
��
=�
44�
�
�
��
��
	�
u�
��
Y�
V�
{�
��
��
p�jOC45�~�k@���"�#O$$@)R+b-�-�0�6<7�7�=�>�>V?�@dA�AG"J�J�Q�R�V�WYYZVZ�ZZ[�[5]�]P`q`�`ma�a{b�bJd�f�s�wx�y�}G~���>��U����������g�������6�O����j�$�v�1���v�����9���)������8�}�����!�!w"#P%a&[H�I<M�MsNOKQ�V�[e]/^�_�f�ghki/kFq���K������i��&��c���q�J�ï`�V�̷2�b�ɹ��j������u�S��������,
��!",u,y.0�0s1L3�3�637z7+9�9w>�CRD�D�E>HIAJWL�M�Q1R_S^T9Xaod�d�f�gj1k�l�m�o;p�p$q�s�tGu�y`~��������9�������h�����
���Ъ��#�������*�i��˿C�L6`�b�d�e�e?hchpi��ɆR������
�L�ۢV�����0�_�s��N���������I�Ʒ������5����d���7��������V��������:���"�E���@�;	�	�46��e}=����i�V�V�X�bde�f�j�kl:m�nIobpUsTu8vJv�w_}�}�~~u�ˏ'�f���'�����D�ϢK�k�����ϩ��>�&�����/����������>����$�<����m����n�k�P������������d�DL~L<MPN�O�dhj�jym�v�w@��G�������`�������S/�1@?�?W@�FBH�H7IJnJP�PQ�QHo�q�qtY���H���L�X�����F�hN=U�U�UZ`�`&fdg�g�k�kfs�t�u�u�v�x�z~q~�x���݃̄x�Ώ�����^����|����������9��ڵ~�ڶr�����?������Q����"�P��������|�.������>�����4�]���3�����E�F� �3�:��4�j��M	�47��Y��x��r�*�+�5:6�6a<g?�?@K@�A�PR�S7U)WhWX�\�]G^`7q?�Ƀ���u���Β�`�˕e�������?�6�����;���W�f�
�����������A�-�@����a�#������.���n���g���948���v"�%<'�'j2�3�425i567�89�B�B|D�E�E�H�J�J�LS�TVkt�t'u�xKyiy�{�4�B�����\�ݒē�)�
��ܡ���F���-�ү������8��8���x�(�X�������yGv�vAw�w�wx{�{�����u�������ͳZ����Զ����J�ٻ�
����'�J�49�i���5�K�n�0�3J��j�"0"^"�&{'�'"+h,&-�-�.�.�/�/#0�16�7�:6EmG�H�JGK�L:\A_#y̳�)��z����(������6���W�y��"�q�v)>�!��!�!��!`�!��!J�!*�!��!�!��!<"�"�"*"+"["�"K"("�'"M*">+"�."�1")4"�:"�;"@>"*?"E"�E"F"�L",M"mO"SP"�P"!Q"5V"�V"�V"OW"e^" a"�a"eb"�c"�}"&�"S�"�"#�"چ"Ɖ"*�"4�"h�":�"��"}�"ԗ"Ы"�"��"��"��"�"�"!�"��"ؼ"ܽ"�"��"��"u�"��"��"��"o�"��"c�"K##�#�#�#�#�#%50#b#�#~
#�
#?#|#-#�#R#�##>#�#3#~$#21#�3#�4#A#�A#B#�B#�C#�D#AE#F#KG#6J#wJ#MO#)P#Z#xZ#�Z#y\#�]#Rc#�h#�h#r#�{#\|#�|#��#��#��#؄#��#��#Q�#P�#Y�#}�#�#�#�#U�#��#y�#ɟ#��#�#��#�#w�#.�#]�#>�#h�#�#v�#G�#Ʒ#2�#�#��#�#��#��#��#��#"�#f�#2�#/X$UY$�Y$�Y$�Z$^[$
]$a$Na$ta$Ti$�i$�k$�m$o$Js$�t$�z$&�$R�$�$��$>�$��$��$�$��$��$��$�$��$��$��$Y�$��$�%!%%�%�%n51%�52%%d%J%S%�-%NJ%�J%2K%T%Y%�Y%Z%�]%�^%�_%�x%�y% z%X{%�|%��%��%��%�&v&�&�&
&1&/1&s1&�2&6&&9&�9&�:&�?&�A&�A&�B&�G&|R&=S&�X&��&��&&�&�&0�&x�&��&E�&-�&��&[�&��&b�&��&�&��&��&�&��&�&��&K�&w�&��&d�&��&�&L'�'�'�''�'�"'�#']%'�%'E&'s''�)'�)'B*'�*'�*'�-'F0'3'L4'�4'�8'B:';A'�A'�C'�D'YF'�J'eM'�W'�X'=Y'�Z'�Z'$['�['Va'�c'�h'�i'�i'Cu'�u'v'�v'3x'�x'2y'dy'�y'�}'B~'�'b�'��'o�''�'�'�'�'1�'2�'}�'ȍ'��'a�'�'8�'t�'ɖ'u�';�'"�'��'%�'^�'��'�',�'`�'$�'/�'�'c:(;(�;(?(�D(F(�G(�G(tI(�I(�O(P(CS(�T(�U(7W(-\(�](M_(c`(qc(Qe(�e(�f(Vh(�h(�j(Kn(+o(�o(\v(�v(Hw(��(7�(��(3�(܌(�([�(��(��(d�(�(G�(��(S�(��(H�(53�(Ψ(��(��(׫(�(��(ʴ(d�(|�(Ϸ(ù(�(x�(��(ҿ(��(��(@�(��(e�(t�(��(��(��(�(?�(a�(��(��(i�(%�(��(v�(o�(��(�(�))	)Y	)�	)/54)�-)�.)d/)D5):)�>)-?)i?)�?)�?)@)T@)�@)�A)�B)WC)8I)+J)*K)eK)�K)
L)�M)�Y)Z)*Z)ޣ)|�)V�)��)�)ɱ)�)��)��)�)�)��)��)2�)C�)��)��)��)��)1�)K�)��)S�)��)P�)��){�)��)I�)l�)��)�)*�
*?*�*;*H**-*�.*/*�/*D0*�3*�5*-6*�6*�7*"9*�9*c;*<*G=*A*mB*�C*�G*�I*J*dV*dX*�X*lY*�Z*<[*	\*�]*$_*�g*�h*�i*�~**�*�*v�*}�*��*�*W�*��*k�*˜*q�*�*M�*.�*�*(�*C�*��*R�*�*!�*9�*׫*<�*��*³*�*?�*e�*�*M�*k�*��*��*Q�*��*��*�+F	+|	+�55+
+�
+�+�+�+�+.+/.+I.+x0+�1+562+�2+-6+ 9+B+�K+�N+�R4�R4ES4x[4B\4�]4�^4`4'b4�b4qc4�c4N5f5�5.5�5	7�7�7r7d7�7�7E7� 7s!71"7
&7\*7�*7�+7�+7�,7�-77.7e.7E7JE7�E7�F7�G7�H76I7LJ7�J7�J7FK7�M7fN7LQ7��7M�7ŭ7�7\�7!�7��7�7��70�7	�7H8�8�8a	8�	8d578�588�8�8E
8�
8v8x8848F8o8�8$8w$8�&8&(8�,8�.8H/8"18k@8�A8B8uC8wH8�J8VL8P8LP8�R8�S8T8{V8Uv8�w87y8�y8��8��8͋8��8
�8��8@�8��8��8W�8Ĭ8?�8��8Y�8��8@�8̸8y�8`�8��8��8l�8��8��8|�8��8��8!�8��8��8��8��8�8v�8e�80�8��8w�8�8V�8��8��8z�8��8~�8��8|�8��8��8��8O�8p�8��859�99
9'9�9p9"9L9J9n9!99�9"9x"9S&9q&9�(9{/9�09m39"69�69<9�=9)>9�?9�A9�E9�E9�L9�M9�M9�M9�P94Q9�`9+b9Zd9Ce9�e9�g9m9"n9(o9�u9�u9!v9Tv9w9�y9�9�9�9��9��9|�9;�9�9ۛ9��9ɡ9"�9�99�9`�9G�9��9Y�9��9c�9��9��9u�9u�9��9T�9��9Y�9;�93�9o�9X:]:�:�:�:�:E:�:�:K:�: : :)!:
":�#:�#:V':�':�):+:A+:a,:�.:�2:	3:�4:�4:7:j7:�8:�=:�A:(E:YE:�H:�O:DQ:TR:�S:T:�U:SV:�X:�[:]:&_:.`:�`:yd:�j:��:e�:�:�:e�:Lj:s�:Ջ:,�:[�:��:ؕ:T�:��:��:+�:ͧ:]�:«:�:d�:��:N�:��:S�:��:��:H�:y�:��:��:��:��:��:
;�
;�0;2;�9;�:;�@;]B;�B;�E;5G;dH;9K;�K;NL;AP;�Q;�X;�X;�e;�j;�j;�l;�m;�v;y;�y;�z;�~;R�;��;��;��;_�;s�;��;6�;��;�;��;��;d�;k�;3�;�;��;֣;5�;��;ު;H�;��;�;�;#�;��;̼;
�;1�;��;��;��;�;��;��;T�;^�;6�;��;��;�;A�;��;��;��;��;&�;��;�;��;��;1�;��; �;��;��;��;�<�<�<�<�	<�59<�<q
<�<<�<�<<�<�<�<;.<�1<�3<V�<4�<��<Z�<�<F�<��<�<��<C�<|=�=P	=�	=|60=�61==�=�=�'=n(=�(=�{=|=T|=�|={}=��=o�=��=%�=:�=B�=�=D�=ۈ=~�=D�=W�=��=Ϛ=�=^�=��=��=N�=I�=�=&�=#�=�=k�=c�=޽=��=��=��=B�=j�=��=d�=��=��=1�=��=R�=��=A�=k�='�=k�=�=;�=E�=q�=��=��=��=��=��=��=y>�>�>>g	>�	>�>;>�>�>�>�>�>%>�>%!>�">k+>�+>&,>A->�2>{8>�8>�8>d:>�:><>tE>�E>H>��>Ȩ>��>��>�>%�>s�>��>�>;�>��>��>��>I�>��>�>6�>@�>}�>��>��>�?62??�?t?�?*??d?�??P?�?�?�!?"?$?�$?)(?6?U6?q7?�8?�8?�9?T;?�L?M?�N?SO?(P?Q?JR?�T?U?�Y?Z?it?�t?_w?x?VB�B�B	BhB�BFB�B�B�(B�)B�+B1,B�,B�2B�2B(7B|7B�7Bx9B�:B';B�<B�>Bb?B�?B�BB�BB�CBQEBIHB\IB4JBnKB�KB-OB�RBtVB�VB.WB�XB YB!aB�kB�wB�zB�zBS{B�B��B��B$�B��B1�BӓB��B��B�B]�BָB[�B��BS�B!�B�B>�B��B��B8�Bb�B{�B�B�B��B��B��B��B>�B�B��B��B�B�C>C CFCE	C363CyC�CCC^CDC�C� C�!C�"Cb:CGC�QCOWC�WCZC�ZC[C�[C�[C�\C`C�jC*kC�kC�mC64oC+oC�C��C�C@�C=�C��CӨC��C��C��C��CJ�C��C��C6�C��Cc�C?�C��C��C	�C��CH�CJ�C��C��Cj�C��C��C1�C?�C��C��C�C_�C=�C��C��C��C