Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00008_00000_shuffled.ds.index81 linesDownload Raw Back to root
1���]6Z	�	,*R���~U�6Gy/D��2 ? ^ � �)3U3WZQ^�`�b�e�i4k�lcp=q�qqr�s�vwVy�y�zq|�}{�����n�v�C�����
�²�����T�G�������0�m�����w�:���C�"���
�W�]�����*�x�t���.�c�-�z�@���t�������>_�%Lf�4��!�"�%m&a,�9�<<B�E|L�MZ�0���}�5�@�������N�I�~��������0s
q�!�I�p����L�8�"U$�%*h*2,�,�-�/e0�0-3�3�5�8�9;U\U
VW�_i`�c�eyflh�h4i"jsn+qeu�u�v�wy����4�҆�������0������Ժ�ջ��Ҿ���g�q��A������������u�S�W�������A��A�������$���uN
��]{���S!�!"m#)Q*i1�2�4�NZPoR�T]K_�cEp�qXu�u�{|�+��������I���
��J�*�^�������f������5�u�T�������[	�
a�4,6D78�@cA�DE�G�G�T�U*WnZ[�^G_.���)�v"�#9�9�9�:cE�E�I�P6_`�cdBg�l�mdp�p�qkr�stmtDuJv5{B|�~��=�ȧ}��ܭ�#�m������%����8���w�n�\�������V�6�j���@��0�N����:�	�	

4�6u�����$
%C(�(�)�+z,-�.0+0�24�4><F=�AKC�I�I�IzK�K(M�OxRtT�T[U�Up���ї3�ͥJ���e�Ǭ�����+����K�#%�%r()3*_*+�/�2�6�7b8�;�=�@�A
D6F�M*N�OUPR�S/W\n\^[_0`Fa0cNc~cd�e�e�h_k�kQl,o�t�t�u�v
wKw�y�|J�p��u�>����Z��������p�����0���M�������	�	t	M	�	,	I	b"	�%	�&	�(	q+	.	b.	�.	�.	0	]2	4	j4	5	k5	�5	R6	�7	�8	`:	�;	v<	�<	O=	-?	�@	�@	(D	�D	�E	�G	J	�L	�Y	�Z	�[	�]	�_	�`	Fb	3c	�e	wk	�l	�m	n	Qn	�n	�o		s	�s	Au	`u	av	�v	-z	}	6	3�	ǀ	`�	x�	�	H�	�	��	�	ü	��	��	k�	��	��	 �	��	��	��	�	�7� 8[#9'%10N%11�%12+(13C*14i*1516+17;,18z.19�.20H021022�023�124�225b726�727�728D29G30�G31)H32�M33�O34�k35�m362�37��380�39К40�41��42�43{�44_�45��46V�47��48��49��50k�51��52�53��54��556�56��57��58I�591�60r�61��62j�63Z�64��65�(��%�&�4�67�7�8�:�;<X<�<}=�>�?n@�@�B�C�DE�E�FOK�K�L=MhR�Wx\jl�o�p�p�tvB������������e�Q2�2�3;4�4�6�8.C�E�JRK�L�L�M:N�N`O}SAT<U�W�WZZ|]T_Fb�g�jxl�l�nvo2p�q�w�y�z0{'}�~������B�؃M�����k�����|�66�]���\�Q�ݻ&�^���,�^��_���g���������ݓ
w�
��
қ

�
��
3�
i�
�
�
G�
t�
��
�
��
P�
��
&�
6�
]�
��
��
��
��
�
	�
z�
�
��
��
s�
��
U�
��
/�
�
\�
��
��
��
:�!IM��}���� � i!�!"�"<%'v'�'�'�)�*z,�,t.�.j/�0~1�1�2f3'4�4�4]6�@HA\CjFGJsKeL�LEO�O(R�R�R�TUU�VdY�Z�g�.��������$�n�'�P���Y���Ȭ®z������������T����e���K��;��� �����#��L��	r67���2�:�j%}t�uvw�wvx-�?�ڡ'�W������2������!���W�е�W�����K���g���2����v�<���t������C5D&E�E*G�GsHI�IEL�L�M8QMT�T=UUX�X�Y�\�]�]_f_�_~`�b�gjhiNk�z%}�}�~C�וs���k�����
�s���-�=�����7�Ԯ�I���z�������M���K���n�,� �/~�PD���1.23=3T3R6�6EFSG�IZJ�K-LoLS�Si)iq�q�y$|�|�ǀ[�:�I�x�����ȉ���Î�V��������&�����������'�������y�%���>�G��������=����68���I!F"$�'WA�B|Cj\�]�a�hUlm os�t@uew�wx�x\yo�%�����և����7���a���d�����}�c�����3�;�ȡѢ���M������>����Ǹ��9���u�t��������������E��i),��	969RX
�
?�?��!�%�&�&�*s+7.0s1�5�7kG�K�LGM�M�O|QS
V=Vp]~^na3u�uz������������ؐF�������=�>����f��`�à������������[�M���4��b���N���r������������������_�E���$�q���T�e���p�V�����$L��j	�
�=���EzO�+�/*4�5_6�6�6%8�8A9�:�:;�>�C�D�E�FUGfH�I;J*MkM�N<P�Z�\�\*e�e�g/h�h�k6mcm�m�n�u�x;y�y-{�{�}�~	�҆&���+�O����4�h������D���ߩ��F�����rDr��Y��1�1�4�4i?�@�B)G�J�K�K�LFNQ�RrTU�VBW�W�\#^�_�ccd�dJfAnp3p�qor�t�uwZw�x�~s�e�����>�f�k�������n?�?	BcD1E/F�H�HO�P�R8U&V�V�V�X�Y�Z�d�gm�p�q�r;sdv�x�y\�6���}�X��������:�������������!�o������Y�����k��������3�\���"�Q���70��0�8j��
z,�]� !#H*�*�*�3^4+6X6�7�9):�;U<=I?@�@A�B@DjK]LbO8Q�VDZ�Z�[�eThWj�jkKkblpr�w�;�ވ�ˑ]�c���2�1�������١��;�������\����������������r���������8�����������:����g�A���'�v���������	�#�,���|�
�4������X�6��=q�	<71��`=!�#�%�&w()D)�)J+-1�1�5�7�9�9a;�<�K�K�L�M�MiP7�~�����"�7�������������p�.���|p��.�8o:l;�<=x=�=r? @72A@ExGuHL�N�N6O�QQS�S�UV�V�^�_�_�aB�/�����i� �������~������v��~����e�S.�.41�2c4�5%~�~5�g��-��̤��
�d�����%���G�����]����� ����������"�S�����e���������73s
�N�b{d1e�e�e
g%h�i|j�m9o�o�p�r6s2~E������$�h���;�ԛ���d�����f�u�9�D����A�Q���^�������Z�����a�������n�r�����}��k�-���q���G�����D�m�������"���
�����q�����k�z��!�!"B$d$�+�4`<5?�?�?8@�A{CDWD�d�d?e�i[k�n+o_oFp�t,uv_vwKy�z����s��Y�`����]���5���ٯh���2�a�*�������B�P�s���4�M�v�����]��������y�(���L z � �	  
 � : � � � ~  Q >" �# o$ S0 h7 m9 �; = = �= �\ �^ z` �d e  f �f �g i �i �j �l �l �n To �p 0q �r %s qs ;v .w ux y { ̃ � �� �� �� �� �� 6� �� `� � !� Y� � ՠ �� �� �� �� x� k� �� 0� �� �� �� � � 0� � 6� � �� ^� �� 5� A� �� � �� �� <� +� �� �� �� e� � }� s� >� �� �� �+!�+!".!�.!�/!70!�7!l<!+=!�=!a�!e�!`�!l�!d�!Ǫ!��!��!߰!�!"�!�!�!\�!d�!J�!r�!��!h�!��!W�!/�!�!�!�!x�!��!��!��!��!��!�!}{"�|"$"�"$�"~�"�"��",�"Y�"��"��"C�"o�"��"��"��"��"1�"��"��"f�"��"��"��"+#?#�#�#�#�#�	#C#t#f#
##e#+#�#-#n-#.#�.#.0#�:#�;#�=#{>#�>#'?#R?#tC#�E#H#?L#�M#OR# T#�V#JY#�Z#�Z#�[#�\#R`#�a#b#�c#d#^g#3i#�i#�i#�i#Sv#w#�#Y�#��#�#��#׌#��#h�#�#��#�#��#&�#��#�#'�#,�#~�#R�#�#��#��#��#|�#�#��#��#�#�#��#�#_�#,�#�#�#:�#��#
�#̷#�#�#�#74�#��#x�#|�#�#��#��#��#��#�#B�#��#��#�#V�#��#��#��#��#75�#{�#��#��#��#��#o�#��#q�#��#k�#��#��#��#��#��#��#*�#E�#��#$�$�$$R$�$�$N$$�$�$$I$f$0$d$=$�$`$)$�$?!$
,$-$�/$�4$�:$U<$�<$�<$|@$�@$B$UF$�G$H$"T$�X$�Z$�l$Jn$�u$w$�}$$`�$Ҫ$�$)�$��$��$)�$��$C�$
�$(�$c�$��$M�$�$m�$9�$��$��$��$E�$��$S�$9�$��$��$��$��$�$Y�$��$L�$��$��$f�$�&%�C%�G%�H%�K%�L%M%�P%;Q%/}%%ς%�%ʏ%`�%��%76�%��%�%�%��%V�%��%m�%$�%��%��%D�%�%��%��%\�%&�%��%��%��%��%'�%��%��%H�%��%��%�%��%�%(�%\�%��%��%��%$�%��%��%��%U�%��%/�%��%8�%��%�&&w&�&�&8&�&T&�&�&�&�"&�"&$&�,&g6&�6&8&\;&�;&�;&7<&�@&yA&�F&XK&�K&�K&�O&wP&xQ&R&�R&S&pT&�V&HX&{X&�X&b&�d&�k&7l&�l&Ro&�p&Fw&�w&�w&Ջ&��&��&p�&�&˘&��&o�&�&�&\�&�&�&�&-�&��&u�&-�&ت&4�&��&}�&�&k�&��&D�&n�&��&��&��&!�&Q�&��&&�&��&��&��&n�&��&�&��&��&g�&D�&�'&'r&':''�('s)','T,'|/'�1'�2'�3'\5'@7'&@'�@'�A' B'�D'�G'�G'�I'�L'�R'DS'�S'RX'�\'�]'Ud'�d'~l'�x'��'77�'��'��'H�'p�'4�'=�'8�'ڹ'I�'B�'��'��'��'W�'��'��'�'��'�'�'��'��'�'��'G�'^�'��'z�'��'z(�(r(`(Z([(c(� (
+(�2(�y(��(��(a�(I�(��('�(��(��(j�(%�($�(��(E�(��('�(~�(R�(�(�(��(�)+)/)) 
)�
)�)')�)L)L)W))J)�$)&)F+)�+)�c)?d)�d)1g)i)qi)+j)�l)m)n)q)Es)�t)�v)I{)K~)�~)�)��)х)1�)r�)��)ݚ)��)�)��)�)�)��)#�)�***	*�78*�*&*�*�!*�"*�$*�$*�&*g)*�4*�4*5*�5*�6**7*K=*�A*�B*,C*�C*N*<N*�T*Bc*6d*[e*uq*�q*.t*�v*(w*xw*�z*!}*u}**(*ԁ*��*a�*T�*�*W�*�*��*\�*�*��*!�*��*m�*S�*_�*�*��*��*��*Y�*��*��*��*&�*��*M�*��*+t+�++++	+�+�+=++g+�>+y?+�@+0C+�N+�N+"O+�O+�Q+NV+�f+g+|+~+�+�+<�+M�+2�+w�+��+�+��+��+��+L�+�+��+��+�+q�+��+��+a�+p�+��+r�+�++�+t�+V�+��+��+��+ �+��+��+�+d�+T�+��+�+$�+r�+�,�,y,�,�,�,�79,$,2,�,�,,�,j,5,�9,]?,�@,�C,kD,�D,�G,�_,@a,Ya,8d,Fh,#m,n,�o,=p,�q,�r,�y,�{,>�,��,3�,��,��,�,��,c�,�,@�,��,��,}�,��,��,װ,%�,z�,��,��,�,��,9�,g�,��,)�,��,>�,^�,@�,��,��,;�,+�,]�,��,��,��,�,��,#-$-�&-'-+(-�,-�1-j2-W;->-B-�O-V-g_-�_-He-�e-�f-�g-=i-�j-�p-��-�-ώ-80�-�-G�-�-M�-x�-I�-v�-��-[�-�-��-��-'�-�-��-@�-%�-�	.G.@....�.�.�.�.�&.�&.).W*.�*.-.|8.�=.�=.r>.�?.�?.�W.�X. o.<t.Zu._v.xx.ty.�z.��.w�.�.`�.��.��.�.��.��.Ô.��.��.��.0�."�.�.��.�.b�.(�.��.��.
�.��.��.��.��.u�.�.W�.��.��.��.81�.v�.z�.��.c�.��.]�.�.I�.Y�.��.��.��.h�.2/f/�/;//\/	/
/�/�/F
/�/a/d//�/O/[/�2/3/@3/�3/"4/�^/�_/�d/�h/i/�i/�l/Fm/�m/o/�o/p/�q/�{/�|/Q~/�~/�/�/�/��/r�/ў/]�/ů/.�/8�/��/ڱ/в/�/ִ/��/�/	�/Y�/��/�/Z�/~�/W�/$�/��/��/��/J�/��/!�/w�/�/��/��/��/m�/�/i�/��/.�/b�/��/�_0a0�a0�a0�b0�i0�l0*m0o0�p0��0}�0��05�0w�0��0֛01�0�0S�0z�05�0��0��0j�0��0��0�0�0�0��0ۺ0t�0��0��0��0a�0��0|�0��0$�0��09�0��0��0/�09�0��0��0��0*�0\�0��0b�0^�0��0��0"�0i�0��0��0�1	111i1�1K11{1�1�1�&1�+1�,1O-1d-1�/1I;1n?1�V1uW1�W1X1Y1!Y1U]1^1$_1�_1�c1e1ae1<f1�h1�h1)m1�m1�n1ao1�t1uv1>w1�y1�z1]~1�~1,�1��1�1�1��1�1T�1