Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00034_00000_shuffled.ds.index65 linesDownload Raw Back to root
1�`R����q9�#!�"$�$=&e'�(_*q.�./�7�7W89�9~<�<XH�HFK�R�S�T�T�UY�Y�Z�t�t,u�}_~�y�t��`������<�B�m�.��������`���k���<������O�^���*���"�L�����=4�~
�
a�$O�B��	�yn&R)hAJB�B"C�CE�G�G�H�N�O3QWQ(S�U�V#Z�^�`Na�awbXc�dgh�h�k_lo�qr%txvLx�y�z_{W�����ۀ��`��0����/�8�͊��Z�Ɨ��d�������$����@���j�j��ظ������s�,���W�x����p���������7�U�����j���O%_�'2C�
��&'�(
++�/�/�5,68�;�I�K`N�U1W�W�Y�[�\�\6]�^_=_�_�_�f�f�g/jPj�j�vx-y�y:~����/��Շ7�Y�L�Òx�	�Q�p���:���ĬM�m�^����N�|�M���׸�J���ܼ��ɾ��^�U�������B�B�B�C�DH�H
K�M�OpT|UaW�Y%[b^�^c_�`�`�bc�c4ebf�fhg�hiqk^u�u�woy+zize{~�~�Z�-�x���ʙ�A����ʶƷw��5���=���������P���4�^���=������n�n������j�����P�n���H��
P~m��7�1P��<7'�(3*�,x.M2�2�2�4�5z7�7#8}:�>�>2?iEGWH-I�I�J�L�z�~s�l��c� �|���`��������9�'�������i�3�������=���y��������
_�dm��"A$%K&�&�/0�02�6c7BUiU�^._�`�ab�bcNc)eDe�ejf�g:i�i�krn�n:z�zq{�{�~��΄��������l�ם��t�����2�b�8�E�����6�j�p�C�����N������f�$����C�\������}�����'��-]�	r	�	R��:� x"�#345�6�6 8#<�<�>3?�?�D�E|R SqT���9���n�y���J�Ϩ���|�:������������������q�������z���6�F������ %:%&([*�+�0d1�1�283D5�C�DJE%G-IWI�M�N�NU?V�W/X�X�Yp]�]�aDcVd�dgWh�j�k�l,t u�uxz����I�9��J�T�g���[��D���:����������m�C�����F�0�Zv�%+	E�EF@H�I^oqkqGv�xy4y�~;���(��$���U���s�����]�Ȏc�ߙA���%�+�ߡ��A��9���~�@���ժ�ݮ}�ͯ�<��S�?�&�}����������x��		x		�	�	�	�	;	x	6	2	W 	� 	W"	�"	$	�&	&1	
2	�3	�;	h<	�=	>	�>	@	B	�B	�I	mJ	pL	2N	�`	7d	e	Yh	�j	�j	�q	\t	{	�{	�|	N}	;~	�~	t	��	w�	
�	�	ю	��	x�	�	��	*�	��	��	��	 �	o�	��	��	��	P�	��	�	��	7�	#�	�	03+4
5�6�	7�8�910�
11�12A13�14�15�16�17�18�19B"20L#21�#22�$235,24A.25�.26�/27028<029�030y131232o333	4346359836T:37�;38�<39�<40�<41�=42�@43�D44,S45�U46�q47�1�8�$��T���y��N���$�M���K�����$�����]����
y

�

g
/
-%
6'
�)
B.
=0
�1
�7
�7
�8
:
�;
�<
�=
�>
�?
pB
HC
D
EK
L
�M
�N
�R
+W
�Z
�[
4\
�\
t^
�_
�`
nb
md
e
�j
tl
=n
�n
�o
�{
�|
7}
�~
"
�
�
0�
�
-�
Q�
�
T�
^�
n�
��
��
��
p�
�
��
��
��
E�
Ժ
��
1�
��
�
#�
�
I�
{�
��
��
t�
�
��
��
�
b�
*�
=���48c#��M �!�(*a*�4�6*<�<-?@C@�@,CyH�TGV�VmZ�ZN[�\`]hru>uAv�}������(�������ڔ$�������b�/������'���9���X�������a�����7�0��/	�'5�"f+x-\/L0�05�=>�>,L�TU�U�]�^�^�ad~d�ej�k�k�l�m�q|~K6����f��v�ݑX��<�X��}��n����������#�I�������������G�7��|�G�����W�49�>�����f�����������	�����Z�������8�����MfW�00�1B2o2�3�3l4C:^A�B4Q'R�S?V�W\X�X^W^_aIa�b�r�s�t�uCy1zG�����^�������K�?���������?��(������M������]	�50���������,�)3*�,�-�-C/�/h4�5�6�7::v;�=�E�K�OlX�[]_E`�aib!icisrNs\s+v�v�wbx�x�y�z�{����3��ʯ��>������)�=�R���^��������G����'������v�����������v�������6���/�-�51���(���������W�� 3#D%:&�&�'f(�*G2b2�78�:�:�=�I[K�M@Q�Q�R�R�S�W�]�^b`1d�e�etf׋#������`�Y������?�����������Y�/�%�����������g�������.�#���6�=�����/�R�y�
���Q897;�;�<e=RLMwMN�N�P�S�S�TU5VsVM[�sa����T����ә����ٛ&���ʦʧ������߰����^�d�6�t�?�2������������C������o��F
�M�,y�b$�$�G�KL�L%O�Q�R|S�YwZ�[�]�`�`�`mc�c�d�e�goh�l6ns�suu�vY}�~ǁ����*�q�ٕ!���0�v��T�ܦ5�_�i�ļ�����y�r����w���*���r�V�P���?�e��K�Z�:�P�����������a�����+���6�a�~���0	�52�"
�
�&Xc.(�*N,�,�,�,^-A/�2a5z8�<Z>�?�?�@�B^C�N1P�P�QHR�V#W0YaIb��@���Z�ы�l���-�F����A�S������������4������e��/���/����B�����`��)�s�B�C�������������C���-���?�w�����.���G��Ys���B�$�%�*,D�~�?�S�����	���;�P��������|���d�������.��a#�&�(�092D3424�7�7�9H:F;t=>4@�DYI�IJ�J&L�O�Pz`�di�izjBk�k7m�q�u�v�wq{�~I�n�~��ÎU�8�\�����?���������ųT�`���[�����#����>���+�m��l	��� �!�#@$-+q+�->.�.�/o2�2�2�3;m<7=n=AkGFI�I
KS@T�T�V
]]:^i^sd�d�f�i.nHqLr�sKt�53�;������&�Y�B�^�ʃL�i��������҉S�ҌD��f�������5�n�m����H����_�����K���w�������4�(���A�8{x	�	S54s\��
�"��"��| +,�,.S.0�5G6�6^;k;�=�B1C1D!p�u-vr�Ց�i��\�l����ɛ���������`�������i�r����f���B�������(���������������>���?�������9�������l�;���=�0������jc	855�c*-W.�.�1�2�;N<�<1=�>�B�] ~56���|�M���n�q�W���ԠޠW�%�l����\�̾ؿ3�����������2}��
��~�"y#�C�E�E�qr�t/��Ւ��i���e�;�x�q�����f��&���l����Ү��(�������������������	�����^����Y����D���C�!������������� 57~����`q�����U �!�$�&0/0v091d2�2a3l6�6�7�@�AB�BaC�C7DZE^FVHkQS�Ug � � � N � �   �! �# #$ =0 S7 8 �8 ; /B ]B �C H )L �M BP ^P �[ �_ �` d �d �e �k �l Vm `s �s Yy �y z ~ �� 9� �� ۔ @� � ݛ %� D� �� ɣ � Ϻ � �� *� �� �� � h� �� �� �� �� �� �� �� �� �� � �� 1� X� �� -� S� �� �� !�!/!�!�!�!!�!�!k!B!�"!�$!&!7'!V+!+!=,!.!�.!�/!m3!�3!�3!4!/6!�7!�8!�9!�G!�K!�L!�O!�P!�P!WQ!S!�S!�U!3V!�X!�Z! ]!P^!�_!�_!�a!dn!co!��!ƅ!��!��!��!��!5:"u:"K>"�A"F"NI"�K",L"�L"%M"�M"�N"Wd"g"�n"ww"_x"y"�y"�|"�}"�"c�"��"\�"ʋ"W�"��"g�"��"I�"E�"��"��"g�"��"��"i�"��"��"=�"m�"j�"��"��"5�"��"8�"R�"��"w�"#�#T##�#Z#�##/#V#�#�#t##S#(#�O#�Q#`S#KT#kV#^#
_#x_#%a#>c#h#�l#1n#�q#�q#�s#�t#u#�u#hw#Lx#�|#}#8�#��#�#$�#(�#�#E�#ɏ#��#Ǜ#��#m�#ڝ#��#w�#C�#)�#}�#qG$H$�O$>P$�Q$PV$�`$�b$�b$�c$�c$�e$cf$Mh$Sn$�t$Ł$��$�$#�$[�$��$w�$��$9�$L�$m�$�$؛$��$0�$ۤ$*�$§$��$�$��$��$��$��$5�$��$��$/�$h�$��$:�$$�$��$��$��$w�$5�$�%%\58%=%1%�%�%R%k%�%%�!%#%�$%%%9%%�&%�5%16%7%<7%n7%�7%�8%;%�=%�>%?%k@%F%3M%bM%�M%�N%�T%bV%�V%-W%�X%Y%�Y%�\%g]%�]%�^%�^%�c%�c%�j%��%>�%ފ%�%.�%�%��%я%H�%h�%C�%��%�%Ė%�%��%��%[�%ٟ%T�%��%B�%
�%ɦ%��%8�%}�%��%.�%��%��%�%s�%��%�%۶%��%��%�%w�%��%��%��%��%;�%��%c�%l�%�%�%��%x�%��%]�%�%f�%��%��%��%��%'�%��%��%��%�%>&`&u	&�	&�59&�&#&�&�&�&"&�&w&�&�&&B&+&�+&@S&�S&@T&W&hZ&[&�[&?^&�`&qb&d&ee&�f&�g&Oh&bk&�k&8l&>u&ou&�u&�z&	{&'}&B&m�&��&�&1�&��&��&�&(�&��&�&�&��&��&��&��&��&��&w�&��&��&��&��&��&6�&��&�&��&�&��&��&\�&��&��&��&��&�&��&��&P'R	'�	'K'�' '� '!'�!'&'�&'�('�)'�)'7*'A'�A'D'�E'�i'��'��'�'8�'#�'9�'��'��'��'ì'T�'��'��'�'e�'B�'Ƹ'��'��'տ'?�'��'3�'��'��'��'`�'��'2�'/�'��'��'L�'��'Z�'��'�'��'��'��'Q(�(�(�(O(�(�(d(�( (D (� ("(�'(�(("+(�+(�,(�/(�1(K3(�4(�6(�7(W(�W(�\(ph(�h(+k(�k(l(Im(wn(�o(Uq(�q(�q(�r(�t(fu(6v(�w(�x( y(�~(]�(�(�(��(�(��(��(�(�(ě(��(��(��( �(7�(Ӟ(^�(G�(G�(g�(�(ֿ(��(��(5�(��(��(E�(��(S�(\�(��(b�(��(��(R�(��(<�(�))y)�)�)� )�!)�")H#)�#)%)�%)0()r()�()))n+)�+)O5)#6)P6) 8)�9)/:)�:);)�<)B?)�F)UG)�G)�K)aL)<M)�M)�P)�T)�T)zU)�U)�V)��)��)	�)�)N�)��)��)��)��)(�)��)��)60�)��)�*~*�*�
*�*G*("*�#*�)*�,*�0*f5*aD*�D*61H*LH*�N*�Q*�W*e*�f*�h*�h*2j*�r*s*Ku*�u*�v*�w*/x*my*�y*z*�|*�}*2~*\�*��*�*1�*��*��*�*?�*̏*�*��*'�*|�*ͥ*��*�*$�*L�*��*j�*�*��*��*ֿ*��*=�*��*M�*��*��*�&+�*+�0+�2+623+�3+ 5+65+)8+[+[]+�]+`+$h+Ei+�l+n+�n+;o+mp+Gt+�+,�+B�+^�+\�+#�+��+��+q�+��+!�+�+��+��+m�+l�+�+,�+�+ؼ+��+1�+��+p�+��+>�+��+?�+��+��+��+q�+/�+ �+!�+��+��+��+�+V�+t�+�+��+�+��+��+]�+��+��+��+��+,P,�
,�
,3,},�,�,�,-,�,�,,�,�!,R#,v.,�.,y0,�1,[5,9,�9,i<,�<,�=,�=,63A,mB,LC,�D,�E,�E,�P,S,T,�T,�U,�W,X,KY,h,.i,�i,j,�k,�m,�v,\w,},,~,W~,�,��, �,5�,ѐ,m�,6�,u�,e�,��,��,�,��,�,�,��,Z�,��,H�,��,	�,w�,��,��,�,/�,n�,�,?�,��,V�,e�,��,b�,��,c�,��,��,��,�-�-�-]-�)-E*-4--�--�.-�.-0/-�7-(9-�9-3:-�;-=-F-�O-9P-�P-LS-GX-�Z-�^-�^-`-�-T�-F�-��-�-H�-��-�-�-�-�-x�-&�-��-��-��-d�-��-��-6�-��-��-e.�.N.E	.�	.d64.�
.�.e.6.f.H.�.	.�.�. .�!.�<.@>.�@.8A.�A.�E.JF.{J.K.lK.)N.�N.O.P.(a.3c.Dd.7e.Jg.�h.Zi.�i.Dr.hr.vs.@t.�v.w.x.�x.$y.	�.3�.�.~�.5�.l�.M�.��.6�.Ӡ.��.߫.A�.t�.ʯ.��.7�.��.W�.��.K�.�.Z�.3�.,�.��.X�.��.h�.!�.*�.|�.��.��.�.��.��.��.g�.��.��.��.��.!�.D�.O�.��.j/�/</�65/C/H4/�4/