Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00035_00000_shuffled.ds.index107 linesDownload Raw Back to root
1'n2�3[4�q�5��� � � �!�"�#�#�%S&�&�'O/�/�1�2K34	7�:�;�<�<@>R�RTU�Ycac�eh0hmfm�m�o]qqs5z�z5��'���=�V���y���̛n�3��������������ǵH�i�ٺ������5���P�w�����8����s�����
��(�5	�	=6�7��EQL$MtM�N�NsS�S�S�T�U�U&V�V^Yt[M\�l�y�zn`�O����������V����L���˖F�Q�<�ѠQ���x���i���8�H�s�"����{��m�(�F�������Cs��q����	�	M�1jp#+%�%R(Ch�ij!m�m�n�q�u2v7x�x�{�}�E�]��{�E�A�ݓ���������ǩm�a���+������9�@�����޵����~���������a�����Hy�!"="w#�#'/(L)�/�2�23h3�6�6�7P8�:�<�=�BD�EUKM�M?m�o�o�snt�uJ���E����3����d����ٚ���+�è����*���-����U�����������/������8�!�!�&*'�*c+�+�,�-�.�1�89�9t:�=�Z[�m>o�q�r�s�t#u�ux�x�{U|�}�~��5���݃�B�����x������`�<���}�*����Z���S�������9�M���J��\���N�����39AfYOZ�Z�[�\!b2ncq��k��z���!������ۚ
���Ӝ����������|�����U���s�������T��9�
�M�����!���f��~�3�f��10@��t�h��8K8�>�H$IJ�MN"Q�QMT�TWEZL[�[fh?k�lYp�p�q1r|~?��h�X�r��ԕ@�X���&����«��ƯB�6�a���J����'����������q��������e����j�`������X�A!�!	(�(�)�*o,�0q8;;<�=�@UA�A�BD\D�LM-M?PiV�V�W�]�^4`�a�o�o�q�x�x�y>���v�i�ԳҴ6���t�U������������,�0�/�����D������������t�)�u���_�-�|�?�X�	���J����"4#�#�,�.�1�2b3�9;�=�@bMCN@P�PQ�QOU�UW�X\�\�_'`�egf�f8g�g�m�o�q�r�r4t�td����Մ�t���T�����������d�|����/�H��)�y�^��ݾ�d������h������������������������j�U����	 	w	�	 )	�N	�N	WQ	+W	@[	#]	�]	�^	K_	�_	k`	�b	�c	'e	�f	�l	Jo	r	Ur	�t	�u	4v	�x	�x	\y	�y	�z	�{	a|	ց	C�	��	��	�	��	c�	��	~�	Ǔ	�	��	g�	X�	�	��	Ţ	��	̣	��	-�	p�	�	 �	5�	�	��	r�	�	]�	�	��	ζ	��	��	T�	��	P�	��	��	b�	�	��	]�	w�	��	�	��	��	K�	��	=�	��	11�12d13L14*15G16�17�18'19�20� 21g#22v%23�)24�425526�527�<28�<29�@30�A31B32�E33rH345J35`J36
N37]Q38:S39�S40}T41U42.U43fU44�V45�X46$Y47�Y48�[49�\50�]51�]52�^53`54Ga55qb56c57�c58n59�n60�o61�o62Gq63�r64�t65�w66d�67D�68�69e�70�71@�72"�739�74��75��76��77c�78)�79��80�81X�82�83%�84��85��86�&~�'	j87�
�PGF�o(�)b+5,�0�7
9@<�<�>^E}E�HJN�O�OcQ|Q�QNS�S"UZY6[g[�^�^_6`Ua�l�m�m:nv�{�}y��e������J�ڣ{�[�%��w�9�c�������G���y�����g�)����@�����H����88Gtm
:�0U�5"x#�$Y%E'=)�,�-.,.v. /@7�8(:};�;>m>�>@�@�BEaOGP�T�TWXrX�X�Y^c�c�cYhHjokmTn�o�z�{��a�^�ÄՅr�k����ِ7�v�˗ٙ>���]�P��֣�Y�a�l�2�J�v�>�������U�t�ߺ���ҽt�������{��������\�V�����d�����_��������������
a
�

�
�
�
u
Z+
�+
�4
�5
z7
�8
/?
�@
LA
A
^F
�G
pH
�H
/K
�M
wN
�O
�R
6U
W
kX
sZ
T^
�^
<x
Qx
�x
�y
�
�
G�
ʉ
/�
�
��
��
��
B�
��
��
��
c�
��
i�
��
[�
��
��
��
z�
'�
G�
��
.�
��
��
��
��
��
��
m
0n��7oL|���K � D#
$K&�&�,�-D/�0�4�7�8T<�<A�F@G
H�LhQ�S89TDU]VB]�]�_�_*a�akb�b!c�c�c�d�df�g(j�l�lqmr�t�x�z�!���O�K����A�������΋|���t�S�Џv���/�e�U���2�����4���N�8������m���,������+���L����r�t�&���G����c�������%
h������
 <.�0�3	4�4C6w8�9l?�H�K�NYY�Y�[@\]�a'eIe�g:jl�l�lm�m�npPt����w������:���D���k����_�w�!��#������&A*8+�R�S�VX�Z�Z}_c�dHi�i�o1p�p4wՁ��I���ݢ����`� ���5�����(���Q���������J����{����������=���$�����E���E���p�h���p�����z��90Hh����Iz�t��	p �!�"&�'�(*�+�./k0�8 9�����˸��ǽ*�������w�v��?��×F���Y�	�<��������I�����������:�P�9������^��������� ���	������,�Q�|���`���x� P������
����E���i�!�*--y?�?�@E�F'GK�L��˅�M��8�91���%�s������w���c�7�>�P���ĿE�������M������������������\�������������������:�		n��Jp�EkSl�4��2��!$�$D(�*i.A1�12c3�35�5�6�6�;�<'>�R�U�Z[\W]#^�^jf�f@i�i�lnaz�zz|�|v}�~؉E��$����[�؝����֯p�����(���������6�|������t�����>�R�W�����W�92�5����x�����-?�@&BC�H+L�LNzPxTV�VWEW�W�_`�`�aZb�b�f�f_h�r�r�|~�~���Y�Q����0�B�M�۫� ����ư˱N�����/�n����u�����s�K����'�o�#��L���������]���S�����-^���d��4R��
�
�%���>I+�-�-t/�/>0�2/34�6Z7�8,9�\�]�^�^�c�d�i�nv7vbv�vUxO�O�S�T�U�U�i�j3qHqwC��|�ٜ?���)�����&����@��n���_���X�b�)�@�V���A�^�z�5������������r���������A�5������E� �$�'�(�)�+�0�1�9i:,<�?�@�A�C#F�F�N.O�P�Q�Q%RS"S<XY�Y�\�^2dWefdf�gBh�q�qor�sVtu)���o�93�����@�W�����+�c������{���z���J���z�����������}�{������[����� � � � N � - �- �. �/ �0 947 �: ; �? @ �B 4C NK _R vS �S OU W �W aX ^[ \ �\ 6] �_ #` �` �b �c �h �h =r Ct �� _� �� �� m� �� � � �� 1� �� �� _� G� e� W� Ԭ � �� Գ �� 8� \� �� �� ~� Ϲ !� ѻ � �� �� =� �� ��"��"�"��"�"��"��"v�"X�"��"X�"��"4�"��"��"�"N�"C�"#�"n�"��"��"��"�#e#�#�	#O#�#�#�##�#�##�#�#� #�!#�$#�%#y(#�(#L0#�0#05#�5#16#�9#�;#�=#�?#�@#�@#�B#5C#�C#D#UD#�F#H#vI#�I#�L#M#N#!R#�R#�S#�S#�Y#Z#Z#�Z#J`#/j#�k#Rl# m#�m#Rn#�n#o#�t#�v#��#��#"�#��#z�#�#��#נ#3�#��#�#ר#�#��#=�#�#l�#�#��#,�#x�#u�#��#��#%�#�#��#��#��#��#��#�#S�#��#��#�#[�#��#��#z�#��#��#��#��#��#_$�$R$�!$;"$�%$f&$�&$o'$|+$u-$U.$N$)X$�[$
\$b\$�\$V`$9h$mh$�i$j$�l$m$�m$�m$"o$�o$p$s$*s$t$�u$x$�y$�|$0}$~$$@�$�$F�$G�$٫$�$6�$��$u�$�$%�$L�$��$�$��$y�$!�$�$6�$,�$_�$��$��$��$��$s�$I�$Q�$�$��$w�$�$��$��$$�$;�$�%%�%%%�%�%	%�*%�+%-%0%R3%�3%\4%,6%f7%�<%>%�>%??%q?%�?%@%�H%2N%�T%�U%iW%�W%[%\_%�a%=b%�b%�b%�h%+o%Jp%>q%�q%Qr%�x%iy%O{%�|%}%�}%�}%<%r�%�%Ǐ%і%D�%P�%ڞ%��%k�%ͩ%N�%�%��%�%k�%��%��%��%!�%{�%ٻ%��%Կ%j�%��%��%��%��%B�%O�&�&��&��&��&=�&۠&�&��&S�&S�&��&ְ&�&��&�&,�&(�&ȸ&F�&��&
�&1�&��&K�&B�&��&��&E�&W�&��&��&T�&��&�&��&�&��&l�&~�&��&�&�'^'m'�'<95'�'�'U'�'�'.�'�'l�'��'9�'@�'S�'D�'��'��')�'��'�'�'��':�':�'�((N(�(�(�((�	(�96(�97(�(*(�(F(i(�("(X"(##(]$(�4(56(z6(�@(�B(=C(I(I(�N(	V(%V(�W(�X(�Y(jZ(\(�\(W^(a(�a(�b(�b(ze(�e(�f(�h(�j(�k(�l(�m(�u(98v(�(�(K�(e�(��(t�(�(��(�(99�(��(ǻ(H�(100�(d�(�(2�(��(t�(��(��(��(��(Y�(A�(��(��(<�(T�(B�(��(��(�(��(��(��(�(��(G�(�(
�(��(W�(��(�(�)))x))�)101)V)�)�
)2)�))�)�)�)))�*)�-)�<)>)�@)�A)�A)F)�F)'I)�J)K)$K)8Q)g^)�b)e)ve)X�)ܘ)b�)z�):�)�)��)ݥ)��)��)��)&�)��)k�)�)��)a�)!�)��)��)/�)��),�)��)��)��)��);�)	�)l�)��)e�)g�)��)��)%�)4�)�)w�)��)��)��)b�)��)��)��)+�)+�)�)}�)~*�*�	*�102*D*V*\*�*�*E**�*�*c*�*�**-*t*�*~"*�"*S0*�0*4*�4*�6*�7*�8*�;*�>*?*�?*LE*F*"G*@G*6H*-J*�J*�K*�L*.V*\*p\*�\*�`*�b*�c*�e*	f*�s*Uw*)y*b{*�{*E�*ه*G�*��*�*��*��*C�*r�*��*|�*K�*~�*��*J�*��*�*��*��*�*x�*m�*��*��*��*��*��*�*�*��*��*�*z�*�*f�*F�*��*��*��*<+�+�+�+%+�103+R++d+�+a
+�+I++�+�&+M,+�-+H0+	1+�3+B4+�4+75+�7+�8+�9+:+�;+<+]<+u=+:>+U+�X+�o+�o+�q+Nt+�v+�v+w+�y+3}+~+�~+��+�+��+�+…+Ӈ+��+��+��+<�+`�+�+L�+�+[�+��+j�+��+��+6�+�+��+��+�+��+(,,u,�,�	,�104,�105,S,�,I,�,T,�,�,�",�&,.,�.,Y0,97,�8,�9,�:,;,�>,�H,CJ,�Z,_`,a,%f,g,xj,�u,,y,�{,�|,ˇ,9�,�,��,8�,k�,��,��,��,�,��,��,�,�,�,X�,��,��,h�,��,�,��,��,��,'�,�,��,Y�,��,h�,��,5�,"�,;�,�,3�,r�,5�,�,��,�-;-�-�-u-6-�-+-X106-�107-'-�-�-�-�-E-^-4-l-�-�-|(-�(-..-�0-A1-1-2-Y2-�2-i3-�3-�7-
:-�?-_A-�B-�G-�H-I-$I-{M-�N-2P-�Q-:S-XT-�T-�V-GY-�Z-�Z-]-0]-�]-$c-�h-�q-�r-4s-~s-my-�y-�z-�{-�{-h|-*~-ҁ-@�-��-��-�-��-�-��-�-Ô-�-H.�I. L.�L.^.�_.�a.	d.�f.�i.�j.k.{k.l.�l.em.+n.�q.hr.0{.|.�~.F�.~�.��.0�.=�.�.I�.��.�.��.�.�.�.5�.��.(�.��.�.Y�.�.4�.��.5�.��.�.��.��.T�.=�.v�.��.y�.��.��.��.��.��.p�.5�.�.��. /N/Q/�/Z/~/�
/?/V/v/</A/</�//�/�/�/� /z"/�"/#/@$/�$/�%/�&/:'/�'/�'/%(/>+/�-/G./�1/5/}6/�6/�;/�U/bg/8x/Yx/{/�{/�{/|/�|/T}/�/��/��/6�/6�/��/_�/��/!�/͗/e�/"�/��/0�/��/_�/u�/-�/Q�/�/:�/��/��/)�/��/�/��/��/�/�/��/��/�/O�/P�/��/��/��/"�/��/��/��/2�/��/��/�/(�/��/T�/ �/k0J	0}	00-0�0"
0�
0�0�0�0<0�0�00L 0�!0$0<$0&0�&0�(0�)0*0K*0?+0a,0-0�.0�/000�00�10�20�C03E0�F0�J0JK0�K0=N0�N0P0�S0�^0�b0�d0f0Rk0�k0p0r0cv0�z0!{09{0-~0��0��0��0އ0�0��0(�0P�0��0�0�0-�0�0��0�0�0>�0�0b�0_�0�07�0I�0��0��0��0�0(�0��0��0��0�0.�0��06�0��0��01'1�	11�1�11O1 1[1�1�1� 1q!1j(1#)1�)1U+1T,161�91�K1�L1�M12P1 Q1R1hR1�S1fT1�T1�W1�W1_1w_1�`1�`1mc1!q1�z1�{1h}1~12~1L1߁1|�1\�1�1�1�1i�1,�1�1��1��1Y�1��1�1��1