Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00120_00000_shuffled.ds.index99 linesDownload Raw Back to root
1�i�_2e3��*�"�+@.!/Z/6W8�8�8�AaD�I�L�L�M�R+TzTpU#W�X�Z�Z�c�fh�hiGi�i�i	jXj�k�lOn�n�pzx�ˉX�c�ϑ���y�	�j�/�O�A������`�$�����������X���6�r�����7��������u����Q
�
�w"����~ Z%�%wunw�x�yB{�|�|D�����3�ޥ)�)�T�ɩY���X���2����>������[��-�^nV�
S�� �!�?�CqD	E�E�FLM_RIW7XY�Y�[�[�[�k�lfo�o��9�Ԉp�щ�����}�n�s���P�0������f��s������u�4�������������m���Ű1���´��1@�@9A�D�D�G�����5�������C�}���8����	�6Kj�{!�"�#�#�+�,�-t.�.�5�7JH[Lq�������6�p�D���@7A�B�C%DJG^G�G8H�H?KWL�L�O�OdR�T\VW�X�X^Y�Z9[G_�_�`\d�d�f0ghpxq�|d}�������ׂ��׊w�q�����Y�����Y���ٚ�4�ɝ ����T�����	�\�������q�`���#�������i�������
�+���Q�5������7{�3�T
$�%�'&(�)M*�*2-W-�-�0`4�4.5�8:�:�<O@�F�I�JtN�NKOwQ�R�SHTTU�U+W�WRX�XZ�]I_9e�eyf�f�rs�zb{�{�|�����s�҇2�F��������[�Ɩ�Θ �Z���2������0�Y�����+��y���4�a�IJô������J�����y�����������)�C�g
	�
	�	�	�	�	,	w	�	�	%	�	�	�9	�<	�>	oE	�E	6H	I	/I	[I	'�	��	Y�	��	ՠ	9�	��	D�	��	K�	!�	�	�	��	��	M�	��	��	��	6�	��	s�	��	��	Y�	��	��	.�	.�	�	(7�8�9
10�1112[13H14.#15o$16�$17�%18|'19�'20�*21�+22�,23+-24{.25n126@@27�@28�@29!H30�H31�H32SI33�I34OL35�L36*M37�N38�N39�O40�V41'W42]W43�Y44,b45�b46�h47k48cm49��50��51�52Ψ53�54�55*�56e�57��58ܾ59z�60��61��62�63��64��65��66��67v�68��69��70�71M�72��73M�74K�75�76��77��78t�79��80��81����f	�	82���F;�=�B3HJHO83P�Q��M�������d���������a�B�^���)�^�7�a��~�k���y������Q�K���6�!��>�������s��������������84��v�qJ�T(I*,-�/�A�A�BwC�J�J�MP3P�P�Q�T�VW3eVg�i�l85nin�pEs(t�t)v�v�yz^zu}����?���,�����������.�<���T�ٛ.�žD���ݤJ�m���:���a�p�"������+�;���$�����������]�L���]�

.
�

`
�
�
@
�

m
%
�%
�&
y-
 0
�0
72
�4
C5
&7
�7
m;
�;
<
�<
�<
�>
u?
�@
L
?N
DO
P
zQ
�Q
�S
�T
+U
xW
dY
�Y
�\
�]
�_
vc
cg
zh
Gj
>l
m
�w
��
��
��
T�
n�
�
��
�
 �
�
?�
��
��
^�
0�
��
��
f�
��
%�
E�
�
�
�
4�
ʶ
�
{�
�
ù
q�
$�
V�
�
F�
q�
��
��
x�
��
>�
��
�
��
�
�
7�
��
�
"�
��
�
o�
D�
��
��
��
��
��
��
b�
��
��
��
��
��
i�
��
��
Y�
V�
i�
��
��
3�
���{�'86L
�
n�����pu��!�:b<�?�L?M:P�QU�U�W�W(XW_�j{ttu�~�~�LjԊ&����X��F�:���1�b���:�����e�����:�ͼ���1�|�ѿ��2���3�U������+�%�����U�>��C��87!	���&cU � >!�(r+�-/�/?@�@�A�BIJ�J�JzK!MCN0R�S(T�W$X�Z�]�^�_�`�� ��R�L����βp�X���W���h�U���L�������B�?�������N�R�����x�����-������Q��f��������Y�C��0<���(�������=���S���z�'���P�p�������������i�j,��� �.�4�7�8�8:�:+>�A�D�FhH�J�O�O�OIc1d�d�hj�m�nap�r0st88�f���������V�Ԕݕԙk�͞)�;�Ρܢ��U�ۥM��B��Ѫ���ʯŰk�J��x�/�ʾ|�������X���k�����W���;���+���z���K��������z��A7&I�U � � !�"I#1+�+f.�@,B�BjEzHI"IXI�I�L�\�b]c8drgh~h-k�njo�x�x�yp~�P�(�����\�����_������:�����*���C�����.����������5���E�����X�
�j������|
|���@��H"�"/%�&�&P'�'($*�*�,�,�.�4:6�6;7�@:A�C�D�D�G�[.]0a�g�g+h�jkl�l�m�r�sRv�v�|��89�u�Ӟ��̣����F�ֶ��$���¿��t�����`�9��������'������� �����V������L���!;&�&�'z()%*�,�7�8b9�9�;.<�C}EF�M�OoP
Q+Q�Qvo�oRr�r�wnxez�z�{�8�@���}�q�_�H�n�,�G���ȕ��ȗ"�R���*�����ׯq�J�J��������P����A�r����V���M��������:��
J&��n|�"�#�$�$K'+*�,�1�8"?P?�?-DAJFK_O�P-RR`]�_�`90bDb�bcidde�fwg�g�hjMk\p6qr"tyUz�{�}����,�o�Ɉj�~���K���A������t�������B�M���h��������	��I
�������?ax<=�>o?�?�F�O�O�P��J���?�Q��V���E�����[��[���,�����B�?����������+��wj�� g!�!C$�%M'+(�(�(g)�*q./7�8%>�@�A�AoC�T7U�V{[�b`gihlIn*o p_y��+�Ճm���j���ƨr���̩�ܭ��!���̳p��|�b���&��7�u�����F�#���S�4�t���91�t���x���s����
%�����!�'5()o)�-Z.�.Z0eF�G�I{V�VW�W�W�\�\�]�^D_�sVt�t6x�z�|p~�E�p���Ā�����H�a���c�6���̜ƝV���J�������ӧ����0��2���	��_������I���.����1����Ľe�"������|�����c�v���t���	��������G�(t��	�92��rb�Y%�&'o'�+I, -k-�-5�5,6�6c7(;B;>>:C�F=HLK�LeM`N�PEQZZ�Z9[b]^`tce�e�mnRn�n�n'oq�O����P�3�ԛ�j�0�ǯB���8���y���K�1���@����������F���Z��e�������A�5�@���Y�Q�
�{��;��`!�"�$%�%X&�*}+.�.P1�1>hDPE�E0IXK�K�PKR�RT�T4d#e�f�jqkRn`p�t�u�v�w�{&|93}�}�}F��������������&����S�1��E#!~#�#}&�&�'�)�-�.V06�6�8�:;[=�=�=E>�>�A�BDDDmDTG7H]H�H"J'JyJ-ORTHYuZ�]�c�dGgv��U�Z�k�6���ˌ��9���{��ڧB����X�ޭL�˳��<��D�ӽR���>���P���.�K�����%��M=��HD94
UkAK"Y(�)O7�9]>�@�A�A�A�C"H�HZK�KfL�LNgN�NR�SU�U�h�pcq�rs��σl�����K���-���ޜM�}� �o�+�����"�������ٽ��8������C���l�������d�������q�j�[�����8�����C�?�X��g3W�� �"}5�6a8E:G?�@�B(EwF�F�H0L�L�L�M	NuN�NeO6QdQ;S�S�VW�[xl�o�p�q�r/szs�u�v0w�x~���������
�x�ƽ`�������k�t����� ����������0�t�.�����	�Z � K   & � � E � �! # �% & - )2 �4 �7 �8 �9 	: �= 3> �? �@ �B KC �D }G H jI �K nO �Q 5R �R GU Z �c Ce �s �t �t �u ^~ � ε 5� ~� \� �O!�O!�P!�X!Y!Mk!Ym!n!�n!!t!Iv!�v!/w!�w!�x!�}!\~!�~!P!�!�!,�!Ν!:�!+�!��!w�!�!��!��!�!s�!��!S�!о!Ͽ!��!i�!j�!e�!B�!��!��!K�!��!��!��!z�!5�!��!=�!��!�!�!D�!��!��!�"l"�|"v}"e�"†"׈"��"1�"ݚ"6�"Y�"��"��"A�"�":�"!�"ۮ".�"D�"��"��"�"5�"��"�"��"��"��"=�"r�""�"c�"��"��"P�"��"2�"H�"G�"��"7�"�#�	###r#"#�#� ###Q$#�)#�-#�/##0#q0#81#�2#v6#8#+8#�8#�=#�G#�H#�I#aL#}R#�S#�T#�U#V#eV#�V#�V#�Z#A^#_#�_#|b#Uc#�e#6f#�g#�u#=w#��#~�#��#ҟ#�#]�#ۥ#p�#m�#��#��#�#I�#z�#��#��#��#��#��#\�#��#��#R�#��#I�#��#��#��#��#��#��#4�#L�#>$�$$$u$�	$�	$�$�$!${$R$G$�$|$�$� $z#$�$$�4$�6$p@$AB$�C$uF$�F$r�$��$܍$��$�$ݐ$ޑ$�$ړ$��$>�$��$ϛ$��$e�$U�$�$R�$N�$%�$y�$
�$��$�$~�$��$��$��$�$8�$��$��$�$+�$X�$��$��$S�$�$��$3�$ �$��$E�$H�$��$��$�%O%�%�%Q%�%#%�%%�%%�*%,%�,%,.%�1%�2%�5%�:%L<%�=%\?%]J%iM%~h%�i%�i%-j%Vj%K�%χ%��%�%?�%��%ۏ%j�%��%I�%H�%�%�%��%?�%u�%�%Z�%��%�%ֹ%�%��%L�%��%H�%X�%'�%��%��%P�%��%��%��%P�%x�%$�%��%��%��%��%[�%D�%D�%�&2&�&�&u	&G95&�&�&P&�&�&d
&=&�>&�D&CE&$J&K&0P&�P&�Q&T&ZT&�^&�_&k`&ic&�d&e&#g&3g&�n&�o&�p&�w&+y&Zy&3|&U�&��&��&��&g�&�&ѝ&h�&ŧ&t�&Ư&�&�&s�&�&��&#�&��&��&�&m�&q�&��&��&�&0�&��&{�&��&��&��&|�&��&��&��&Z'B''h'�''<'r'*''�'� '�$'�$'�&'!4'�4'�8'�H'J'+L'W'9Y'�Y'JZ'�Z'�['8\'v'I�'q�'�'��'��'��'�'E�'��'o�'n�'��'ӡ'��'q�'�'I�'��'̤'�'ި'q�'@�'�'�'(�'�'��'��'��'��'��'��'W�'I�'��']�'2�'��'j�'��'��'��'��'�'3�'M�'��'��'+�'��'��'?(�(�	(�((�(�(~(�((�(�(v!(�!(�#(�7(,8(�8(�<(�<(M=(�=(�?(mA(�D(�E(�F(:I(mI(EJ(L(�O(5P(9Z(�e(�i(�j(�j(?l(p(�p(4q(5w(yy(z(Z|([(׀(^�(��(��(�(��(�)�))�)�)� )c#)b&)n&)p*)�*)k+),),)l�*˻*D�*1�*,�*{�*��*X�**�*�*��*a�*��*`�*��*��*^�*��*��*��*��*��*��*n�*��*
b+[�+P�+�+H�+Օ+��+��+f�+��+�+^�+F�+��+�++�+��+��+��+,�+�,T,�	,�96,|,
,�
,�,,�,�,,v,�,�,',�+,�+,�4,�7,�;,�<,1=,*>,U@,�A,�C,�D,�F,�H,/I,~J,WK,0X,�Y,^,@_,�_,b,�i,j,Qj,yl,m,�m,Eo,�o,Bp,_r,x,yx,y,wy,0z,'},�},�,u�,�,�,߈,=�,�,ۋ,0�,��,=�,q�,̍,�,|�,x�,��,��,G�,��,T�,��,��,--i-�-�--~- 	-�97-m-�-�--�-�-N-� -� -e!-_$-�$-E-�F-PJ-�J-P-}Q-�Q-�R-!S-NT-�[-�]-�]-?e-�e-�j-�m-�r-�s-ct-&u-�u-Yv-Iy-�{-m~-D-��-׀-��-��-,�-f�-�-�-�-ڶ-�-Z�-R�-*�-��-��-H�-��-3�-$�-j�-��-��-z�-M�-��-�-�-x�-��-�-i�-�-.�	.98.S..�.P.�.=.�.(.�.:.F.$.V.[.8$.^%.�%.&.,(.j(.H+.�,.j-.�/.�/.�1.�7.+8.F8.�:.�<.W>.�[.>^.�^.�^.._.{i.�i.�p.q.Wq.�q.�r.Sz.ɍ.��.l�.�.Е.#�.�.]�.��.��.�.��.H�.��.��.E�.��.9�.g�.��.s�.��.��./�/�/�///�/�/99/b//�/G/�/�/�/�/{/y /#!/�(/ */�,/]-/n-/?./�1/�1/�2/�3/y4/�4/@5/q:/�:/P>/3F/>G/�G/�G/�O/�V/X/[/^/}_/�`/Vb/f/�h/@j/Hq/�r/�s/jt/u/�v/�y/�/�/!�/|�/
�/z�/��/ȍ/P�/P�/3�/�/�/�/��/ˣ/�/�/�/T�/�/�/��/��/[�/f�/A�/��/�/n�/>�/��/,�/R�/�/�/]�/2�/j�/��/#�/��/�0�	00Z/0�=0'>0?0?0q0�s0.v0tw09y0'�0�0J�0Ʌ0 �0i�0ߊ0��0e�0Ր0��0q�0!�0�0�0ڦ0��05�0̨0��0�0�0��0��0��0�0V�0��0µ0r�0�0��0M�0��0��0��0x�0