Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00020_00000_shuffled.ds.index87 linesDownload Raw Back to root
1\�2���* � o!r2�34f57�;"<�>�?@DB�BtE�GvJ�Q0R�RV�]_�_`p`�cdh�h�y�z��ׂq�{���%���b�����*�o�6�K�(�͝�ܢ��"�S���s�8�������"�
��d����l�H��F�Ew�&�*,+�-.8.p/�04�6:�:�;5=�@�A�K�MN�NVPQ�R�T!V�Y�^Z_�abEjl�v�w�w�x�{"i��Ċ;��ǐH��^��1���ͧR�g�����*������Y�����N�������9���d��� �O����������p��������vu�;�o�M�D � �"G7b7=�>gIRJ�M�NWP�P�i�l�t�u�u"v�vx(xHx�yz���>�������_���	�0��@���߸���������@���W�M��������:�I���d��7�����a�������s�U���3�}��������
z*!K#�$�%�&�/�0�1�HwI�I�\b^�_�i-jTk�u�wXx�yF�=�҅
�����ΊI���X���3���#�
�j���7�Ϧi�c����l��x������6�y�����=������W���r�����C�k�d�����I����������.�X������Z�_����o.!�*�+--�-�8�8;=�U�U�W<X0Y�[Q\�]�]�bde�j�m�nXo�p6t�uUvI}�����~����p�����Z�!������)�~�~��_���C�����<����������*��=�~��!G$7%_&t;�;3=:>*B�B~C9DMEqE�GI�K�L�LM�S}TZV�YbhBl�mfn�o�s`vzv*x݆~��G�x�[��ј���R���E����O��m�����A�w�:�P��������4������������)��}�A�8[#$$�+2,�,�F�H:K�SrT�Z�de�g�h�h�i�kol+o�s t�ujv����ٕ,���V���:���x�����.���l���3�\��X�4�CQE�EtG�G8HOHhJ.L�LhP�P�ST{T�]K`�`1df4i\idl�pYq�s�v�w7zpz@{,|�~��"�̓��E�s�؈ۊ���v����ϒ�4���4�q���������ض���	����������)�����d���>���������y�������3�.*01�1�?"BZC�C%DE�E�EF�G�H�I5M�MN�O�PMQW�Y�ZS[[�\�_�_;b�bc�c�c"eBh�j�j�p�pr���I�����A����ݛ��%�\������7�	�ҭ[������Z�6��������������_�Y�����B��H�j�����!���3��������N���L�&�����p	D		U		�5	z	�	�
	�	J	�)	I*	o*	�*	�,	�>	-P	uS	yU	rV	�V	wY	�Y	Z	�\	-`	�a	�c	�f	�g	�h	i	/n	Vr	rs	 t	u	w	�y	Xz	�|	�~	9	l�	ǀ	�	}�	��	w�	B�	��	6�	գ	��	]�	�	Y�	��	��	��	��	{�	\�	��	�	t�	��	��	��	^�	��	�	�6�7�8�!9�#10�%11t(12J413�514E915�;16<17�>18�B19C20&D21Q22�R23PV24�W25FX26G]27�]28�^29�^30�_31�e32�f33�f34�i35j36�j37�k38�l39w40�x41oz42�~43Ӂ44o�45x�46�47�48ۡ49�50p�51 �52��53o�54�55�56	�57U�58Я59�60�61��62*�63��64 �65��66T�67f�68C�69��70�a'�}Z��Zv�X � �!�%�&�+�-).�/�09�9<w>2?rSET	^�^�m�p6qdq�q^r�tez׆����+���������ߠ�<�է`��������������r��������������^��I���`���:�$�u�շ���4� ����U����~������]��L������������B�L��������
x
�
v

�
�
F
d
O
�"
�'
 (
0
26
�7
9
�:
71;
|=
�=
�>
�@
&A
�C
�F
'I
�L
NM
�W
�\
Y]
�_
1a
pu
v
>v
Lv
�v
�~
�
��
e�
ȋ
Z�
P�
֖
��
{�
>�
|�
K�
Z�
��
��
�
�
e�
��
�
j�
/�
׶
��
I�
W�
��
$�
��
��
H�
��
f�
;�
��
��
��
�
��
��
^�
��
��
�
d�
��
H�
��
f�
j�
��
��
��
6�
��
��
��
��
��
�
��
��
�
��
��
��
��
��c�J�K�L�`+e�o�syF�u�\�v���£@�\����� ��������S72B��
[I���|&�'�(�)�)8*�*,E,�,�2�3�4�647�>.@i@�L$M|O!PoQ�QR�TkU�UnV�WZ[Me2f�g.h�h)k�k
l�q(uz}��ɇ�|��������^��y���9���@�ܼh�����&�`�V�������������&�:��LdPR	S�UV�WX�X6d�z�z�������������������� ���{��������`���
cOh)'���!701f1�1�3358�8�:�<�B�BG�G�H�HEJjJVK-W+Y1ZG\_�_`s`�e'g:i�j�keq^���q�0�ޔ9�Ù��d�˦*�&�%�*�˺�λT�y����[���������G�������N�������b��Y���Z��	=��#���q(�� $�%{(�*�*"/2\<�B,CaL�LAM�M�N;O8P`P�P�Q�R�S\[]�^�^�^#_�c�~"�{�������؊�����=���\�^����D�֝�/�5�ͤ��v����w���8����a�˷N�������z�����ҿ�����f�������|�������v������R�I��	�73[�M

\�f�"�#'$c%1-�-W.�.N/0N=�=>;>�?�@JAzAGB�CAGkG�HjT�U�uz|~��w�������o�S�d����͌R�?�C�V���՟������4�+��_�3�|�7����� ���������N�����Y���Q���!�����_��%����Z�����X�NRs���"P&_&:(�(�*�+�.�45�7�8�8�8o:>�B�E�F.H�I3J�JN O�Q6R�UVoX�f�jtl�lp�q�r�z�~S�g�������-������?���=��B�*�*.�13:39Jb�c�d�e{j�m�n�r�sOt�y�}�~74���Q��w�W���T���ޔ(��g���C�R���s�`����=����n��������b�`���������%���������
�E���W�������[�����"���t�=�=>.C�F�IJ�N�O�U�V�W7Y�\�^j�jmn!q1r�s�t�xo{�{�}P~�~�I�…U��� ������<�Ք•F�}�������i�ۦ��n�^����˷"�o�������������.���C��Y����������^������������E����i�owp"r:t�t�z~р���<������o���v�r�ӏ.��Ĵ��M����G����Խ�����"���t������9����������s��M���%%&.�.g/"0[2�3�6�7|9�9�<�PGQ�R"[i[Re�eChAi\jDk�k�����L�Ɔ��������������������*�N�!������������?���
���&�����������{���7�m������l��"	�	�75�^
�S`��%c�'!�!�#$m$�(a+�-\?3AmA�ABC�D�E�I.J[J�KLN,N7m!r�r�u�vxix�z){�{�|���l���>�֎r�s���ĕ���a���!����/����Ъ=�N�����>���	�k��J����P����E���Q������E�N 76 :  - � � �� � � � �� �� �� k� � �� �� i� � �� "� j� � &� �� ;� 
� u� �� �� u� �!�!&!L!�!�!�!�77!
!�
!7!�!�!`!�!�!9!�!78!!�!!�"!�%!&!+! ,!},!�/!X1!�1!�<!>!�>!7@!A!�A!�B!�I!<U!�q!��!��!7�!Ԇ!P�!�!��!��!P�!s�!�!�!��!��!��!ؽ!��!��!p�!��!V�!�!@�!�""_"�"�""�"�!"$"�$"'")"O+"�,"�Q"eR"
S"W"JW"�W"LX"Y"Y"�Y"�Z"<_"�`"Pa"�c"�f"�k"�k"l"�n"�p"hr"kt"v"�v"�w"+y"�y"�{"O�"��"�"m�"b�"?�"Ď"Ə"e�"ؑ"b�"��"��"0�"o�"��"��"��"Ҹ"S�"�"Z�"��"��"��"��"��"p�"s�"��"��"2�"��"��"��"��"��"-�"�"�"��"� #a&#)#\*#;4#e4#�5#n7#-;#k>#�?#�@#zD#�D#�F#G#�H#�I#�J#zK#+P#ST#�U#	Z#�\#�]#$_#�a#�c#�d#i#
j#�t#w#x#�y#�|#�}#�~#.#8�#=�#��#^�#��#��#8�#��#�#��#��#!$�	$�$?$�$$H$ $�$�$�$5$�$$�$5 $b!$O'$�4$#5$T6$�6$�<$&=$�=$�D$'E$LE$0F$�F$hK$zM$>S$�T$U$bU$GW$aW$Y$oY$J[$�[$�\$$a$�$)�$��$W�$Ά$F�$��$��$΍$��$ߙ$�$��$�$��$ų$��$��$o�$��$f�$&�$޼$�$C�$ؽ$|�$)�$r�$3�$��$@�$�$N�$��$��$t�$��$l�$��$��$X�$�$%	%U79%%3%�%4%�%9%q.%�G%�H%�H%�J%ML%�M%�U%�U%W%CX%�\%�]%/^%�`%�o%�y%�z%^{%|%|%�}%w�%(�%�%x�%��%$�%̕%�%��%�%��%�%��%��%��%p�%y�%�%��%`�%�%��%:�%��%��%4�%*�%5�%��%8�%�%&&�&71&�3&
6&�6&�6&;7&�7&8&e8&�8&99&L;&�;&M<&�@&�E&�E&-K&L&>M&hP&
S&]T&KZ&�Z&3d&ke&�h&�m&�o&q&�u&x&
z&�{&�|&9}&J~&�&��&�&*�&3�&E�&��&{�&�&Δ&Κ&�&��&E�&��&+�&߯&�&X�&�&2�&��&�&X�&��&�&�&�&��&1�&.�&�&�&9�&.�&��&��&��&+�&��&��&5�&~�&`�&k''�,'-'�2'D3'�4'67'�7'n:'n;'�;'�D'�D'LE'�F'<H'�L'�M'R';S'|S'�T'TU'UW'�W'�^'�_'Wb'c'*g'�i'�i'�j'Nm'	o'o'�o':q'ur'�w'�y'.|',�'}�'��'��'�'�'��'s�'��'֑'̔'Օ'g�'ՙ'��'�'@�'�'��'$�'��'�'��'�']�'��'��'��'?�'��'��'��'7�'�(�(�(�(H80(C(o(
(�(�(Ck(�k(�k(l(*s($y(�y(�z(�{(�(�(n�(q�(B�(��(�(��((�(��("�(��(Z�(�(��(֠(8�(7�(��(0�(˥(N�(0�(Ķ(��(��(/�(��(ɹ(�(߻(]�(�("�(�(��(9�(��(9�(��(��(��(��(�(j�(��(��(�(p�(��(��(��(��(�(W�(��(M�(��(-�(w�(�(��(K)�)�))&)�)�)�)E)O)�)�)�&)7')�')�-)�-)8/)�/)�/)1);),;)u<)e>)�>)�A)YL)�T)OW)�Y)$\)w])�^)"_)�`) e)%s)�u)Rv)jv)�w)x)Uy)|)�~)7�)��)��)��)��)ω)
�)��)G�)��)*�)K�),�)ʜ)9�)>�)d�)��)�)M�) �)�)ش)��)��)ŷ)81�) �)h�)ߺ)w�)S�)d�)��)�)L�)��)6�)��)��)��)��)��)�)b�)<�)��)��)A�)L�)��)�*m*&82*%*r*�*�*+,*/*�3*J4*�4*L6*g6*g=*>*�G*�G*�H*/X*�Y*�[*=\*z\*y_*Qb*�b*�e*�k*�k*
r*wu*�z*�{*�|*�}*W~*��*!�*_�*��*��*ۦ*��*�*�*̫*ì*_�*-�*f�*��*�*��*��*ú*��*¼*�*�*��*�*��*��*�*K�*?�*#�*��*q�*��*2�*<�*O�*��*�+�	+Y83+�84+Q+�+�+�+l+�+�+�+g&+O0+�4+5+@8+�;+�<+=+??+�@+1A+E+"F+pG+K+�K+�L+�P+S+?U+�V+�W+ X+�X+VZ+�[+2\+�\+a]+.^+f+�f+�j+�m+n+�r+�u+�w+�x+�z+�z+�+%�+W�+�+G�+X�+b�+��+˜+"�+�+��+��+�+��+E�+�+��+��+m�+��+@�+��+p�+��+��+��+�+2�+y�+��+��+T�+
�+��+�+F�+��+�+��+��+��+],_,h,\h,�h,j,)j,�j,o,
v,Mv,6z,�{,�|,�|,2},v},�},	~,�~,��,��,��,�,�,Ǔ,�,Τ,�,f�,��,�,��,G�,��,{�,*�,w�,�,Ļ,+�,��,�,��,6�,}�,o�,��,��,<�,p�,+�,j�,��,a�,��,J�,��,��,��,�,6�,��,�,k�,��,��,��,��,��,��,�,��,N-A-k-#-�-�
-�-�-2-!-�-�-/-� -�"-�"-�"-�(-"*-X*-�/-{0-�1-�3-�4-*5-�9-�?-c@-�@-�@-KE-�E-F-H-UH-zc-�c-.h-�h-�k-m-go-�p-6q-Kq-�r-g|-�|-�|-�~-1�-��-Lj-�-ɉ-d�-y�-h�-ܓ-ږ-'�-��-Ư-2�-9�-��-��-��-=�-�-4�-��-��-��-��-�-��-��-h�-��-q�-1�-s�-	�-��-@�-��-R�-��-��-��-��-��-c�-�-n�-��-��-u�-�.-.:.�.v.N	.,85.�86.q.s.�.].�.
..�.o.`!.�%.'.�(.�).E*.�+./.�/.$0.�5.#6.~6.l>.��.E�.�.?�.��.��.c�.7�.Z�.R�.��.��.�.	�.$�.��.N�.��.�.b�.��.��.�.|�.��.8�.��.�/�/�/H//�/�//�/y/�/B/� /� /�!/�"/:6/�7/�;/
</d</ML/�L/	M/DM/�O/
V/�W/�}/�}/��/΁/҆/q�/��/�/T�/��/��/��/y�/��/j�/��/9�/=�/��/Z�/+�/��/!�/y�/;�/��/��/�0?0�0
0f0�00f0�0l0L0u8705000�0z0�0�0�20�30�30�40J5060360�80�90;0:;0$=0