Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00116_00000_shuffled.ds.index115 linesDownload Raw Back to root
1D/�XQ��bz
H�h����� �%�'(�*�+",�-�.�/s0m4�4�5a6�7�;i?�B�BsE�E_F�G$H�HQI	K/M�Z[
`;a�c�hj֑'�����R���=�������;�y���Z���e��������S�������������7�����	(�Y������?���7�2���������Z�������
�U���3�s�t����V������*�W���	<��
�VuW��,��r�&�&b'�()60�0U:�:P<}<�<�<~> @)DwG(H�H�H�KL�Q�R�T�]�^Va3eyf�f�hlk�mDp�p1sv^x y�y.z�}Z0���ހ����P��g�K���9�r���ěڛ����ž'�y���~���-�K���$��`�i����������4�z���	��O�{���<���t��������X���������E������#�p�0������W�"�*�+-�/Q35�5�9�@F�H"I�I�IdJ�L�M�MgO�PQCQ�^Gb�f�h�u�v�vpw�wx�{�|}́k�����ӎ���/��������H�۱��K����������~�����@�ڻ����?�����A�������}����w���������8�����!�������7R�R)S�S�TZ�Z�[o\/^t^�e�fggj�lvm�n}vaw(x<yDz�|Ō��C����6��������+�(����A�-�F���L��������e���;�K��h���h_	LE(QX-r/E7�8o=�>�@A�A�E�H�HEI�IQK�K_LNAO�O�T=V�`hLj�p7qĺ���w���������\���Y������L����/�H�����w�+[,0.�.M/�457=7w>p@A�A@C	J�L�P�Q;UtX�XbZ�[_�s�s�x������w��3�Y�f�����"�}�߼����{�O�I�������k����������H�7��		C
	R	Z	�	�		\	�	: 	!	2$	#&	�,	�0	�0	1	�2	�5	�B	�N	CO	yP	qQ	JR	�R	�R	�S	]T	�U	�V	
[	\	�\	�^	j`	�c	�c	�c	re	�e	f	�f	�h	en	Ko	��	��	_�	j�	w�	��	�	��	_�	��	=�	Ȯ	۵	��	��	��	��	��	A�	��	?�	��	B�	o�	G�	��	z4f5�6P7�8�9<10�1112O13=14�15�*16�+17�+18�119�320�321�422�Z23Y[24:\25#]26B]27�]28�^29�^30�_31�_32Ic33;h34�h35�h36�j37)m38�m394o40�o41�p42oq43	s44Hs45	{46S}47'48�49'�50Q�51�52t�53��54��55g�563�57��58�59}�60խ61x�62�63��64j�65и66�67��68��69��70^�71��723�73w�74Q�75}�76��77��78��79.�80V�81��82��835�84�85E�86�87��88h�89��90|�91��92��93��94L+	}
\�!�)� "�"�$�'�(�)P*,�-E/�/p0~1�1�3W6�8>�?�DIQ�TZV2X�X�YbtD{A�ρ��$�V����G�����E�z������E�o����������������L�`���M�������5���K�������`�	��w�s���9�k����N��SW95�3m
3qL���|T���$V%�%f(/*�*�*�- 5W>v>�>�C�FH�J
O96PdQ?T�in9o�oap�p�ql�߆������:���/����������D
�

$
5
p
�"
#
�$
�-
�.
$/
'1
�4
�4
�K
;Q
\R
�U
�X
�Z
�[
�\
)c
�d

e
�f
i
j
�j
Vk
ll
�l
r
!r
�t
O~
�
��
��
��
��
9�
��
�
��
q�
��
D�
��
g�
y�
�
ʩ
��
��
,�
�
�!"$�&�(�(�+',�,�0X2�67�7�8,<�<0=T>�?4K�L^M�NqOQ�Q�S�S�S�T!VTV�VC]Kb�b�c�lQm�p�r�r�r s�s�sRuEvx�x�z�|}��]�����`���9�	�G�����9�K�m��Z��������C�97�F9yJ��8W"d&P'(+,L--.�.�1,3�6�78�8)U~U_h�hnl�y|�����J�k�фC�k�d���l�����5t�r������c+ e.[/2A2�3P7{S�T$V�l[m?n�n�o�q�q�sx\x��P���������\�Ř������g�0�W���H�ͽ���0�������U�?������t�	�.�>�r���g�x�q�1�@�F�GNL}Q�RS~S�T
U9W�W+ZKZ[:\]
deie�hk|l�l�mMo�r�tfu����� �l�`�֯����S�������^�q���
�����+�*���
�C���E���.�����OwY���	9
�����ҏ8��R�K�A��Y�w������98�������7������������U�}����P�����	�������8����A��	299����@t �"P$i$v&�(�)$.�=K>CKM�T�U�W�Wmh�h�nBs������b��ǔ��ߢ.�2�����L���߳��ù��H���E�������k����������	�	#
�
2�+�MS]�� h"*�*+a+�+V<>�GhLqN�VW�W�Z[�[�fag�gDh
lDl�l<m�m�oq�~������ăn����p�5�}�O���O�~�����A�������������������4�]�G���K���e�,��(���k�g�����g�(�^^100�U>�Y�%�&((D)^P�P�S�S5T�U�WY_�_�`)cag0h/lRm�m�m�ndr�r�s�s���~��q�%���u�V�|�ޕb�ޖu�h����Z�������=�6�Ʒ����ɿ������������P�������g���qiFLzV�X�X�X^�hDikrlUu�v�vx$|�}G��T����������(���ޟ(�{��'�j�@�b��4��ĵ�����I�9�r���U���������������Z�����z��������Z	g101���b4��SP�.'0I1�2�5M78t8nB$M�^_�`Wb�b#fOfrf�fVg<h�iBsrs�t�u�u�w���9�Ά������\���I���"���٪«٬r�r�1���k���H��@���������m���*�C���1�j�F�����,�U�����>���~|	%��5
O��/%a%�(G)0�1*2�2g3�3�3s5�56�](_�b�cKous�v�xC{�|�|I}��)�����P���n��������8������>�����������T�m���������w�����G�l�����I�������L�������D�	�)���"�%r&�&+�+,y,�.002m7�9:k:V=T>x>OCM[N1P-S�ST�V�W�W�_�`Xa�a@c�c�df`�����n��l�`�����c�R�j��*��������d�?������6����S��)����������������{��V�C�������ʔ����ҖA��ҟG�����\�)���ͯȳf�s�ʸ`�.������L�����,���5�g�8�!��q�������T�k�����@��qwB,-p-Z/�1�1�\)d�f�l�lo�p�t�u�z {�|}�n���ӓ>�ȠԦz�ݫլ�������z����U�˺Ż����A���l�2��������;����[���a���.���������^
`S���f��j!�#�%w&�'�(c,�.�6(8�8�d�q�tCv�v�v�x|�|�|�A�������?���������>�|���H�102�#�.����˦�A�"���֭r� ����ܶ����[���|�����������������2��	�Z<��OO��%'�'X(�)&0�2�36�6n;�;�;�?�?�B�GeH�H~J�SrT�U`Zk\�a�u݁ԃ��U���N���×��Ġۡb�Ѧ��p�������ů�ұ��	���A�7�c�¿Y����F�h����]��R� T"�#{&�&�&4)c.7�8�8q<�=�F.H-I^I[LM�MQ�Q�Q�VW�XPZ]�]x`^a�a_dFe�e(��Z����Z�f�����/�شTNa103�104J��i�`�!�"7#�$�%2'K'�)�*J+D,�,�,-�-.�.�/90�02[4u47�<=�=w@�A3J&K�KS.T�U�V�ZB\�U(V(�c(�e(�f({g(_h(zj(=p(�p(�q(Ks(xs(�u(�z((�(��(0�('�(k�(��(ݖ(o�(V�(��(105�(�(t�(��(5�(Q�(]�(G�(��(n�(]�(��(O�(�(��(:�(�(��(��(��(��(��(�(�(��(��(=�([�(})B)m)
);)�)�)^)�)"!)W")�%)�')�()�))*)1)])\])I^)�^)z_)�b)c)�c)d)Sd)�e)Dl)�m)zp)�})�})106),�)��)"�)�)Ҍ)��)��)��)l�)s�)��)o�)�)��)ݻ)Q�)*�)��)��)�)��)*�*�*!*�*107*S*D*�*,*�*�*�*} *!*�.*�0*�4*�5*P6*�:*;<*lB*�D*E*}G*�H*}J*g�+��+T�+s�+��+:�+��+��+��+A�+��+�+j�+�+Z�+u�+��+�+�+�+ �+��+��+��+�+B�+�+��+��+|�+`�+�,�,<,�,i,�,�,(,�+,&,,6.,�.,`/,�1,�5,�6,68,�<,�=,:>,�J,�W,?Y,�Z,b\,P`,�b,�e,�f,�i,l,�n,p,�r,ps,Ut,�v,\x,�},?�,�,��,Ր,F�,�,�,�,.�,c�,��,�,�,��,��,�,��,&�,g�,��,˼,:�,��,*�,��,�,��,�,��,��,|�,J�,U�,c�,��,8�,��,�,b�,��,��,�,�,��,J�,��,��,h�,�-�-�-�
-o-�-�-O-�-U-@-n-A- -` -7!-r!-�"-�&-108)-u.-�1-2-�@-�A-�C-�D-H-dH-�H-I-vJ-�N-�N-�O-�P-�R-�U-�U-(V-�V-gX-pY-�\-&^-^-�_-�`-�c-R�-�-�-ɔ-M�-��-]�-ɗ-=�-:�-��-k�->�-�-��-�-/�-��-$�--�-%�-_�-��-��-T�-�-��-��-[�-��-��-��-j�-�-p�-:�-��-�.�.E	.�.�.�.�.r.�!.�#.�#.U$.�$.�%.5).y,.^..�>.iC._D.[�2X3�3M3�3	3�3,;3�;3�@3�B3�D3'a3fa3>d3=e3�f3`h3�i3tj3�j3
l3�l3�m3�n3_q3�q3�q3;s3/t3v3�y3�y3�}3~�3:�3k�3�3�3|@4A4)G4RS4pS4HU4lU4�V4�i4�l4�n4yo4q4*r4�r46w4�x4�z44X4�4�4��4�4��4��4׈4�4��4��4��4��4Ɠ4_�4%�4��4Й4��4ƚ4w�4��4͢4j�4��4��4��4E�4w�4Q�4��4�o5�p5�q5�s5ku5�u5{v56y5c}5�}5~5
�5�5��5��5*�5��5�5ٯ5Y�5Vx;�x;{y;%z;M~;�~;ς;109�;��;�;=�;�;��;Y�;~�;��;�;��;5�;z�;�;�;�;��;��;F�;��;��;��;��;a�;��;��;L�;��;�;��;��;�;;�;�;x�;��;�<<C<�<�<�<�<�<M!<�!<u"<l#<f%<�-<f0<65<�7<�8<.:<�A<9D<�E<�E<�F<�H<I<*I<�J<DK<L<�M<�N<vP<=Q<�Q<'R<IS<tS<�S<�X<�X<&Z<�[<Gd<�f<��<��<\�<3�<��<	�<G�<��<�<��<��<_�<��<��<k�<��<��<��<��<B�<��<��<|�<��<��<��<Y�<T�</�<�=�=h=]=�=s=C!=~!="=F�=��=�=H�=��=�=	�=��=�=Y�=ܪ=W�=H�=��=��=W�=�=��=v�=��=g�=�=��=Ϻ=J�=[�=��==�=f�=��=T�=��=W�=��=�="�=�=��=>�=o�=`�=��=��=��=$�=T�=��=�=J�=��=��=��=D�=��=��=��=��=P�=��=��=K�=��=N�={�=�=��=��=��=��=�>*>a>m>d	>�	>�	>>.>�
>�>>>�>>>?>�>E>R >">8%>=(>�)>�)>q*>'+>P/>20>�0>�1>�4>�5>@6>�6>�>>?>H?>TA>�B>:C>aQ>+R>U>�>d�>��>��>n�>��>�>B�>��>a�>�>��>H�>8�>)�>��>��>s�>110�>;�>��>0�>��>��>��>�>�>^�>R�>��>��>Q�>�>111?w?�?�?^?;?�
?�?�?�?=?�?+?�'?�(?K)?�)?�-?.?.?�.?�0?�5?�=?�>?t@?xA?�F?�G?�I?RK?�M?N?vO?�P?�Q?#R?�U?rV?IW?^_?n_?	�A;�A��A1�Am�A6�A:�A��A{�A��A��A'�A��A��A~�A��Ab�A��A��A�A��A112�A��A��A�B�B�B�B�B�B�BBBBFB�BBhB�BnB�B;BA Bx B8:B�<B�<B�=B?B@FB�FB]MB�OB�PB�YB�_BfB�fB�fB�gBinB|B�|BV}B�B�B��B�Bb�B3�B��B�B��B113�B��B��B��B��B�B9�B��BݷB�BC�B�B׺B�B��B��BK�Bz�B+�B��B�B��B�B��B	�Bq�B^�B@�Bk�B��B��BD�B��B��B�Ba�B�B��B�B��BL�B'#C�#CM,C-C�lC�rCusC&uCvC:vC�wCl{CQ|C�~C��C��C��CW�C��CT�C��CH�C��C�C<�C��CO�C1�CC�Cg�C��C114�C��C��CU�C��C�C�C�Co�C��C<D�D�	D�	D[D�D�DDDcDD�DCDDtD�D�"D�#D/$D115/D�0D�ADCD�QDGRD�SD�TD�VD�WDKYD1ZD�ZD�[Dm\DhD�hD�kDrlD)mD'nD�oD qDs�D��DȃD��D1�D�D/�D��D��D�Da�D��D��D�D�DO�D��D¡D:�D�DA�DЦD	�D�D�DS�D��D!�Di�D��D��Dw�D��D��D