Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00091_00000_shuffled.ds.index113 linesDownload Raw Back to root
1�v�"����:��l��0 #&�(8�83����1�b�����S���.��_�������;���"����������0�����_��.H��]����%�%�+i,j-O/�4_5&67b>JG�G�G
ImJ[LPR�U�Z�]�^�_�`�aqbc#ef}h(j�q�r�u�v�x�xNy���n�U�ɉ��������ըk�k����`������F�}����w��i�����f��e���O����#�/�������2��; l�'�(�+n.j/�0�5�@A�H�I�R~U�V�VnX�[	\�\�^�_�`�a�b�b�c�f2hh-k�m'n]z~��с��Q�:�����x�������������F�W�.�_������'�X����#���Hy#{����.�;\<�<�<�?#GH�N�R�V~W�X�]�abrb�c�g�i�kps�st2x�xz=z�{��l�e����4�N�m���w�ϧ���������0�����-�a�&����������������#��
'�>s�'~+�-�3
4�5�7�B�D�E�G%I�I�I�vi����>�n���������U�u���������A����"�W�3�j��������&�&�'�+,�,�.W/+0I6u;�;�;�<=�JKxLN�PHR�S{_�_�d�hi�jmo4p�x�}(~�~z����[���y��/�Z������H���� �g�n�U�S�����=�]���˺T�3�T�D�5�Z�������������;�������A����}A�B�B�G�G}I�JK�L�R�UIVmV�V�W�Y�Z3[>]�^<`�b�be6g�k�m"o�p�tyCz�}h~�����������G���X�܌Q�э0�}���4���ǟ΢o�������������Q����R���J��r�O�����r�1������������"%0&1R@UXSX�d�d3e^e%k�l�m<n�n�w�w[x�x�y�{�[�B�����3���ْƓȔ���t�����Y�}���6�ʫT���/�|���8��^�Ĵ+���$�)�u�������������������=����;���8����������"�7����v�������������2��"� ~$Z?�?D@�A'CGNK�]�^�c�lBobozpqKq�sXz�|(}�~���[�����x���7�҇Z�G�3�/���������*�������(�߹5������������ �:���K��y���{�4�!���=	�	
	p	�	}	�	o		:	�	7 	� 	
#	{)	�,	�.	�2	86	9	�9	$;	�W	�W	y]	.d	�k	�k	l	zl	s	t	_t	2u	Hx	Q~	:�		�	�	��	،	Z�	z�	�	J�	��	��	ܝ	��	Ĥ	ƥ	�	��	+�	��	�	n�	��	 �	.�	z�	y�	��	�	��	��	��	��	a�	��	y�	��	��	��	]
4�5�6
7�8910s11]#12;113�114�215�316�417�618�819�>20A21�A22�A23�B24�D25G26sQ27�S28�S297T30S_316`3233a34�d35�e36�f37�l38�m39�m40�p41�q42�|43�}44C~45\~46z�47q�48׃49j�50�511�52T�53ϒ54��55I�56F�57v�58��59��60ڢ61Σ62�63�64��65��66�67��68��69��70}�71�72��73��74$�75��76u�77"�78E�79��80��81J�82��83��84V�85u�86Z�87��88.�89x�90-�91��92�@��Q$p$U(�-e/�/:0�0#=aD<N�PqQ�R�S�S+U3WW�W�Y�]*^�_�a�v�v?y����%������B��Z���/����̾=�����I������\����6�3���,��������������`�I�L�b���z	����!�&4(�-�-�.h/�2�46�7�8`=`>�C�E[RU�VvX�_j�jbq����#���Ľ����=����[�p�K��G�������p�i�(�����z�&�E������������
�
�
J


�
�

&
�
�
c


�

<
�
�
.
l 
�%
E&
'
t'
�'
�C
UE
9F
��
��
Q�
��
"�
F�
��
͜
��
t�
��
8�
��
�
`�
:�
v�
>�
ѳ
��
?�
v�
3�
m�
��
��
�
�
��
>�
)�
��
'�
��
��
��
��
m�
��
��
��
��
��
��
��	�93?
��a�5�D��[#�$�/5P5WA�BhC�CCE�E
F�F�F�J^LRP�RSm]_^�^94`[f�f�fdg8j`k�kJmdo�oTt�tQx�yP�����C�،��ԍ	�������;���V�,���������q��������j�������������������
�T��)�f���b�������#���8�#���
�]�i�x��������$�s���	I����95
��O9��&�(�),�/:0v0�7f9=2>�A�H�I�MSN-O�O�[!^�^g�i�l�o�}�c���(��������\�������������q��[���c�{�����>����L�j�;����n�v�������[�5���E���b�R�������T�����6���|�������X�������bnp2p`����`�,�����Ǘܵ�������������������	MB��
�(S#�M#u$i%I'�*!,C-�-.�6r7�7C8�8H>�>�@�@�A�A�B�DiE�E�EXH�H`JJK�K�LJMONT�TTU�q*wIx$ylz�zN|�|O}�}	~B~*/�S�����I�_���k��J
Z��.z��!2E�EvG�GuH�N�N�O7P�S�UaZ�\?]�`�a�cmd�d��m����������i���`���6�����n����-�.�HvI�J�J�K�P�P���Ήv����=�c��x��ߒV���ږ�Q�ס_�J��ɪҫ���|�E�9�������t A�����*�+T,�,1.�0Y1�1�2:3U5�6�6z?IA\CEuHmZ�\�_4bd�gIhq�q>u�v5x�x2y�y6zv~�����96jnp&q�u���ɗ�����ס�������b����	�[��q�,�!�"�$�%&&�&�'�1�3�68�8�:P<�<|>RA�G�NQ97Z�[98]�]�a�b�e
f(hUh\i�j/w�wxԃ�����4�(�c���y�!�w�ء���-�ί����I���ʽ-�e���������+�99�������'�������������YP�a��T���z��!X"7#�&+u-�0\1J2w4H5�5<:<�=�A'I1LPM�N�O�QV�V�W�Z?[Z[�[*\�\`a�f.�q�ɒ��V���B�5�íޭl�����R���)�L���-����a�100�G�[�����X�&���5���K�T������:��������d�6�����G�V�&101� O$�$�$P+i1}5�6�7N8�8�9�9�:�:�;v<.?�F�GgH�IvJ�JMbNdW�Z�[�[RkLp�pu:u�u0v��]�΃�����I���;�����p�����d�������������&��L���H�����$���D�����������6�R�e������102�.�w����hO
��y b��{-! 0^0�9�:�<�>�A&B�D�D�F�G
LO,P�QSgS}TyU�U�V�Zq\]^�^prwr�xCzq|�}���	�-�����Y��-�_������>�����@�Q�:������z�P��103>���
Y�-.�.�.�/0192]3(?rB�PR�T4V�VS`ubwm�pdq�q3�����;����o�`����w���O��������g�p�x����  � V � �L �M 6N �N VO �R �R 2c �c �c �d �e �f g Cg �g Ml `l �m �=!S@!�A!;B!MB!�C!�D!;E!<O!�P!�Q!eS!�T!MV!^!�^!u_!Oc!~d!~�!E�!E�!��!X�!�!(�!��!ל!�!U�!��!�!��!c�!ԥ!��!�!.�!�!U�!��!��!�!o�!9�!5�!9�!!�!�!w�!��!��!��!��!}�!v�!H�!��!��!"$"","`"c""�"�"�!"�!"#"4*"P-"F5"7"K8"�8""D"1G"�G"J"OZ"8p"r"�{"�{"�}"�"��"��"O�"0�"�"ʣ"X�"��"�"�"��"K�"I�"h�"��"��"u�"��"J�"��"��"��"��"��"��"U�"�"��"�"`�"�"�"<�"X�"��"i�"��"��"��"��"k�"��"p�"�#�#C#
#�#�#K#�#4#[##;##M#v!#8&#1'#(#�(#()#r+#�-#1041#T1#p4#�4#�5#�:#k;#n<#�>#�C#�D#(E#�F#�G#�N#�O#e]#�^#qf#,g#'i#w�#�#�#?�#��#��#�#x�#��#A�#a�#Ӣ#ף#ť#�#\�#x�#��#�#�#��#��#��#��#3�#Ƽ#ݿ#^�#P�#��#`�#W�#�#v�#�#t�#��#��#�#��#��#��#�#~�#��#Q�#g�#��# �#�#��#��#��#F�#b�#0105$$$ $}$>/$77$|7$k8$�>$�>$n?$b@$�D$J$K$�L$�Q$�R$uT$�U$SX$nZ$[$	_$�`$�c$Lf$�j$Xk$_l$Cm$o$�o$�p$Tq$�q$�~$�$f�$A�$G�$"�$��$$�$��$&�$I�$��$
�$��$��$��$0�$b�$��$��$��$��$$�$��$B�$i�$0�$��$��$$�$t�$��$��$�$]�$>�$��$p�$)�$}�$��$��$��$��$%�%�%�%p%�%-%9 %y!%�-%/%R0%�0%4%�5%-7%�;%�;%X>%�B%�C%^J%�L%�M%CN%O%{Q%�T%i`%�`%b%�i%�j%9r%s%/v%�v%�v%Gw%�x%�x%Tz%y{%�{%�|%{~%S�%��%��%��%�%N�%�%=�%�%H�%ݐ%�%ߔ%��%a�%��%M�%��% �%�%9�%w�%Ƨ%)�%��%ɩ%k�%��%Ю%�%w�%̵%E�%��%i�%��%��%�%��%�%R�%K�%��%�%��%��%P�%C�%��%&~&�&�&�&0&/&�!&�!&�"&�"&+#&o%&�4&_=&y=&G>&J?&�?&!@&d@&SB&�B&�R&�X&ZY&$\&H^&(b&�b&�b&dd&{k&Pp&q&�q&ss&Jt&w&�|&x}&�&�&��&106�&b�&��&"�&g�&Ž&��&�&��&�&'�''('4.'�.'H0'1'R1'33'7'l@'�@'�B'_J'�N'!T'�U'�Z'�['�]'�^'g'i'pk'l'Hl'�l'�m'�m'�n'p'8t'[t'Nv'�w'~y'Z{'�|'ҁ'�'3�'`�'��'��'W�'��'ӛ'�'E�'+�' �'��'Ц'�'�'1�'_�'��'��'O�'��'S�'��'j�'��'��',�'�'��'�'p�'��'�'6�'��'-�'��'��'��'��'b�'n�'7�'��'��'�(�((� (�%(�)(N*(�+(�.(/(c0(�0(�2(�:(\;(t<(P>(�>(�A(�B(H(VH(�H(�K(%L(N(ZR(<U(�U(�W(d(�d(fl(107m(�n( y(�z(|(ӂ(;�(*�((�('�(��(�(6�(f�(3�(y�(8�({�($�(H�(A�(v�(��(�((�())�	)108)D)�*)|4){7)\>)*D)�D)�G)�I)J)�J)�K)109M)aM)V)�V)�W)�X)�j)Gl)�l)fx)�x)z)[{)G|)�~)�)H�)]�)�)�)��)ڋ)S�)��)��)��)k�)�)�)ڧ)Ϩ)�)8�)��)�)��)��)N�)��)�):�)��)3�)��)��)R�)��)��)m�)��)�)��)f�)u�)�)��)Q�)��)��)��)��)��)��))�)��)��)��)110�)�**�*5*�*�*�	*�	*�*h*[*�*�*;*�*�**	*{*� *'*(*�)*�**�**�**T+*+,*-*�/*�1*�3*�7*Z8*�8*�9*�:*�;*�<*�<*$@*�E*I*nJ*�Q*�S*LT*�T*.V*JX*;Y*&Z*�,+y2+U5+�6+*=+==+5>+*B+@B+>E+CG+vG+�M+�N+*O+QU+j\++j+�j+#m+`v+�w+�|+~+�+߄+ԅ+��+·+q�+i�+��+��+�+��+�+�+�+��+�+�+�+��+&�+t�+ƻ+v�+��+R�+�+��+�+�+`�+��+��+��+P�+��+��+E�+G�+��+��+8�+p�+>�+��+��+��+��+q�+��+Z�+Q�+��+),:,�,,�,7	,y	,l111,z,�,�,�,	,(,�,,�,%,�,G*,+,�+,G2,�3,5,p5,tA,SC,	G,tH,�H,�Y,#Z,�_,�`,�k,�~,�,��,'�,ʄ,�,x�,��,|�,#�,�,��,��,
�,h�,��,��, �,=�,��,��,��,DD-EE-�E-GG-�K-�K-/O-VQ-GR-�R-*T-�T-xV-X-�[-<]-W_-.`-Yh-{i-l-�n-�o-�p-+q-Tq-�q-�}-�}-�}-�~-�-Ž-�-�-/�-��-d�-��-��-��-��-��-��-��-J�-��-�-z�-��-��-c�-��-��-��-O�-�-|�-��-��-E�-.Y.�.q.�.Y.�.k.;.^.�..�.�.�.".^.�.%.�'.�'.(.�(.*.�*.Y,.-.�-.>..�/.C2.3.+3.�3.�5. 6.y6.^8.�8.�9.�;.a<.<=.�>.�@.�\.�].)^.V_.&`.�`.Jb.cc.�c.�d.�e.kh.�h.�j.�k.�l.Fm.�n.Co.�o.�r.8t.�w.]�.O�.��.��.��.�.�.ۓ.��.d�.��.��.%�.��.�.3�.��.��.��.�.�. �."�.��.�.h�.��.��.��.!�.w�.��.��.��.��.�.��.^�.;�.��.�.^�.��.��.��.��.o�.#/h/�/3/#/�#/�#/%'/m'/T)/�*/�+/�2/�3/+4/�4/�5/l@/pE/�V/�V/�Y/_/-_/n_/3`/�a/�d/zg/3h/�i/k/�k/�l/�m/�z/�/T�/��/'�/:�/g�/��/��/�/K�/��/��/��/̚/��/��/�/R�/϶/޸/�/޻/j�/B�/��/��/M�/��/
�/4�/�/��/G�/<�/0�/��/��/�0�0�030�0�0,0Z0�0�0�%0�(0�+0.0�0040�60vA0�A0E0iF0�F03G0vG0I0YI0�K0�Q0EZ0�Z0�^0|_0Ch0i0Š0��0T�0��0Ǔ04�0X�02�0ʘ0��0.�0֜0�0K�0��0�0z�0آ0��0`�0ߦ0��0�0��0A�0�0M�0�0��0�0 �0��0E�0��0��0��0߽0��0��0f�0��0��0�0��0��0G�0��0�0:�0112�0N1l11�1131l1y1�1=)1