Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00097_00000_shuffled.ds.index71 linesDownload Raw Back to root
1�yo�	�Ky����;�"$N%]'H(�(h/�4�74:$=�=#GPG�G;H�LAQTQ�R�SkV�W�[p^Yt1�q���i�Œ��k�e�қեm�ݬ�����:�Y���u�6���<���>���O���%�?���m�5�>���F�M�y�����e����������g�"�b��	�2��$j8����b� �#R$�(D)$*�*]+�1�5�9p:�=�@IJeJyM?O]O�OLRWR�Tv_�a4~p~0{���������ߋI�V��@��{�����c���^���H���#�"��D�����"��C��3�z%�%�&��+�S����n�N���̹5����������&�0�?������������c�������Z�����"������J����6���,�8	�����#�%�.�1b3�3!4M>�>�?_@F�H*J�JK�K�M�N�O�arcd�dqeq�������`��H�T�b������+�B����_�����2���a�>������������>FGG)H�M�N�^Ea�ahb�cHeWh�hai�igj�j�k�k1lemIr�rOsB~�~�v�2���U�������w�������
������+�|�A��������������G���0���U�6�������������
������"����0���9���/c�dYf(hJj4mKmNn�n�rws�u,w�y{z{v|F}D���ކ:�%����Ƒ�E���c��������������������V��}�����������R���	�W���������w4�5w�P�O�h��K$�)`*b�dce"f�h�}~ʃ3�U�|�������!�Ԡ��w�������)������������8�u�����K�q���]���y�l&r��6�!'�*�+�-�-B�C�DmF�F�FvG�G�J2LUM�M$OhO�P�S�T2U#V�X9Y�Y�[�]^3`�clkl�l�l�m�w�x��p��������B���1����K�Þ�k��*�����6��������6�n���+���y���~�����
����	�		|	�	`	�		�
		�	7	�(		*	F,	�,	�-	.	70	;		<	@<	�=	�@	$A	�I	�I	{N	�O	�Z	h[	
\	x`	yc	}f	�v	�w	2y	�y	�|	�|	�}	�}	��	:�	 �	��	�	�	H�	&�	ӓ	�	͘	��	G�	��	��	ƫ	_�	W�	Y�	��	D�	5�	��	��	��	L�	��	�	B�	l�	g�	�	e�	��	w�	@�	��	P�	��	��	��	��	��	��	#�	��	��	�	6�	�829z10�11�12�13�14J15�16� 17)$18�%19�&20z'21@)22�*23�-24225526627J928;29<30�<31�@32�B33�D34�E35�H36�L37�N38P39�T40�W41WY42{Z43�Z44l\452a460b47h48Ph491j50�j51�o52ύ53��54p�55��56P�57lu	��A�CZ���~fC��!�#`$
%�(*�+�-�.�.s/�/N1}2{N�N!O�Od\Aj(�J�s�B�Y�ʜ���C��������`���4���V�-�w�����������[�h�����6����?�L�=��9�^�W�58R�����j��[{"�"�)�*�+�70<�<�>�A�D@H�KbN�R*SiU,V�V5[�]x`�`8a�a�d/e�l�m�o�o�qEr�s�v�w�x�z�{|9}��5�	��S�����G�[�������g���~�$����
�
R
�
�
�

�
a

^
l
�
0
0
�
�'
�(
"H
uH
]K
�L
2R
�S
�[
�\
f^
=_
{d
?e
�g
Vh
�h
�h
'j
2n
uo
Lr
Jx
ބ
2_�i�j5qPq�q�q�z{]}Q���q�Մp�&�~��������\����հ����������|�ӹF�
���M��D�=�����n���_��J�C��������j���%�hDZ�7�����4�8�8�9\:6;Y;�;<6<^D�D�FQ�Q!T�VW�Z�_Z`n`�a�cmd'k�m�n�p�s9t�tvWy�y�y�z�|Ӏ����G���`����n�%�f�ߕK�U�@�[�ɮe��������2�|����\�w���u�f�����������\���p�����������������
�M�����d�.�V�f��0-2A6�6�8E<�<S>C?h?JMO�O�P�Q�R�Z�\�]_`_�a�a�c?hl?mndncp�pMrjz!|3}E�����H�Z���[�2�������O�v�������z�>�N����ձ�����ԸQ���������:��#�$I,�,�-�.�1(4�5-9�:Y>�@59AABB�CwD�DgG�G%JJ�J�K:LqL+N�PzR=T�W�Z+aCo�o�o�s�s~x�xG|}�~ŀ�l�΂���ن����������,���H�ʬK�����:���3�z/IA���!"#&d&(�,J.�/X1�132q6^7�:n<o>?@7@D�E#H�J�L�L�M@O�O�P�S#T�V9W0Zofq�s�v�w.y�y�}~҃������?���Π����J�ԩ�����_���F���C�8�9�;�<I=�>d]d�i3jgl�o0rur�tv�v�x>ze|�|A}K���\����+�#�<����B�����T�k�����g�#�����\�i�9�"�$�&'�(�*�+-x-�.�4t5,9�:g;�;E<.=&>�>?A�BkM�M&N�N�P�QS�S{T�U�X�\�]
^�^,_�`�e�e�f.g�gQknYnzyN|�|���l�݂����;�"�j��E��k�l�s�t�u)v�v����R����a�����������������#������+�����H�\���k���v���pp�>F#��	i
��.P����(lH��G�� �!Q"j$�%2�6�;F?�@LK�O�PQORS*UgU�U�V�Z/]�^�`Tbkc�d#fbi�kp�x�|~�~��V�…��������ƑΘ��'�)�k�Ңg�2���:����1���]���G���1������� ���e�(�������E�P�����60��������D0UW"�"T=�=�GLfM�V'X�_Vl	w�y�{�}61x�Ƅv�F�!�1�������������`�(���1�+�k�w���.�����w���.�A���y�����Bj�;Z]���%�&�'�'")~*�+-B-9.*0�0�34L4�7S9�9�<�<|D!J>KP�R�S,T�T�U�X�Ya	dze�fegh�k�|}*�؅_���Љl�L�������s�V�!�7����������������	��6�J�m���S�Q���"���������������	������������I��'�*,/,�1`5�6;y;)<�>�?�@LF�F�GKH$IJ{J#KXLUN�O�QkS�U
V�V�YAZR[�[�\@`a�b�dle�k�k�m�n�p�y�z�z){�}�~�~�����%�X�$�I����,�6������ ����G���2�H�����B���I����K�����T���"��S����j�@��
�[}.��&�'�'�(�(�(;)�)�+Q,-|-9/]=�=?G=KUKYMTP�Q�QS:S�TxVe`�b�cVi�k�lm�m�tEu�uevXxpy#�i��]���֛�L�ߡ��>���٤ �����O�������.���Ƶ����x�)�M����b���e���y�3�����M���n�����M�h���T��pG�N�#+�,�-�/�/0e4�4E5�D�ǃ?��^�����I���R����<��X�*���r������� �V���7���-�������8���j�����d���������62�T�n�!�Y���
�1� �s�����������q�������D`
���/y0�0�6�7�;<�=�>|CD�D�J�L�M�VGW�W�]�b(k]kno:p�r�xoz�{3��ȁ��2�������������Ϋ��G�t���H���^���b��>������������p������4�������.���Z� � / � � n 1 ? ,, . �/ j1 7 �8 e: �; @ �@ -B �C sD 	E �F  P �S X [ �^ �_ �q �q �q �q �r s Xt �t tx y | �~ z� � m� �� � |� �� I� � g� � r� Ҕ � X� *� �� m� � �� 63� � � �� 5� �� � z� � ?� ,� �� ;� �� �� H� I� (� C� o� �� #� �� %� d� � �� 2� �� )� D� $� � '� �� �� �� � �� .!�!�!�!�!�!J!5!�!"!�!Y!�!/!{ !<&!6'!(!�(!�*!Y.!]6!�7!�8!V9!�9!�<!�?!�@!A!yA!iF!�O!�S!�V!X!�Y!JZ!&c!#d!�i!�j!�j!In!�p!�s!Dt!6u!
}!�~!�~!�!ч!F�!ڋ!��!�!t�!ޖ!��!��!a�!��!$�!כ!��!��!�!ɨ!W�!��!f�!��!�!H�!��!��!�!m�!��!��!�!��!��!��!$�!S�!��!"�"!"�"Y
"~"�"j"+"�"�"Y"�"6""�#"�$"8%"�&"+'"�'"("�("�("�*"x+"�+"I."~0"o1"!2"L2")G"�H"K"3l"�l"\m"�m"�m"kn"�s"�w"�x"�y"wz"�z"d"�"�"��"�"v�"�"��"ɡ"G�"o�"��"��""�"��"��"�"��"�"�#�#9#V#�#w"###�##�&#:*#Q?#^@#:A#�A#�I#3J#�J#64K#RL#mL#�M#�^#n_#�_#5`#�k#�l#�m#
p#<v#y#�{#��#d�#��#7�#�##��#��#�#n�#O�#̟#��#��#�#B�#Ϥ#�#��#{�#y�#C�#p�#��#��#��#��#��#r�#�$9$�$E$!$�$4$�$�$z$�$�$�$�!$"$L"$�"$=($�($�)$�+$�5$16$�7$	9$�:$�F$H$YH$~H$MP$�P$�S$�W$�Z$�[$x_$�c$$d$�d$g$[s$�u$��$��$˟$բ$C�$��$Y�$��$`�$��$��$��$z�$��$��$�$\�$��$��$��$D�$��$#�$	�$i�$��$�(%�)%8+%�/%�0%&1%(2%)7%8%�:%�=%�=%�?%�A%$B%EC%>F%yG% H%T% T%xT%Y%]Y%PZ%�Z%]%�^%4_%�_%a%b%�b%-d%�f%�g%�h%�h%�i%�i%k%m%�o%�r%�t%�t%�~%!%Z�%8�%�%��%Ҽ%��%��%��%L�%X�%�%��%m�%��%�%m�%��%��%�%A�%��%��%��%��%��%��%�%��%��%P�%z�%��%��%��%��%��%>�%�&�&O&z&	&9	&�	&865&v&y&�&N&s&�&t&�&�&� &"&#&X#&�V&'Y&3Z&Na&d&i&ci&�i&�i&]j&�k&"m&=�&��&ń&��&ވ&;�&ȋ&�&'�&&�&�&s�&Ȝ&ä&�&�&g�&�&ٳ&��&��&�&h�&N�&��&��&	�&��&��&:�&��&��&��&
�&j�&��&9�&��&��&a�&��&4�&��&��&��&-�&��&��&��&��&��&��&{:'"['�['�['�_'y'({'-|'�}'��'"�'(�(~�(4�(��(��(��(�(��(n�(��(�)�)�){))�)�))')�')�3)4)�5)J;)�;)=)f=)�=)[>)�?)@)JC)3S)�V))\)�\)l^)�c)rj)k)�k)$n)�n)�s)�~)o)	�)�)�)��)�)�8*39*O<*�<*�>*�>*66B*BB*jB*�E*cF*�N*^*_*�d*�e*=f*if*�f*�f*Zg*�w*�{*j�*��*�*Q�*�*67�*m�*�*�*��*ʐ*‘*-�*p�*b�*×*��*��*��*��*8�*_�*��*{�*ݮ*~�*��*�*�*�*��*P�*��*��*��*|�*��*�*��*X�*��*B�*m�*�*?�*��*��*&�*H�*q+�+j+"+>68++�+* +&%+�%+�*+�.+	A+�A+;D+aE+�H+hI+�I+�L+�L+�N+vO+�P+�Q+vT+�T+�U+�]+*^+!f+�g+i+�i+)j+�j+~+�+��+��+��+�+�+�+ғ+��+69�+ϛ+'�+x�+p�+��+y�+�+��+��+70�+��+��+x�+z�+��+]�+��+�,�,4,t<,K@,�C,�C,[D,�E,'G,3H,�p,�p,�u,w,>w,x,y,o{,8�,�,�,��,ڐ,'�,N�,��,T�,��,8�,b�,ɥ,u�,ͦ,�,�,�,�,��,5�,��,I�,�,Y�,�,&�,��,��,��,3�,G�,��,��,6�,��,��,��,h�,��,��,��,��,G�,�,}�,��,��,y�,��,��,��,��,��,[--�-n-i	- -j--N-~-H-�--d-�-�-I"-{"-;.�.�.<�.�.�.��.�.y�.͘.
�.��.�.R�.^�.F�.ճ.��.E�.��.�.U�.��.��.�.��.W�.��.'�.��.��.��.��.�.A�.s�.'�.4�.��.�/�/�	/71/	//�/�/�
/�/x/{/�//�//<!/"/n"/&/0/C1/2/B2/�4/�4/,>/D/�E/G/�L/7M/�M/LN/O/:P/mQ/`V/	W/zW/�W/2Z/t[/�[/�[/�`/�`/�e/�f/g/h/�l/;m/�n/p/�q/�t/�x/�/�/Y�/��/ݞ/ǟ/V�/��/Ϯ/ɯ/޸/�/��/N�/+�/��/��/��/��/��/K�/�/��/�/ �/��/��/��/`�/W�/��/��/80�0�	0�0. 0r"0�"0�#06%0e&0/*0�00�30�50+D0�H0�H0�I0uO0cR0{S0uX0�X0*Y0�[0�]0}^0�a0Zb0�b09e0�e0�f0m0hn0�n0q0q0�q0�r0�u0Pz0�z0�z0�{0ǂ0[�0�0�0e�0�0i�0f�0�0�*1r+1�61�71$:1G=1,?1F1�G1�L1�Q1PS1�W1�\1c1}e18g1cl1�t1cw1�w1�{1�|1�~1+�1��1��1��1܎1Б1��1��1��1��1֖1��1�1��1J�1��1�1?�1��1�1��1Z�1��1w�1��1�1M�1&�1��1��1��1��1��1�1��1��1�1b�1t22-2^2�2]32�524?2�?2/@2YC2M2�N2�O2|_2�a2�b2Qd2Ln2�n2_v2B|2N~2�~2�2E�2�2:�2��2+�2z�2J�2