Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00062_00000_shuffled.ds.index116 linesDownload Raw Back to root
1���[�w!J!C".$�$�-f/373{4M6EHdK�L5M~N�OrPQ�\igpi!jk�k�lzmo�oVu'x�x8y�{�|<~�~%.������1 1C2�3�7V8�K�O0V;WZF[^�`ta�a;c�dWgi�ijbk�k<m%rFv�wkxz�zu���u�=�O��"�A�<���z�ɝ�h����!�����������r�D����������%�(��(�(�;>MIJ�J�P�R\V`Wb�b�dhi4l o_opp�pq6s�z���e���*�����Z���D�����h�ˣ��S�תB�~���ۼ����W�K���������1�]�'�2�i����j�7����Y�������������7�	�!
�
�����!�.�/�/K0�2�JO�O�W1Y[Y_�a�a�d�e�e�e8yh{L�����$��=����ŗ���F���ơ��`���Ʈ-�U����ݺ���6�V�п�`�U������<�������;�b�����.����2�����4�;�p�.3�.�-m-
.T.`.�5�5�68w?�?%@wF�F�JK�NrQ�]Cz�z�zc�΀�7�s�-�`�������������}�������f���V�{A]L}B����vK w �%b&"WZ=Z�\�]�]ff�i8k�mHoYokp<�y���S�h�4��З	���ڙ��~�[�F�Х����z���c�߽�6�S�����,�f��������*� �����'�����-�U���J���@���=�y�
�B�^�M�_�9�� �!P'�)�+L,�/ 7�7�:#;�;�?�@B�D�E�FI�o�pZq�q�qirYs�y�|c}�}��؄������r���B������ ��E�̢P�����4���D��������5�����q�������C�������E���^Q�	5v��
�� l!�"#P$+�,1)2�4�5�7�8�=�>�>9@�A�POQ�QhV[Y�u?x�}���U����|�g�s�4���6�c�s�ڠɣ@��[�����'��������W�����8�m���k���U���y���B�=6�S]~���(3+R+�+r,�,�/6]6L9�9�:
=�=�>eASC�C_EnE�FxI�J�J\K�M�O�Q(][b�c�fHg�n`q�r�tOx�y�z�z��!�e����T�%�r�˘O�X����I���,����c��/�g�!�4�y�J�4�����0�9������O�F��	*		�		_	�	+	�		=	�I	
R	�R	S	�T	hV	�V	xW	IX	�X	�]	,^	�^	�`	6a	�c	�d	Qf	Oi	qi	�i	j	[|	}	��	��	ۆ	�	��	�	�	C�	��	S�	��	D�	_�	��	H�	��	;�	
�	��	#�	��	P�	��	Ŭ	Z�	��	��	��	Ͷ	!�	h�	��	��	e�	��	��	��	��	��	[�	�67|98�;9�<10�>11�F12�P13�Q14tW15�X16�\17*^18�^19�^20�`21]c22�c23�d24�i257j26zl27jm28nq29�s30t31'u32v33`v34a�35ۉ36�37F�38��39�40L�41Ǐ42��43��44ܒ45[�46��47��48�49T�50��51-�52��53t�54�55��56 �57f�58��59f�60	�61ͣ62��63��64l�65��66*�67Ӭ68�69�70;�71v�72Ķ73Ͷ74z�75f�76)�77�78��79�80��81��82.�83K�847�85�86��87/�88��89�90�91��92��93��94L�95D�96z�97��98��992#[
� ���e�(@�@&A�AC?D�DrF�F'I�I K�KALaL�L�U��b�|������֋č���Q��ۨ��A�B�.�>���X�����7����,`/>1U2 3`4z9;'<a<�<i>�@^ETF�GFH�I�L�M3U�UuVA[G^�_e�f9t�tVx�x�)�q���ר����˭��!����<�i�������X�W������������������$
�
�
�
!
7
�
i
�
�"
e#
�#
�@
�A
�A
�B
�F
�G
=W
~W
�X
,Y
G[
"^
$_
f
Zl
Xv
i{
�{
	|
�~
?
�
��
��
@�
��
5�
��
$�
{�
И
�
M�
��
�
I�
��
+�
]�
]�
��
��
�
0�
��
��
��
��
��
�
�
U�
��
��
��
*�
��
��
��
7�
h�
��
A�
>�
��
�
��
�

�
,:	��N��d+!�&�&K'U'�'A)W)�+,x3�3;7XCH+H�HlI�I�JwK�j�ln�r�r�s9t�vYw�w�z�|}l}�~�~`��W�W�̆��%������}���?�n�3�!�9�J�[�����F���100���=(b*�.�1�56X6�6�6F7U7;�;u=�D�IYJK2MK[o[�[101\S\w]^�`jxj�kVr#t�z~�$����A�O���������3���S�����̰�J�����a������������������L�����=�102k���@�A!B�BD�G�H�U?V[�\].gXi7o$p/q�zS~[��΀��̈́ÅĆ���0��ҘȪ0����������������Ƿ7���кu�ݻ^���i��i�������d�!�+�J����� p%l&2�5�7�AfBC/KrKMMN�N�O�O5RxR	VJW�Yg]�]!`�`�a�a�bg�gJhVnnn�q�r�y�zl{�{�|;}w~#����\�]�u������������X�G�����$����3�����{�����6���*������#K)�-.[6�9O>p?�@A;H�K�L�X*Y\�c,e�hp�pmx�x<y�{���ʗw�c���S�%���U������;�.�6����������e	�
s�������d���J���p���������O�����������k�����������&����
��n�;f�� �#�#s%P&	(�/�1�=�=?�D2E�J�L�MQ�Q<U�WXMX[�[6eeNf�o�q�r�tv�v�z103{�|�|2}1���������C�
�j�)�ʑ����Ö�՚v��>���r�ëƬ=�=����
iH!�"0(�(�)�*�+D-w-?.�67�:Z>�>|@�A�D!EJF104GnG
HrS�S�X�^[`�e�fg�h|j�l!oloQsVt�thw�LJV�.��ٍ�k��~�Û3���:����ԦT�2����9�ԭD���)���+������x������������������������9���������+���<�L�N�ONQS�S�TwXYz]-b�m�uvFwM}/��;��������������N��������������A�S�T���T���#���K�W����t7F
X��N�p�V!d*�+,[,�,X/>�?�?�F'H�HJ�J�M�P�P�QWRS�SHU�U�Y3\�\dahc�c�e�kpr�umv�x�y�{�{J~�~�~"�5�}��������H���;�-�s���y�j�<��A����N���y�h���W���!�����4�{��TF/HI�I>K�LfP�Y/\a)o�o�r{����ۈH�D�G�h������ט?�W���g�������]��W�#���/���$���~���W����9���������
���c��������9���������)�p�#%q%�%>)�)�,�,-l.D/�/]0�2�26�E�FZG�G�GS�W�X�X9YZ�`*bec)f�f�f!hZhih�h�k�k�n�o�pWqXr�resqt�t�t�u�xJy�}�~ف���n�,���ё���^�\�O��������e������6����t���J���4����"�T�O���'�������o1055{
�
�
=k�k��]���'3�9�A�A�A�GcIJxJ;LXLjM�X�Y�\^:^`�`ka‰�ƋP���ߖd�����z����]�ѯ��*�Ե4�k�106���t#lt7�DE�IvK^L�M�N�T�T-VzW_uDw��֢��%�Y�l���~�|�ծo�-�k� �>�����ye�f�gbh�rpt�uv`w�w�x�~Ԁ6���A��2�J�M�����A�����g�����ݼ����������*���>�I�����n����!�J��������z@�^�Ue_���� r+`-. 1 23�Vbe�fj�k��4_�_�`b@cyd�fOh�ofq�t�xo}�}Z��ʈ?���,�[�m�d�;��C�}���ݝ�W�I����y�:�ij�����ٶW�������a���F������w�����1�����T����G���{���*�[�� �107 �108 / )1 3 G3 �3 M6 q8 �9 ]: @ ZA <B �D \F �F HG �N d^ d 1e �f lm �m �n �n �n Mq �� U� �� ,� � H� �� � �� � ֫ F� �� $� &� а �� a� �� �� g� �� � �� �� E� �� � /� 4� O� � �� y� 	� �� �� b� ,� L� �� @� �� � �� !� �� �� 2� �� Z� �� G� �� *� �� T� �� � � R� �� �� o� �!�	!7!�!�)!6/!Y2!�:!�;!�<!�<!�A!;B!�D!6J!/N!�N!�O!�P!�X!�X!]!�^!�a!pb!�b!Bk!"l!	m!�m!u!@w!`#"q$"&"�0"6"o6"�;"�;"�="�K"�P"�Q"�R"U"�U"{X"�X"�Y"{Z"O^"�i"109k""k"�m"n"�n"�p"�q"�w"Ox"�x"�x"|y"�z"�{"]|"�|"P}"�}"܅"A�"'�"a�"0�"��"��"��"-�"6�"͗"��"�"4�"D�"U�"&�"�"��"6�"��"S�"��"-�"��"2�"��"��"
�"��"`�"��"��"��",�"��"i�".�"�"E�"��"g�"[#q#"-#L.#a.#�3#P4#�4#�9#/:#>#C>#�?#�?#A#rA#>B#bB#�N#8P#�R#�T#�T#�U#�W#sX#�v#jw#�w#�x#�}#��#�#-�#��#��#K�#�#?�#}�#+�#>�#��#Y�#8�#o�#C�#��#s�#\�#i�#~�#��#�#��#s�#��#d�#T�#��#�$�$$$!$[$$f$�$�$�$�$v!$=$$110&$N&$D5$,6$Z9$O;$<$N>$`@$B$uB$D$&D$�G$�H$�I$�I$�J$�L$%O$;O$�O$�O$�Q$�Q$�R$S$4S$�]$111_$w`$�g$Oi$<j$�l$wm$Kn$�n$�r$5}$��$H�$c�$��$[�$��$B�$��$�$�$�$��$�$��$�$g�$��$��$E�$��$m�$'�$W�$#�$��$��$��$8�$��$M�$H�$��$��$%�%�%{	%g%G%w%�%[%:%1%�5%6%=%PD%�G%8H%HH%�N%�Q%!S%Xw%x%�x%K|%}%�}%��%��%�%(�%I�%ҟ%��%G�%��%D�%ì%�%�%��%��%��%`�%��%g�%��%|�%��%��%R�%Q�%��%��%��%�&_&W112&�113&
&o&�&�&h&�&�&�&�&>&^&&r&�&: &�$&�*&�+&�+&-&k&Yk&�k&�m&�m&=n&p&Fp&�p&)q&7�&��&��&��&h�&��&��&3�&��&ȥ&k�&�&H�&ն&ʸ&h�&�&Ծ&%�&��&��&�&��&w�&��&��&��&��&�&f�&��&�&��&!�&�&��&{�&��&�&x�&��&G�&��&��&��&S�&��&!'�''�'�'�'�'	'H	'�'�'>'�'M'�'�'�%'�%'''*'�,'m-'�/'�/'�0'�0'�2'}8'�8'�9'�9'D:'�<'�>'1?'�C'�D'"F''G''W'�['�['�\'^'�^'�^'_'�_'b`'u`'�e'hf'i'l'9�'}�'�'p�'@�'2�'[�'��'�' �'%�'R�'��'��'O�',�'��'��'��'��'��'^�'��'��'��'��'��'9�'\�'�(�(8)�)}))+)�)[)Y114)�)�
)�
)F)�)�)e)�)�)u) )�!)�")�9)�:)�;)N=)O)�O)�P)dQ)�S)T)�U)�X)�Y)�Y)NZ)�Z)�`)�a)�i)lk)�k)
n)mv)Sw)j{)�|)�~)܀)��)��)��)6�)��)�)A�)��)��)8�)�)�)�)7�)��)͟)��)?�)�);�)֤)q�)�)��)��)<�)��)��)α)*�)e�)��)S�)�)��)a�)r�)!�)��)�)��)��)�)��)��)E�)I�)��)P�)��)��)��)�*�*�	*�*�**�**K*
*�*4*�*115!*�"*�$*�&*l**o+*�2*�3*Y4*�8*�8*�\*m_*ab*�e*Iq*1s*�u*�z*�z*��*��*<�*��*��*�*116�*B�*Ó*X�*��*B�*�*��*�*��**�*Ө*��*k�*H�*¯*�*?�*η*$�*��*��*��*��*	�*N�*��*�*m�*��*��*��*g�*��*:�*q�*��*��*��*&�*e�*�*��*��*�*i�*E�*��*"�**�*P�*��*/�*�*��*��*0
+9+�+�7+z@+JD+�D+�E+7G+�H+XI+L+�M+lQ+�]+b+d+>t+v+�v+<y+�y+,+U+�+�+k�+<�+�+J�+א+f�+ƕ+d�+��+@�+��+x�+�+.�+��+��+u�+��+��+��+U�+�+�+��+!�+��+Q�+��+X�+��+&�+b�+#�+�,�,,<,p,�,l,w,#,,G,],�,?,�,�,|",�#,5$,%,&,�&,�),
*,�*,�*,�+,J-,�/,�1,2,@4,]6,�6,=<,�<,�<,-=,H,yH,�H,�R,S,4X,Y,bY,�],_,_,*a,�a,b,�b,hd,�f,�g,zh,v},A~,��,�,��,&�,ى,5�,��,:�,±,]�,d�,��,	�,�,5�,i�,��,^�,:�,?�,��,y�,��,�,=�,��,=�,��,1�,��,�-F---4->	-�-�-Z-�-�-�!-s)-F,-�,-�,-\/-H0-�1-�2-.3-�4-a;-W@-�A-�B-D-]L-�N-?P-�V-�W-�Z-�[-�d-
f-�-]�-Д-Ֆ-�-3�-�-S�-?�-��-ݫ-�-S�-V�-��-T�--�-��-Q�-�-z�-G�-S�-�-E�-��-��-;�-U�-p�-��-��-�-H�-%�-}�-��-��-�.g.v.9
.+.�.�..�.+.s.�.�..k..h.�.�.:$.�$.'.*'...�../.�1.93.�3.7.3:.%<.4>.�?.>B.