Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00014_00000_shuffled.ds.index64 linesDownload Raw Back to root
1���b���4��������I�K�L�LQT�T]U�W�Y�Z�Z�[T\�\@]�jkzm�o^p�pgu�wMx�z�}݂�����<�����e�E�џ�����������۵J�O��.��
����e�j��������.�Y���h����B���"�L��C����<���|��%&�&�(�*�*9+.W:�:�>�> FG�GTI3KqM�M�N�P�QkRSWT�U<W�[U\�\e'k`l�t�t�u�uxU|�}Ä�u�������e����ϥ������K�����-����w���c������c�����-�w�����?���������&���0����)�������eM�42(�()�)8*�*�+q�ԡԣ�0���F���S���������������E�I�D�����r��<a;�Wm#2��4�6�89�;7?�Cf�������?�m�y���ݩ������>���~�A�8����x���P��2�3M��
���T#>$-^-�.�0N184�47�7D=�?�?T@�AG2GNJ}S}�ڇ�^���L� �������R���d���]����%�H����~���.�j�к�T��Z�?�,�P���������������T�d�����P�)D
x���LZ��$S%B'�'�(�*~,�153s3�3�4�6�;=�=??�AyB�BCR�R�SbW�[�\cs�s�~�_����1���ҧ�����Q�����w�9�����W�й�����h�!���A��n���'�����n���M�;��������������������\�6�4���'T
�A6�9V:�:j;�>D�E�E�J�L�OJQ%U=Z\�\�]�^jbcCc�e�g�gKl�l�o�oqp�w�w/y�y
�k����Ō؎��ܓ�#�ˢ���&���ǥ���	�b�f�����}�/�n���������o���A�����J�����G�����o����(���:�;p<=r=�=G>G?�?PF�FH�X\�`�a$b>d�d\t�v{:�b�o����
���d���.��������$�����M���d�ܽ��{������)�����������9�<�����[���?�J����X�r�[�-5O7V|VW�W�X�a�b�c�d9f�fg�g�pw,w6{|J�6�����Z�@�Փ>��3�	�X�������Ѽ���Z����b���I�������C�h�6���������^����5���L��f�~�X�������������Q	�
	�	�	
	�	l	,"	�+	T,	.	�.	Q/	�0	�0	z1	2	�4	H5	;8	9	�9	�:	;	Z	]\	�]	�_	�b	vc	�d	�f	xh	gw	�w	|	}	'~	�	�	ς	��	�	��	Ň	7�	;�	�	1�	��	$�	ɑ	M�	x�	�	ۗ	��	#�	��	E�	��	)�	n�	��	-�	��	Y�	��	\�	��	��	��	��	P�	��	��	E�	��	�	��	�	{�	��	��	Y�	��	�	��	��	��	:�	��	��	��	U�	��	(�	�8�9	10�11�121314�15�162174 18t 19�!20l621�722U<23A24GA25JC26C�27ߕ28T�29��30�31��32�33��34?�35�36X�37+�38�39̼404�41��42��43��44��45
�46�Kn�O�>
�
��|E_�FL�t*�*7,B,�/�0�7�8E:=Z�[
\R\�\�\�]e^qd�f�g�jep9u$x(~�?�Z�W�����E�N��u�͍(���u��ŧ=�j�}��ɮ<�h����ȵ,���Q���q�47�������z���CY���D	4�|�4�9E!�#�&�*,�,?4%6]6�K�K�LPYP*QS�U�V3W�cf=f�h j�j�mjpss�t�}�~3�k�g����o�]�ȜP�:������S�˩���<���į����9�c�����Q�F�8���z���-�P����������e��
�
i
]	

�
i
�
^ 
� 
!
6"
##
K%
&
�&
�-
8.
�2
�2
�2
�<
�=
i>
?
�?
�F
8H
�J
K
~M
�P
�Q
�R
�S
UT
�T
�U
�[
u\
�c
�c
-d
�q
bs
Yv
�v
�x
*�
}�
y�
��
��
��
\�
�
��
O�
�
�
A�
Y�
�
H�
�
Y�
i�
�
B�
]�
��
�z�}	t��!-n-�-�2��������5���1���B�������8���y��}���9�F���8��������X���c�M������ӓ4�Y��ڭ#�=���A� �Q�L�6�m�����R�O�������������O�C�x�����������Q�������:������������	f48)�=5[� y!�"�&!'�(;G;�>DB:C�HU�V X~�~����o����������������ޚ_�p�	�l�Q������o��k�R���l	�49$at�'3S8�8>�>�@CI;K�M�NkO�O�Q��l+	C50	���S�l0o�p qnt�xkz׌'���Ɏ���k���W�ڥF���ը
��k��(� ���&�����$�O���������yN	o	�51�52�C�� � h!.#�#,$�&�&	'�'_(*T+,/�0�1Y8X9�:53<�=�?CGyG�G&J�N�N�O�P�Q�Q�R�V9Z�\c]_�_:f�gyK���>�����;�~����������_�%�����m�54���S�y�$�����r��%����?�R�X�����v���|��������P�.���v����+�,�/N8]<>A@�@,B�C,DE�E_F�F?G�GIJ�K�M�MR�T�]"`�`�a�g�g*rtr�P�?�m���L����8���β@�����i�9�<�����18�;Y<�=�>�?D@�@�G�H�J�N�VLyzR{�{�|��́���������L���͑|�����ƙC���j���]�˩$����r�#�E�����\���j�7�����F�~������F�H�N�[!\�_�f�j�k�t\v�z����Ñ�����"�ۚЛ,�j�u����\�`�̳�����m��ܾ*��2�*���N����h���P�#�����L�^���>�.�r�V�����q�|��A������H�{�מW���X����i��O�������������R�#�^���E�w���2�B�����55�D������C���V��&&:,<�>�W�[9_�_8d�d`f�fqhmk�|���.���W�����B���9��b�ޕ7�e�~���}�$�@�׽_�������c�C����,�-������������{�r���p��������/������I��56�
�P�B��J � �!�"M#o$�$�,/.S.o/�34a:YJQLlN�OP@P�QES@VX,X^�_�e(g3i;j�k�l�q�sSt�t�v`�����r��V�\���a�ȯ����p�����'Y(�(�*?38�8{9�:;�A�B�C�EGpG8H�M�NEQ�Q57sYyl{|��b����Í~��Ґ���!����B�����D���
�V���;�efcx�?� #
$%&�)�5&6�6�6�:�GKYKLpQsR/W�W�Y]Zv_a�a�ijUj/���#�����N������~������^���G�����ͱ=�\���-�e���{�K�R���������=�"�Q����M���8�V�H�����-�������;��$N'm)&*d*�-�0s1�173�3�L�MpO,P�PPQ'V�W�Y�Z\�]>^�E	.�
�&�;��!�!""�#�$�$-*�,1&2�2�3�67'7�7s9�?�HqM�N�Q8T|T�U�U]Z�\�]i^�bduhjkYt�t�w�{���Y������H�g�i�Ɩ!�t���������Ҧ�N����J�����S��������J�����/�m������[�r�)��������;���[���������T��9����<�yR�@"j"($%]&�)BQ�S�T�U�V�V`lnl�nupyq�q�r�s�t�w�x���[���s�ͩ�g���������s���;�p������#��������=�����T � � � � @ i {	 �	  s m / } �  @ �  � � o � k � s& ' >) �) �) * x* B, �, �- a. e/ �1 OC �J >K �c �e �e �g $i �i �n �p Us w �y �y �� �� (� �� x� �� �� �� H� ٭ B� M� � �� ظ 
� �� �� �� � w� �� A� � � b� @� �� a� � �� �� �� � ;� t� �� � �� �� �� �� �� .� �� � <� �� �� �� � �!�!!�!q!�!�!5!1!�!o!�!�!Q !4(!])!�)!�)!�*!8+!�+!W,!.!'8!�8!AI!\J!�N!�R!�W!�_!/a!�b!�c!�d!�e! g!pi!�y!{!&�!N�!�!��!2�!/�!��!0�!4�!��!O�!�!��!��!e�!��!��!�!B�!p�!��!��!��!��!ָ!�!��!�!߿!<�! �!F�!��!j�!��!��!V�!F�!�!��!��!�!K�!��!�!/�!��!5�!��!�!$�!��!8�!�"W"�"�"@"x"O""*"�"M$"6("x)"�)"�,"&-"#."36"�N"�O"EP"|Q"�R""S"�S"�T"!]"�]"�]"e^"Z_"1�"��"@�"N�"]�"؆"��"܉"��"T�"I�"ȓ"��"�"Q�"��"$�"g�"��"��"�"��"Ԥ"��"Ʋ"��"��"��"J�"x�"<�"�"��"��"J�"��"M�"x�"�"�"R�"��"W�"�"��"��"��"g�"Q�"�#�#��#��#��#��#|�#�#
�#�#A�#��#�#1�#٣#d�# �#.�#z�#�#��#մ#l�#��#�#��#V�#��#��#{�#��#�#�#��#�#p�#��#��#��#��#��#�#��#�#��#�#\�#a�#o�#=�#`$�58$$�$�$U$�$�$�+$�0$2$�3$7$�7$	8$�;$p<$/>$m>$*?$@$�B$F$�G$$J$59M$aM$�M$3N$�O$�R$CS$~V$�Y$�[$\$�]$�^$Ed$�d$�e$/g$j$�j$�k$4l$��$��$��$��$��$��$��$R�$ܡ$̣$�$��$�$Ź$4�${�$�$V�$�$��$��$��$]�$b�$D�$��$��$i�$J�$w�$�$��$��$v�$��$F�$��$r�$�$y�$i�$��$k�$��$U�$;�$��$�$N�$��$��$`�$��$Y%�%F%%.%%F%^%�%�%�%%N&%�+% ,%�.%�0%'1%A2%`3%5%�6%=7%D%�F%qK%�L%5N%pV%�X%Z%]%4]%a]%ca%�e%�i%Bj%[j%�j%�p%�p%s%�t%&�%��%a�%��%�%�%��%o�%��%-�%��%��%��%��%�%?�%<�%5�%�%3�%e�%V�%V�%��%��%f�%��%&�%+�%��%�%��%)&�&�&�&60&K&�&�&�&f&�&�&�&T&{&�}&~&�~&��&ւ&B�&i�&�&V�&͏&��&�&��&Ř&
�&=�&��&ק&|�&A�&�&h�&"�&��&K�&U�&H�&��&��&2�&��&n�&�&n�&f�&�&��&��&Y�&E�&�'�'['&'	'n	'V61'�'�'
'�
'C'�'�'U'('�'1'-'�'�'.'x'�''5'�'#"'f$'�&'�''�''D*'�*'�+','�.'�2'24'17'�D'c'Dd'`k'�r'�s'�t'u�(g�(��(��(4�(��($�(l�(��(-�(��(o�(i�(t�(��(n�(M�(^�(c�(|�(_)�
)D)�)�)�)�)�)�)`)�)�)�)�);)))�)�)P2)73)Z3)�3),6)n7)-;)�;)�<)�D)H)<H)�H)�H)�I)�K)�K)pN)�N)�N)P)�Q)"Z)�Z)	[)R[)�\)�\)�_)
`)�g)'h)i)�i)&q)&r)�})~)�~)�)N�)c�)��)@�)�)��)��)�)g�)��)q�)t�)��)��)p�)%�)��)��)y�)<�)S�)c�)ع)��)��)k�)��)��)��):�)p�)�)E�)b�)�)��)��)q�)>�)a�)��)��)��)��)2�)��)��)��)��)�)��)[�)��)$�)'�)B�)��)��)C*{**_*�**�	*�*�*�*2*�*/*�*d*�#*�#*�$*�%*C)*�)*-*".*�/*�1*[2*_3*�4*�9*+;*�@*�D*�E*�G*�I*�M*\N*eO*�O*hP*�R*S*5T*#V*Iz*�{*'|*�*X�*5�*�#-�$-�%-d&-�C-�D-�E-+G-7G-	N-pT-5V-X-�X-�[-7c-Ue-f-Yi-�j-�l-*m-q-{q-t-�u-ow-��-F�-��-��-��-T�-)�-n�-��-��-�.�.�.v..!$.�0.r2.�2.j7.�7.{8.5;.�<.=.>.�?.,C.�D.!F.�G.gH.�I.�N.KO.�P.�Q.jR.�R.eW.�W.�\.[^.g^.v�.��.�.�.�.�.�.ך.��.`�.�.��.S�.��.��.��.��.b�.��.��.��.��.��.��.u�.��.�.��.��.��.��.��.��.�.u�.P�.��.<�.��.��.��.[�.4�.�//�	/�/u/o/�/w/�/�/�/�//N/�///� /;!/�"/G#/�//�//4/7/�7/
8/�:/`=/{=/�=/e>/b?/%@/r@/�D/62E/�G/+K/\K/�K/�K/�T/V/7W/�/�/��/
�/��/��/E�/��/Ф/�/��/��/Ω/��/A�/�/�/ܵ/E�/ �/��/�/��/]�/��/k�/i�/��/��/��/M�/��/��/��/��/��/�/b�/��/��/��/�/��/?�/l�/��/��/�/J�/��/�00n0�0G0�0�0�*0�+0�.0S/0�/0t00�00�20�30l40�4090�;0�B0�C0I0�J0�L0�M0P0�P0�Q0?R0)S0�T0VU0�U0�V0ae0�e0ej0�l0n0�p0E�0`�0%�0~�0�0��0�0͜0H�0�0��0t�0��0�063�0��0��0+�0/�0��0S�0��0��0��0��0��0��01�1��2��2B�2��2��2��2��2�2��2��2�2��2i39�4��4c�4Z�4v�4��4_�464�4��4��4R�4C�4�4��4��4��4��4��4��4��4��4�4
�4z�4��4��425�5s5�5