Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00027_00000_shuffled.ds.index97 linesDownload Raw Back to root
1��u,����2u
o&G��k��j����1�#�+\,�,�-�.i4'B�JFK9M�M�MkNP�PkRSCW�y^z�z�z0~�~�~���5�^�G���ϑ��ԛ�d������X�z���ָ2���k������V�������g����M�;���k�����_=�����Q��5]8�8�<C=�AJB�BBC+G�GgI�IEKTMO!Q�Q^0^r`�`.a�k�m�pes�vcy�|^��t���X������؏��͛:��'�B�ʢ$���r�����3����L����J���g�Ň���?����������ƨ���C�����������������H��!�<���/�H�k�a�o�G���	NI���p�!!t$(%,(R)�)P+�4�8N:);�F�J�K�LU*UMV�V&X�\ _k_�atc�dKg?h=kw�~2}���&�g�������•�
���D�����l��X�s�@��a�E�X���
���� �F�ݻC��2���4������D����p������� ���u�"��������e���K��������~�M	���)��!�*�+�-%.�/�0k2�7�7�AB�BmC�CbF�F�FtI�I}K�Z�[=\�\^�`ta�awb�efTf�ps�u�y�zC|�}������؋��ޙ[�������6��9���������r�D���e���
�W��4�1x#E&�&.'V(�)�*�+,�-q.2�2�25c68�9�97;�=�?�E�HI�I�W�W�Y]}^�b�cQg�gSijlml�o�plq��D�|���о^���B�����2�k���^�������������D�2�P�(������0�1�DE�ElF�F?G~GH�K`M�M�ST-Y�Z�_�e7mlmohpur�r�s@��`���Y��<��3�8�W���U����a����A����� ���\	�5]P
��}I�KbL_M�acd�d�e-i�m�nyouq5rQy~yz��ʆ{��������޾ݿ.���C�����O�������������L�����L�6�
��B�_O"�"�#�*w.�.60�1�3�7�9>�>>A�x4z�~�~�~�~L����@���%�ڐ��O�������c�.����ѥ����5�����L�|������z������P�����1����� �����������-	f4	Z6	�6	�6	7	p7	�8	�:	�:	B	�E	MH	�H	�J	�K	�M	�O	�Q	R	�S	 U	lU	cW	X	[Y	}[	\	�\	|]	�^	z_	�`	+a	Ka	fb	ܗ	Q�	И	��	��	E�	�	x�	g�	�	B�	�	K�	��	��	=�	�	=�	�	��	�	V�	g�	C�	��	��	�	��	L�	�	��	��	�	��	2�	}�	'�	��	2�	�	��	�	��	��	��	�	��	=�	v�	��	�7�8�9�10 11�12�13�14A15_16�17�18k19�20l21s 22:!23H#24
+25,,26�,27F.28y/29�/30�/31032�233334�335�436�937�:38m;39L<40=41!=42�=43*>44�C45q}46�}47�48q�49z�50�51�52��53�54)�55Ʃ56Y�57ȫ58�59��60Q�61��627�63��64�65m�66�67c�68��69 �70-�71H�72��73��74��75��76,�77��78��79�80��81?�82��83=@��"84�	�	85O86v{��~� |#�$�&(*b* +�+�,N-0$1W1�2�8@a@mA�MSQmV�VWW@WXZ�jFk�k�n�op\p_s�t�yz�z{q�Ճ�^��`�����]����۟]�6�{�K���x�����,�������e���5���������	�����������������
����@�{���D
�
h ��3�Y[m��!�!C%@4<�=@l@�@"A�B�GKkN�Q�Q�X�X[i\�\�\-^�^`h�h�i�v�w�y|]|`��������t��Ø2���ڱ�����[�/��^���(���Q�������/�`�j�����>���j������u�����������*�J
�

�

�
�
�
�
1 
^ 
�"
R#
�)
�-
c0
�0
"9
R=
�=
�=
@
�A
/B
�L
�S
H[
�k
�l
�m
n
�n
�o
u
u
�u
x
Lx
�|
��
�
��
��
l�
�
f�
��
��
��
��
 �
��
��
v�
��
��
��
�Z
Q|�:$x$�%�%�+1,-k.�.87/�//3I4�4�9�:n;<�<a=i?1@$A<BOC5E�EGTM)NO�O;V�XeZ�Z�]3a�cId�ejg2j�j�l�no�x�~ ��u�/�l�����q� �n�����������������������{�s�������xs�l��� "6"�#}6�67�9�:I;�;}<�G[I�N�Q�RHTIU�UV;V�V�W�[�\�`�aLjhl�lpGp�r>wZw�y�{�|}I}�}~������I���V�<��ԦQ���ѽ��O���h�"��������7�Z�#��d�\������������ 9!�!$#�0�013�3�4�5p:�;�;t>DHD�EF�F�J=K�L�L\N�N2O�U�U�V�V�Y�]�_$c�cdSehf�g�hyi	jLk�k}lninq�qarjsyt�tLu�z|N���_�����������-�v��δ��}���������ֿ� �����x��b��������������_����h��^���#n%�%e0{2�3F6O<�V�X�X�Y�\%]]������i�%�r���88������������A^+�|�}݅�����4��!�S�k������̢1���;�x����ɸ�����������������������?�v�����K�r�C�L���������0�t���/QE�I�t��	Q�7��F��%� Y!G'�*�*�,�-.=0�13�3�4�48�8�>@.@�@�BDJ{L@N�]�_|j�y�zR{m|}b~q�������Ԑ;�@�4����2���.�#�����Y�����N���0�G���>�!�S��P���a���/�����q�w��������1��������(
���G���Y� �#P$�$S&!,�0{2#4&5�7i9K:m<�<�BoC�EFQJ�KVQ�U�UzV�YWZ�Z�a>c�c�jwpqlq�q>t4u�u�vDw�zh|��,�?�y����\�<�H�}��-�;�$�Ĝ ���E��V�z���ب������B����f�����`����������3(i,�,�/�1 3�5�536L6�;:<G<�>q@�@�B�BCHM=N�OڵT���u������4���һ�Z�0�������3�d�����M���D�������
���������D��7����k��sV�)${P��+���V�!�"�#4/�2W3�3S5�5<=�>qA�KSL�LNM�RPSZ�Z[�\�e
h�p�st�t�vw�z0|C}���O��*�������+�q����,�����B�<���.�_��89��μ>���J�P��������"���������C��/�A�.�:+��������$%�&^'�'[(�)�*�.�/�0�1�12�2�3�8�9j:&I�M�T�]�^Iy�y{z���c���@�u�;�W�ȑ>�F�������.����7�e�_���T�ǭϮ�$��K�Ӽ?�6���E�������������h�����V���S	%8�!�!O"%l*�+�,�,�-T.�/
181�2�2�3�4�9�FKH�L8MH]�]�^�^\eim�n�x#ztz�{A|�~�1�\�������Ģw���/�,�^����Q�t���{�.���+�o�[�b���S�S���"�$/%�%R'M)V,c-�-�.v0~2�3�4A<�<�C�E�H5MfM�MLV(WOWwWXY_\}\�\M]o]�]"c epe�i�j�l�mqrZsP~�����=������z���ҶC�U��Ӿ���]�W������90�C������Q�2�[����������{������?�>���.�@JU���	
91!92����U
�&r'�+^-�-<s<>?CA�A�B.D_E�I�KlQSR�R�Z�\�]5ac2�y���E���9����X�������.����)�E�ϲ;�3��������S����_fa�ayc�d�e�f�fOgq�qx�x+y��H�l���D���m����������B�	�� ����J�����^�y��g"Qr�� +r.�.�3�6�859t9D:�:�:|=�=%>\?�?�@(A�I�I}J�KV�^B_�`aNc�df;f>k\m�n�q-r�sLt6u�w�xt���3�ӕ;���������������93��L�@��&<(�)E*�,"-�.E/�/W0�01�1�6�8�8�:�;=c=u>?A�BEN�U�Y�Y�_�a�h7l}m%r{r�s+w,xSy��}�ןi��	��l��#�b�*�X�7���%�`���[�*���)���
�
�02G3�4�6	7�7��/�4������ԇl�����������������ݔ"����R���՝|��l�[�������j��������^��� ��>������p���N�	�i
1'~Q�Q�R3T�Y+[�[1h�h�hi�j�j4kxk�k]l�m�nfopJp�p-rr�tQu1wm���:�[����b�A����$�9�	�ؘu�>���9����G�����,�����O�[�����&� / � � # � � O �  o � �! �$ �% (& ' �' �' @( �) �* �* �+ , u- w. ^/ �/ �1 �3 u4 *5 �5 �6 H8 .; a< �< �< i=  ? RB �D \R IT �^ z_ �a 6c �j �j �l �q dr 6s �s t �u �v �v d{ �{ � �� �� � +� 6� �� � � x� � ;� �� j� � �� 7� j� �� y!T!� !� !b!!U&!�*!\+!�+!
,!�,!]-!R.!52!�4!�7!�9!�=!s>!M?!E!US!AV!+X!�X!�Y!�Y!�Y!�`!�`!c!\d!�d!.e!g!rh!�j!~k!n!cn!o!8p!#s!�x!�x!��!�!��!ί!��!C�!��!��!l�!G�!�!94�!��!��!��!4�!*�!��!F�!��!��!��!��!H�!%�!��!��!0�!4�!��!��!��!��!��!�"�""�"o"�""�"�"I"�"!"�!"""�""B%"�%"E&"O("s+"�,"S0"�2"9"�:"8;"�;"�<"\?"�R"=S"�S"iT"�U"]X"�Y"["M["�["Q�"��"6�"��"E�"��"[�"�#�# #�#?!#q!#�9#0:#�S#�T#WU#gd#�e#3f#�l#/m#�m#�m#Ln#�p#Xq#cq#Cu#6w#�w#x#R|#�~#�#�#y�#N�#��#��#L�#p�#l�#z�#�#e�#��#��#I�#��#w�#��#��#M�#�#��#i�#6�#]�#��#e�#�#N�#��#I�#;�#�#��#��#��#�#��#��#��#�#G�#	�#+�#�#��#a�#��#��#*�#��#��#h�#��#�#��#��#��#��#��#C�#��#>�#A�#��#��#�#�$$�$V$s
$�
$�2$�3$4$�4$�5$+:$�:$�?$@$�A$�I$�I$�J$vK$�]$�]$�]$j^$Ri$�m$Ru$�u$�|$��$Z�$Ӑ$�$�$�$5�$�$��$�$��$"�$~�$�$�$W�$�$��${�$��$��$�$n�$N�$��$*�$n�$7�$j�$��$��$�$ �$��$��$S�$��$5�$��$��$��$��$^�$+�$�$��$r�$z�$a�$��$��$�%�%�%u%�8%%E%zI%WK%aL%�L%�L%6M%rN%�P%�T%kU%V%BV%hV%�W%0Z%G[%�\%;]%d]%�]%:f%�k%�l%-m%Bn%�o%�%�%��%Æ%��%5�%��%K�%�%��%��%�%�%?�%˞%��%��%��%��%7�%p�%%�%[�%f�%x�%��%��%�%L�%��%D�%¿%Q�%��%��%��%��%>�%`�%/�%?�%��%��%��%6�%��%�%k�%��%��%��%��%;�%�%}�%��%��%��%��%��%��%�%-�%a�%��%u�%�%C�%��%��%'&95&z&�&�& &�&�&�&96	&�97&,&�&�
&�&�K&�L&N&�O&�P&�Q&�S&XU&�U&�W&QX&Y&\&a\&�]&�i&�j&yl&Zm&Up&wp&�w&�|&w}&��&y�&ɦ&�&Q�&�&M�&,�&��&֮&&�&w�&w�&��&�&��&c�&��&��&��&:�&��&��&-�&�&��&��&�&�&��&��&L�&]�&;'@'''K'X'G'�'t'�'H'�!'�"'�$',%'�&'�&')'�-'u1'�1'�2'|8'�:'@'�@'�B'C'�M'LQ'�Q'uS'NU'BW'�b'�c'�g'�h'3i'lj'k'm'�m'�m'`n'��'x�'I�'޴'�'k�'��'��'s�'�'��'��'��'��'B�'��'x�'��'�'��'��'g�'��'}�'��'��'�'��'��'K�'!�'��'��'T�'�(^(i	(�(�(;
(�
(3(�(m(q(�(�(�(�(�(D(�(!(H(z(� (!(|'(5(p5(�5(�6(^9(�9(b<(�@(cA(�M(.N(�N(�_(fa((b(Ec(�c(uf(Oh(�h(�n(�o(7q(�r(u(K~(�~(G(�(��(��(C�(��(ֈ(��(R�(Ώ(g�(�(<�($�(�(��(.�(��(�(��(a�(�(�(��(��(2�(�(S�(�(6�(��(��(X�(��({�(@�(X�(��('�(�)h)�)�)l)�)+)~)m);)v))S)�")�+),)n9)�9).;)�?)A),C)pH)FI)tI)QJ)�M)6W)�Y)*\)T_)�c)j)�j)1l).p)/q)eq)�q)�t)�t)fv)�y)az)�{)u})E~)�)��)S�)LJ)