Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00001_00000_shuffled.ds.index120 linesDownload Raw Back to root
1���k-�����"B/�/0;�<�<�=?�LQM�MOuQNR W�W�Y�Zl\y^0_1`Jb�cCd�e�e�fOi�i�j�j�lOmgm�q�s�sE=X���q�#�$=%�%�)�)+*!/�1.5�5%I]I�M�NQ�R1S{T#U�U�ZQ`�`cJc�g�ikj�j�jBkEop�q?r�r�rxs�s�y{�{�ˀ{���Ђ˃X�/�ƥ[�K����������c�2�3�2�a���E�����2������_�h��������~�����l�'����������Q�G�d���
5��B����C��A*S*�*�,�.�3>4�47�78+9V9B=�=Y>�>�@NA�A�C�D�EFRF G�H;I_K*\C^v`�ab�e�ef�g�gwijl�l�m�p�s�tauPv:w�w�|�}6~�~"�D�q�a��k��g �"�)�*�+?.v.�.{/�/�/�0�03�4O5�5�9�;�<!>'@�I�K�LnMgOZP~Q�[�^
_eb�no;oJo�N����#�3�r�����b���S���K��$���r��������
�G���:����������3�����B���4�����R���	�>c�p`?`�c@�*���������h���5������������A�G�-��_�* �#M+3,�.4/}0&3�4�5�67�::;Q;�=S>�@JA�D�H�N�O�P�Q'RxT�U�m5uEw�w�xS|�}�}k�����������P���ɠ3������������k���C����d6,��1�2�5`6�6�8,9y98R&T5T|U�V;W�W�^�_Zazaecg}hk�w#y��z���8�����J���|���`�"����d������4������L���������)�!Y$�$1%�%�%&g'*�*�*�+7B�B�B��{�M���Q�׹{�ֻ6���Q�4�,�����J�x��>���+��M�\���������������|��	�	I		�	�	�	:
	�	�	+	�8	39	�;	�;	?	�?	�?	qF	>H	mH	�I	+J	�K	oL	�Y	>\	]	Na	�a	db	g	�g	�i	�j	�j	�k	=m	�n	;p	�q	r	�r	Ax	px	�y	r|	�	��	��	H�	O�	Ǎ	X�	��	��	��	��	D�	Q�	ɯ	6�	x�	Z�	��	)�	0�	U�	��	��	h�	��	��	��	�7�%8�&9�(10_*11�*12�-13V.14�015316&517P618R719o820�821$>22UA23B24C25�F26�F27�L28�L29�M30N31�Z32�[33\34�]35J^36Z`37�b38�d39�e40�g41�h42i43�p44�v45w46�y47�48M�49փ50R�51��52~�53&�54�551�56z�57�58T�59��60��61�62y�63�64��65�660�67�68*�69��70�71�72��73�74@�75��76T�77��78��79��80j�81��82��83�84��85�86`�87��88��89*�90K�91��92��93U�94��95��96��97��98��99Q�100��101,A'F(|(+�,F-�-�/�3t:4<�>ša����0�k�Y�~������k�������ľO� ����������r��r���������F���%�����a��������F������M�$��102
�
k
�
J
�

`
�
X
�
�
�
� 
C#
S#
�#
C5
�7
(:
f;
�;
�=
�>
!B
�B
�D
AJ
K
zM
O
�O
�Q
VR
jR
�]
L^
�_
<b
&c
�j
�t
�v
w
�y
zz
E|
�|
d�
��
ѓ
v�
��
]��	|��!�-�06�6�99:[N�NQ�T�UeVAYVZ�\7]�]�^�_�_`]`<b�c�h�h�o�p�rs�t@v%x�x(y�{}��ҀL�1��X�����N�7�f�p�^�,�K����ћ�Ý���=�����|�����ջ[���������&�w�f�������������\������=����������Y���
�������S�%���L����103�R�$R')B)+J-�2�:�?@m@�@�H�PS�XZ/Z�[+_�a�bd�iFj�j�lpsr�s8v�{3~=�M��ˋ���+����ت}��G���Y���������[���O��X�����6�}����)+'+w+h-�-�/Z124A9
:;=)>�FzH�HyIJ�K+LyMwN�N6\�]�`�a6d�d�f�hbi
j�kyo�r3t�v�xyςI�m�{������Ü��ç�����2������������n�h���f����D���G�j�C4�8&�&f)�0�1s2F:�:�;@@nGHCH�J�KSNO�SwU�V�WxZ�[h\�]a^�������Y�/�������j���_���A��v���-�D�������������������K��r�y�����������D�u����#Q$�&�(i)4t5C�C0DMF�G�H�HJ�QIR/�W���$�����\�����������U���J�^���c�����;��i�����7�����9F�	�	n104-
e
`�Z}�coS',-1�1�67�7�88E_2`]j�j4l�qEst�t�u�v5w������������S����������?�����0�U���2���ijϳj��ݼh������.�@���)�;�����E��d�����k��5�����������B�����F���\��	`105�106�4<�W�\�`�� #d#�#<'�,�6"7(;�;�;�<�>�>�@�AC�CD[EoG+H+I�IYKPmS�SuZ�[�\_U_�a,b"c�d�dePe�s�t�usvAw�w�y�y|����	�-�љ��)�t������n��������L�Ӫ��������Y�~�P���{���ص�����`�I�������y�������K�'�F�{�0������������"�������x��_107:M��z(,�,-.�.6y;�;�?�B&CD�FG�I�K�L�M5OxQ=UIU�U�VW^U^�^_acMd�f�lqoq�r�r2sp{�{108}�~	�q�)t�����t���K��5�ȝh������ƹ��r�y�����J�������~��������qt	xH?`����-�M�� /�4�6�67<<>�>�@�KXL�L;M�M�MTR�R�U`�`�`qa�b�c�d�efii!u�u�vOx�x!|O�������8�
��k���4����:�>�����p�����p�L�����F�n�������i������f���L������������1:2�3;d;"<
=AX:Z�Z�\V]r]�cnfZg#i�rBs�t�u~v�x�ނH������j�������}�K�ò͵w�����������)�`���_�X����������������������A�Y�E�q���� �j��#�$o,�,r?R@XA�A�L�LQMaO�_�`Wb�c.d�f�fg�g�h�j�j�np�q�qP}C�n�����ߘ��ٙ�����}�+�0�W�$��N�A���O���V�`�n�A�t���������m���^�����#���A����J�����w�Q�v109���kl�Cv�,g.�40?+BaF�F
H\HaItI�L�L�SYYLZ�^�_#`6ko�p^z�|�}��N���h���#��� �����D���ە!����6�[��ͽ0�*�d���Z���������_����/�1]3�8C9%;�;f=�C�CED�D�J�K�K4O�QWV�WX�XsY'ZX[�b�c�cwdUe�h���N�N�x��1�ٝ��110���p�Z��-����ɴ�������A�c�����������N�U�������\�����������7��c��y%f&�/G0�0d1�3W5P6G:Y;�;}?�?C!GbG9J�K;N�NO�U�VEWdWE]�]�^O_\`�`>c111eRe�e�efg�k�k�lOm+szw�w�x~{�{K|�|V�J�B��F�,�}�ɔ9�m���J�p�ݬ:�ׯ��Y�w�	�Ƹ��Ǻg�6�x������;�k���6�0���j�t�"�f�������#�p������d������`X��4Nu�' � �3�6�7	8�9�;�>�?k@bC�D�E�HJI\L�L]MN:NGOhOP�Q�RWUYZ}Z�cUd7fh)i�l�l#q�r�rsu112v[vTx�x�~g���Շ͈�!��	���~����k���.�
�~���Z�M����4�T�{�%�o�������+�p�d�(�&���8�\�v�`���@����#���lX���(v:�@�B�D(F�G�H�M2N�_-`�`Xg�k�lJm�p�s�t�t�urvwy@z�zp{o~�4�Z�	�˂F�ƒ,���܆���v�ݖ����t�g����������ʸº����x����������d�w�h�`��d�8�y�9�r���V��( � O  �	 � �
 6 � m � � - O � w6 8 ? F@ �@ �A �A B �B 2C MD �E F YG �J gO ZP aU �X �Y !Z �Z �Z �i �j An �n �n o \o �q 
r �z �} � s� O� �� 4� C� :� d� +� � T� M� �� � � �� � @� �� c� ˬ ɯ b� [� ݱ � t� V� �� �� �� � 8� q� � �� P� �!�
!B!�,!-!
.!�4!�A!B! C!�C!sD!�D!E!MF!�J!�L!nM!!W!aY!�[!�^!_!6_!�_!c!Bq!a�!��!��!�!|�!�!�!$�!G�!��!I�!~�!�!�!.�!��!�!8�!��!>�!��!)�!��!�!J�!x�!��!C�!h�!��!�	"�	"4"e"	"""�"Q"�Q"�Q"�Q"�R"�S"_V"tW"HX"�X"jY"�["8]"�_"G`"Gk"%l"m"Um"Zq"st"҃"�"��"��"��"/�"Ŏ"��"�".�"��"X�"��"��"��"i�"��"��"��" #�#�#�##�(#�.#2#�2#�2#�2#+T#rT#(V#_#�_#Yb#xb#bi#,k#~k#�k#<p#ap#�p#�s#�}#�~#�#ƀ#Ã#��#�#)�#/�#"�#�#ȑ#
�#�#113�#v�#��#��#�#2�#��#]�#�#<�#:�#K�#��#�#3�#�#��#��#"�#<�#T�#��#��#�#��#l�#��#�#I�#K�#��#P�#��#&�#��#;�#�$
$�$�$�$�${$8$�$4$�!$#$^&$�&$�'$�)$*$?0$�3$�3$�8$�8$%9$�9$@$�J$K$>P$�P$MR$NS$�S$~V$X$�Y$XZ$j\$�_$�e$�f$�g$yi$,k$%l$m$o$,t$Ƈ$�$�$!�$��$p�$|�$Ϝ$G�$|�$��$��$�$��$�$��$Ʀ$k�$z�$��$A�$��$S�$��$t�$�$t�$��$114�$�$m�$��$��$�$��$P�$�$"�$/�$��$.�$��$`�$��$��$��$z�$��$�$��$�$��$��$��$�$��$@�$g�$��$�%�%v%�%A%t%�%I%' %5#%�#%�$%�%%�'%�*%�,%-%.%�0% 2%W2%b3%�3%X8%�:%H;%�;%�<%�T%�W%�X%�Y%�Y%�e%�f%Ng%�g%�g%�h%5j%!s%�s%!u%@w%^w%Hx%uy%�{%�{%d~%�~%��%@�%\�%4�%��%
�%S�%�%��%,�%��%+�%��%��%��%��%��%`�%��%6�%7&� &}#&%&L1&2&�5&27&�8&�E&c_&�_&�`&c&y�&��&g�&��&p�&��&��&5�&J�&!�&��&��&r�&��&x�&-�&��&]�&l�&�'�'q' '�S'�W'@['�['\'�l'n'Vo'p'0p'�v'�v'w'7x'|'v}'�}'�'��'ā'҇'L�'��'/�'}�'��'N�'�'��'�'0�'��'"�'��'��',�'��'W�'�'�'A�'D�'+�'�'J�'W�'��'�'`�'��'��'#�'�'&�'��'��'b�'I�'��'��'��'��'m�'��'J�'B�'��'�'q�'��'M�'v�'��'��'��'X(�	(M(�(9(�(`(�(H((a(�(�((�!(?"(115)(I)(�)(I,(�,(�-(M.(�.(|/(A0(�0(�1(2(�2(3(9(�9(Z:(�:(<?(JB(:C(pK(�K(aL(�N(�N(Q(%Q(�Q(RZ(>_(�a(�c(m(n(�n(�n(�v(x(~(m�(G�(��(W�(S�(�L)=N)�O)rP)	Q)�S)V)Z)�\)�b)$e)�e),f)(g)�h)=l)�m)�m)�n)1q)�q)Or)wr)s)�s)1t)�t)�u)Hv)�v)�w)�x)116z)X{)�{):})�})�~)ʄ)��)3�)8�)��)$�)M�)ݗ)��)��)̙)�)��)��)ˡ)[�)Ȥ)/�)Z�)��)�)U�)��)?�)Ǻ)R�)ؿ)k�)>�)��)��)9�)��)��)"�)�)(�)��)��)L�).�)��)J�)��)��)J*�*(*�*S**�*�*�*�*8 *�$*�%*X'*�(*�)*�**�**�-*o.*1*�:*�:*C;*L<*�<*�>*�?*b@*A*+B*�B*C*YC* D*�M*#N*-R*�U*qX*�Y*&[*�\*]*�_*-c*	d*e*Sf*�g*�h*o*Io*�p*�s*�v*�v*�z*O}*�}*W~*�~*�~*R*�*0�*�*Z�*3�*?�*"�*!�*�*�*i�*�*��*��*4�*��*��*��*Ȫ*��*u�*	�*��*��*C�*6�*^�*��*��*�*D�*Q�*W�*/�*R�*��*]�*t�*�*��*��*��*��*I�*��*>�*�+�+�++�+�++-++�++�++a+�+<+�+-+!+Q+s +� +�&+v4+�4+�:+pA+�J+JK+uK+MN+�\+�_+�a+�b+�c+
d+Ff+�q+�q+[r+�r+)s+ut+�w+�z+117{+&}+̀+ӂ+
�+��+��+�+��+E�+��+�+(�+n�+�+Q�+˘+ș+ڙ+:�+�+�+~�+��+�+j�+��+�+��+�+J�+3�+��+�+X�+�+��+�(,*,U*,,,�-,y=,�>,?,�?,P@,�C,�C,�E,�o,�p,/t,:u,�x,�{,b~,@,�,{�,�,9�,�,?�,��,��,Ԕ,w�,m�,��,ک,+�,:�,R�,k�,k�,��,'�,/�,G�,$�,��,9�,%�,��,��,�,/�,��,��,��,c�,5�,��,D�,��,L�,b�,2-R-D118-+
-�-�-�-119-�-�-1208-f8-.>-�>-S?-�?-�D-�E-II-�r-bs-[|-��-�-