Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00124_00000_shuffled.ds.index79 linesDownload Raw Back to root
1�Z�/�����y�%���$�'������J���8����������2�������$���!��1������������{�����������)�zi^�w2:b�X�@&
���� �"�#�#�)�)�,Z-/.#/�/1�13�4I9:�<�=g?�@UC�F�IJyJ�JaQ�WXk[.].f�f{�|�}�~��v�p�g�ʋ����ۑؒ7�֯а�L�C�̾��n����OfTdV�V@XJ\]^�_ b�mAont9vSyU~��?�ڊ%���ޓW�}�&�^���Ħl�l���b������������������7�@����%���`�s���2�%�>�����"�$"%S%&'(T(;)E*`.�.	2z<�<s=�=3>�N>P�P R�R�S�Z�^�i�l�n8ozo�q�s�s�u&vy�y�{ÈЉ6��)�G�z�����ȩ)�W�´5����ؼ������@�A���)����r�U�u�����+�&�G�(�W�4?��b�"=#\#y)=*e,�-N2f2�<MC2D�PaS�S�U�W�WY�Y[\�\�]�]8_u`�b]ce�e�f�f�gxh�hi7i�i�l�oq8wx��ۆg�X����[���*��۫9���y�ůx��h�V�����z�E����������e�ZvPwIymz~"��b���m���=���t���3������>�[�j�@�.���~�l�������B������	(	�		�	6	i	� 	-	1	�1	�2	@4	^6	1>	5?	�?	�C	�E	KF	�F	�I	�J	�N	bO	kP	eR	aS	1T	�U	HX	mZ	�Z	;[	S[	�[	 \	�\	�]	g_	�i	�j	k	Ik	l	�l	rm	�n	p	Xs	�s	ct	[u	5v	4w	�	�	��	l�	{�	�	��	�I6TJ7*L8>M9�N10uP11�[12�[131\14�_15�s16�t17�v186x19ux20�x21�y22pz23�|24�~25�26Z�27��28v�29Œ30>�314�32Ė33~�34�35L�36��37��38�39c�40~�41�42m�43C�44�45�46��47W�48۱492�50a�51t�52�53��54��555�562�57��58��59��60��6lo�1�4�=�>yD�F�F�G�H�I�IJJ�LnM�M&N+O0S�S�U�V5W�Za[�c�j�klDmo�o_�	�����Q�s�����	�1���_���V�	�c���_�P���U������Q�����Q������	+61&5ҏҐ�U���,���3�j���O���y������h�����w��z
�{
=|
}
~
"
d
�
�
J�
��
�
��
�
^�
_�
E�
n�
��
��
��
ۑ
��
@�
��
՗
��
��
�
3�
��
4�
I�
��
K�
��
8�
1�
��
��
�
�
$�
�
ͳ
W�
¶
t�
��
,�
ܿ
�
X�
�
7�
�
V�
��
[�
�
K�
$�
@�
I�
B�
��
�
��
��
�
]%P&u'(p*�/�;y=�=�>�P�Q�RdS�S�TV�YZh[^�^re+fjf�fi�i�j�j�mt�t�u7v�w�x |[}~M�€������p�ág�G����`�k��?���������,�ȶ;�˷�A���N�V�&�l���]�����'�3���|���<���������*X	�62BeO��63��  �#*'y')�)�1644`7(?_?�?�@�A�BDEFfG�G�N�O.Q�R<SeST�WPX�X65ZhZ�^t-v�v�xh�V�����{�K����ȢR�n�/�\�r��^���ݳu�����X���й�P����,�S���q���k������"�����0�r���A�����@�����g�[�����4	��8G�G�	�66��P�5"�#�'C)�)�.81-3	5�5�6�7s8�<W>bA6B�B�C|Doy%r���:�ӆ��M��w�����X�����2�!���	���������$�,����D1�1=A"BQB�ILM�P�YX[z[4\4^@_Qa�cqd�d�eKh�h�hOidn�srwy�yX|{������#@`@�ABpH�JFO�O4P�P�R�ST�T#U[V�]�gq�q�r�s�s�u�uv�v"wKy����|���Z�#�����×��>���������p�_���:�2���67����@�i+
�
�����(�)�.,/0�0�>�>L�LaN�NPZS�Z�]�`�`7b�w��Y���K�k��.�}���Z���?�R�������-��������������4�
�O�˷Ѹ̹.�F�V�����D����J�w�l�����(�[��������y�(��` $('�'(�4@:B�P`R�S(]�_Z`�bai�iEj�k�lSm�m�n�n�oZqz�l�����C�q���Z������C���������ۻ}����6g7�79k9�;�=S>d?�BD�E�E�HMFM�PDS�T1VπJ�ځ��2���5�ӈ����3�ʛ`���m����(�
��L����v������/����J�t�йѻ��������?�����s�������n�����l�V���5��������;�o�����O�����1�������"��==� V2W8�^�ae	gsgj�jm|mn�nus�tǐo�L����j����+��������K�V�ڿ�4�1�v�S��N�c��b�Y�X���i���6�>�U�.�]�s���p������(���R�����}�	�	h����(�)�)U00�1�cd�d2g�g�g�g�iFj�j�o�o�{X|�|o�Y�Ŋ֊֌}�R����������(��9������_���˵C��<����F���'�c���x�|�t��������_��������k���)�������[�%�3�����w�x�������68PO9�:�;�<=�IkJ�M�Q�TV6V�V�V�V�W�[�fQlJo�oav"w�w�y�z�{�}���T�ɂ���P�8�����ޏ ���"�”1���ڡ�w���ɧ����0����W�������j��������c�x������4�>�,�����~�����{���.'/�0c7�8�8�:�GH�H�KUL#Q�QUU�X\�]�h�l�o�p	q�q�rz�z1|;}�~j�>�f�����!�`�z�������������	�����i�����q����t�����J�P����������>�\�	p69@k}���W�/$G%:&�-/b/�1�2�2+3�4�4z6�768�9	<�h�ink,l4n�n
pZq}qTs^s-t�#���1���ȃՃ.�O���p������t�ҤN���֨��0���"�����V��������?�����&�"�����|�������/���%&�&(p-�.(0�8%9L:f;<b@�OP�P�QfRWS�S�S4T�T2UQU�U;XYDY.ZKZ3^Ladf�g�k9l�m70opJrQv��C�i�����F���4���9������_���C�7�l�G������^�E�:��������9�x�3�V��������<�����e��������4�%�������p�_���������	�d����w��
N�v��9�r$%''C*�*,�1�1�4�4�8:71;(<�<�=�>7?P@y@�A*C<CTC�C�H\J�K>L�L�LnQXY�Y�fJi�k�k�l�m�z||<~�~�~��؁&�i��(���
�;��������Z������y���4����U�\��f�������D��@72�
qj�O�a�#1%�(9)c)f4�6<P<�<�=V><@�@pA�A3BiC�CsD�D}E;FUI�I{JdM�MWP�R�R5STpWTXEZ�\.]q`�`~3tTwux	{A��������@�o��!��p���L���l���@���e� �N��0�4!"G"�,�,C/�0I1�1�6�8�9�:�<�@�@�FHI�J�d�e�eHfkgFink�khl�ldnSopo8p�p�q+y�y�z/`��G���ȑ����<��E���4������Y��`����{�i���\�~����=�����p�� � � c � � � 4 � W
 � L �  � � � ; � �  �! �" �# �& v* #+ �+ �- }/ �0 a2 �2 h3 r= �> �@ 2M IN O �S �T �T X �^ �_ �j �k uo p �p �q &r ks 8t �u �v Hw �w 5z Uz �z �{ ؂ �� p� c� c� �� :� .� �� /� � �� �� �� �� C� a� %� � �� l!�!B!�!!w!!�!R!!�!�	!�73!�!M!�
!�!�!�!J!r!'!�'!�;!<!�<!9=!�=!fB!�B!BE!�E!8G!O!S!V!�V!BX!�X!<[!�]!�^!=`!>b!�d!pj!�n!o!Ko!�o!Qy!�}!D�!R�!v�!Z�!�!.�!�!�!��!*�!q�!M�!�!��!7�!��!��!,�!ǵ!-�!\�!��!"�!��!B�!Q�!.�!6�!d�!п!��!�!3�!`�!&�!�!��!��!��!�!�!��!�!4�!��!��!a�!��!��!��!��!x�!�!<�"��"��"�"h�"�"��"��"5�"��"��"U�"��"74�"��"��"~�"��"��"��"��"��"e�"��"}�"��"�#*#�#7#�#b#�#�##f##,(#�*#�2#|5#�6#�7#8:#P;#�?#�?#k@#�A#�D#Q#R#9e#Yh#�l#�l#�o#օ#V�#%�#��#�#��#[�#��#]�#��#�#f�#ߖ#�#;�#�#�#�#U�#�#��#��#��#N�#��#��#G�#��#,�#Z�#��#��#&�#��#P�#��#c�#7�#�#��#��#��#�$�$ϱ$�$"�$B�$��$��$�$C�$��$��$��$�$��$� %n$%"%%O%%&%-'%s'%�(%.-%�-%#.%b/%�/%`0%1%�1%E3%#4%^=%�@%A%�C%�C%dH%�H%�H%VL%\M%�M%N%TN%JQ%�Q%�R%*S%;T%
Y%�Y%`[%
]%�]%{b%�d%mf%tg%hi%[j%�j%k%�k%Sm%75q%�r%�z%�{%(}%~%%,%u%E�%]�%Ʉ%��%��%��%e�%��%�%N�%��%s�%z�%՘%Ȝ%�%�%��%-�%��%�%��%��%��%��%&�%L�%\�%��%��%N�%��%W�%��%^�%��%.�%l�%��%�&&D&w&w&`&�&N&B&�&r&&�&8 &�"&J$&�%&F&:H&�R&!X&�X&�\&g]&�_&�`&�b&#c&sc&�e&�h&cj&�k&.l&�l&�q&es&�t&�u&Pv&bw&�w&x&�x&�x&�y&2{&�|&�|&?~&�~&H�&ċ&<�&��&R�&�&j�&��&�&Y�&̛&Μ&8�&Ϟ&��&�&��&�&ȣ&(�&k�&�&�&P�&a�&R�&��&�&��&F�&a�&��&��&Ӷ&��&��&��&��&]�&��&��&D�&��&��&�&@�&��&��&��&��&�&��&��&��&��&�&��&c'''w'�')'y'�'�'''p'�''�&';''�+'<:'�?'�@'A'�B'$E'U'�U'�Y'�['W]'�]'�`'c'�c'�c'�d'e'�h'm'<v'1y'z'�'!�'g�'�'�'4�'<�'t�'��'t�'�'��'ˢ'ߤ'��'�'��'�'%�'�'��'��'*�'��'�'��'��'��'��'��'��'L�'��'��'��'v�'�'j�'��'-�'9(�(Z76(.(e(
((�(�(�(%(Z(�(�(�(U(�(�(�"(W+(�+(�,(/(|1(a2(�3(�5(�:(�;(�=(�>(5?(?(�A(YB(�B(�C(�H(LN(�O(XP(?Q(cQ(�Q(R(yS(W(TW(�X(��(��(��(��(��(��(77�(��(��(��(��(��( �({�(��(��(r�(t�(S�(��(�)b)n)�))�)�)�)>)�)�):)�)�)�)J)�)))�)�$)v%)&)�()s,)�,)�.)/)_/)�0)N1)�1)�3)�4)b5)6)�9)l<)�>)�H)�H)�L)qM)�M)�U)Z)_)�_)�d)Ne)Qh)lh)1m)�w)px)�{)T|)�|)��)��)�)��)Q�)�)h�)�)m�) �)w�)��)#�)��)S�)۔)/�)c�)�)Ι)�)К)N�)��)��)Q�)��)`�)�)��)��)H�)U�)"�)R�)��)t�)��)��)��)��)��)��)�)��)��)O�)��)F�)A�)X�)Z�)��)��)5�)�)��)l�))�)K�)_*�*�*1*x*�*A*�*;*O*5*Z*g*�*�*'!*8I*[M*�M*�N*�R*mS*T*�U*�V*bX*A]*q`*�`*�a*yb*�b*g*�h*�h*vi*�l*)o*go*��*�*��*��*��*Ǖ*�*��*_�*�*I�*ڪ*�*��*Э*�*O�*�*�*�*��*�*M�*D�*��*��*��*��*.�*��*��*��*F�*��*��*��*��*�*`�*��*��*��*�*��*�*C�*��*��*��*��*��*��*�*X�*��*�*+t+�+R+�++ +� +�)+�-+�.+�4+5+s6+�6+�7+�8+�:+C;+�;+D+�D+�Z+N^+�_+�_+=`+�f+�g+
j+�m+yn+�p+2q+�q+r+�r+�s+jy+z+�z+1{+
|+�|+\}+�}++&�+Q�+u�+��+ڇ+E�+ˊ+,�+��+c�+t�+��+��+�+�+��+՗+I�+Ø+�+ؙ+u�+d�+r�+f�+��+]�+O�+��+�+��+y�+��+b�+��+ʶ+c�+�+��+��+��+ �+#�+��+�+��+�+78�+H�+m�+�+U�+m�+��+s�+��+��+��+��+��+��+��+��+/,�,J,`,	,X	,�	,,�,�,�,�~,E,�,f�,NJ,Nj,�,�,�,��,��,J�,e�,.�,��,��,1�,Z�,*�,N�,��,��,��,��,&j-[j-�j-k-m-cp-s-�-E�-O�-�-6�-&�-J�-W�-Q�-��-��-ɠ-�-��-�-��-س-f�-v�-D�-Q�-�-��-��-�-_�-�.�.C.�.�79..�.�.�.�
..�.#.$ .� .�'.%+.c+. -.�-.8>.?.�@.hF.�G.H.,M.Y.IY.�Y.�g.h.bl.m.n.]o.�o.!s.st.Rz.�|.�|.k}.��.�.Q�.�.��.Բ.��.��.m�.U�.m�.L�.��.��.{�.��.K�.��.G�.��.��.��.��.^�.�._�.F�.��.�.P�.��.��.U�.M�. �.|�.��.�.c�.L�.��.;/�/z /� /!/##/�#/�0/?1/k2/4/6/i6/9B/�E/�F/�F/OJ/qM/N/�c/