Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00077_00000_shuffled.ds.index101 linesDownload Raw Back to root
14�����"#�#d,�,�,�1�7_8�8�8�9{:Q3T�UvW�W�Y�[�d�gi�iUl�l�lہ{��2��������������ʜ?���Q���O���ЦU�;����������s�J�������������3���|���)��F���^����������B�����E=�0��s"{#J&k1�15$89W9�:}=�=5@uA�AGjG�G�O�O�P�Q�RgSx\xz
�O����E��������o���B��4�q���3���t�������6���,������@���,������w�5�?g4�5�k��=�(���$(�(�,c.�2�2B4�5�9�9*;�;�@�A�D�D�D�E�EXF�GlN�VKd�e f^f�s�|x}�$���P��q���F����/����.��g�������˛p����E�ˣf�Х����y�������������+����C���E���M���>�C���������R4 c��SDe!;"�,�,0�6n7�EF"H�H?M]MN�c�f�gahu*v�w�{I|S~�~$�C�?�Ȇ��x�Ό
����#�Ƙ�8�E�<������P�S���#������'�t��������l�g�@�T���F2"��j���q�:�š��P�F�V�֤��<�(����[���_���!����:k(Bw���*$-�-8._0�5�6�NOGP�QR�SqU�UW�W�WXQX�Y\1f�faia�Ɯ�����L�l���$���O���0�p����R����|���A�������<�=�H�o���s������I������ܣ��#�Ψ��w���)�p�ɲ��G�κ��A�������������������������������u���%6�7�
[A��'�i!/#�#S$&�6�7�8�:lB�B"CdRX}X`�`�`b�b�c�c�cyg�qr�rFw����#��ד=���Z���X�����ę��`�W���r�P�/�}�����x�6�������������������������������������6�����XC��#�$�$�',(*C081�224�49:�@RAB�BLC�R�TIU$bgb�b"c�c�e�fX��b�k�T���9������������	l	�		1	Q&	�(	�+	�.	�.	}/	�5	�6	5;	|;	�<	�>	�>	K@	%A	
B	�f	�f	~n	<o	�q	Dr	us	�|	�~	�	7�	s�	�	��	s�	10�	h�	G�	��	6�	ь	�	=�	R�	K�	m�	
�	U�	}�	p�	l�	�	!�	X�	3�	8�	��	��	�	��	�	I�	{�	��	v�	B�	��	�	811�12�13�14S1516�17N18|1920\21�2223"2425]26�27�28�!29"30$'31(32�(33�/34�/35�@36�A37,B38�\39�^40�_41�a42ee43�l44In45{46�{47�|48Ā49!�50ה51C�52�53��54��55;�56٭57J�58�59��60ï61�62±63��64��65��66��67��68��69s�70��71V�72)�73`�74��75��76O�77��78/�79�80�	<
��( � !�$W&y(T+�:�:�A&C�CE�E�G�H!I�I|J�L�MWS�S]s_pdh(i#�����u���P���J�ڼI�������*�������;�����%���e����}���z�4�W���7�`����8��	F�0�H�+M��M�j � � L!�#C)�,�,�0>142,3�3-;m=�?(@�FG1GHH�H�qrSr.sLs��K�u�<������]�3�u������������c����7������*�G
�
s
�
k
�
X
'
G
;
�
�

�#
�#
�+
�+
A/
�/
,1
�6
�6
M
�N
T
yT
l
Jo
<p
�p
"s
Mu
ː
&�
��
�
d�
��
��
8�
��
a�
��
:�
��
��
��
G�
x�
?�
��
��
��
��
\�
~v��L�"$"D@�@wBCGC�C\D�D)F�F�G�G~uv�yY{N|ƚ�����ũ^��v�������Z���.�h�.�u�D���0�m�o��������������`���?����R�81e�-d�����+
�"F$�$�$v)�-.X�}!I�&�1�4�6�6�7#8�9:
;�;aF�G�I�J�MP�Z�[�\�\gik�lm�m0n�o�paq�suyFzQ{�|�}~&�ڈĉ݌�����A�؝��F�����Y��Y���B���]�`���82�������3�����������M�����Y����Y���������0�����'��������	����
83����?"�)n*�+�,-�./�2�3425*7�8���b���+���������
�c����`�S��������H��4�5
7o89�:F;?I4JpN�N�O�P�S�U�X�Y^[`�a�bd�e�fxg)h�h�i�iz�~�~O�#�����i��V���|�ј���&������h����:�<���i�s����C����=��~�	84o85E@��g9�:";�=�?FD�D�F�G�G�H�JbK>NhO�O%R�R�S�V�X5[S\�\R]�]�]fa+hj]pqv�v�~Ԁ�y��(����F�i���ċÍ����#��ş86�8�+����Ӭj�t���˹z���B���c�(�^�f�M����c������7�j���;�f�U���H������
&o�q��+�0�1�2�3�4�5H8�=�K�O(Q(RYYcY=Z[�_`@mՄv���������H���a�פl�&�y���h�l���n���T�o���*�#�_���3�S�������
�6���P�����_�����x���j���"�$�*,+rC�E�G�H^I�I�KL>MMP�P�PQ�Z�Z [g�h�h&i q�q]tqu�wx�ya���ҷ����	���/�����0���>�����#����87Vw�^���R��+�i%j�k�m�no�pms�u��Ճ`���}���Κ(�����7���(�V�a���=�����8���5���k�[�p�����|���M����������88�
,2�a%H'�,�-�.�0�3^:�CFIGeHqJ�J�MNFN�NY]�^F`�`�a�a9c(d�gbhn.n�o�p*q:q\q�s�t%v	xz�|i}�}w~�9�������9�ܘ��Ś��������ҷ+�����\�O�����������~���=���������l����d�����|���������8t��,x�
4�Ap7y�D�*�+�,gy�|�|}��*����
��o���-����G�����,�e�:�K�L�ö;�������׻Q�f� �������s�+���,�|�]���'O?������� ?"�"�$�%�'()(;-x/#0F0�0�2�4d8}<m=�>@?p?@y@PK��%����N�������M�'����D���T�a�~�6�Y�I�����}89�JJ1O4�4_7[=�=�@�@cD&EsETH�H I-OxV�V?[_[b\]g`"f�g�g�i koo{psEx�x�{��ك#�=���������N������ɥ���ճy���m��a������O����:�	�������'�1�f������&�<�������j�����y�&�
��!+!�"e$i%'*�+-^-!/j/�0�2�3�7�:r;Q=�=>�>.@Y@�NAQpRcS�h}y�zb{�{Y|�|},}J~��)���4�L���s�p��x���o��6�d�ɪV���s���90�@����8�ſm���'��R�[���R�8�-�S���`���d�����7�����������u�)���bY�?N!�� �!#g'w)�)�N�P4Q�RU'X^$^�b�d�h�k�mnKn�n�n8r*s�sYuhv2xzD��3�W�ˏ������=�F�f�ܣ(���Ĥy�;�w�$�p����`�׷d���t���������2�������Q���'�������(�f�����������d����9P��B�5��#}H~	%�%('i(�(A/G1R2J3t4)<s=�=$@�@AB�B�CD-M�NFQ1^_Rb�b�c�d�mOo�o�o�qrUs�s}t�y�z�����<����E���#��p��֐(�,�ėV�Ϟǡ����)����:���+���F�f���F�������Y���>|�\��3
�.��V�@��Y/)� !1!h!;�B0DNF-HKH�HXkZ�\�^�_�a�j�nq�q�stat�xoz?{���������Y�v�T���.�Y����P�������ȧ���ݮ"����v�*�˻Q�����������f�������91����`���92Q93�94�
fj��^�_�_s`�a!h�hIi�jm
njpr�r#s�skt�uL{�{+|~)�B�5�c�����������ڕ�ڟr�Šy�S�ޥi�T���ǨũS�����εb��3���&��}�7������8�Q������y�������f�������W���&�W�}�X�����i����f������ � o  � M	 � �
 � ~ �% {& �' �' �* �/ �0 �1 [3 �3 �8 �8 N= X> 	@ I@ �C �] "^ u �u �w | o| �} �~ ]� e� �� r� �� � �� 
� -� � !� B� �� ŕ � �� � \� � �� �� � �� �� l� � 8� �� �� �� � �� a� �� B� V� )� � !!�	!495!�!g!�!!�!�!�!�!D!!k!�!!@"!r"!�"!y$!.(!�(!/.!�.!W/!�/!v6!�6!�=!^c!Yd!�d!hg!�g!i!l!)l!�s!�t!Vu!��!��!�!��!˖!��!��!>�!��!�!��!��!��!P�!Q�!��!��!��!��!��!��!l�!��!a�!F�!&"�"�"""��"�"U�"\�"�"Ϗ"�"j�"D�"[�"�"0�"׾"��"��"V�"��"8�"U�"��";�"��"�"��"��"��"�"D�"��"�"��"��"Y�"��"2�"��"�96##`
#p#�#D#@ #�"#,##%#�%#OP#jT#i#�j#,k#�k#�k#�p#97t#�u#�z#�|#�|#6�#�#��#7�#׵#$�#��#��#��#q�#�#s�#��#��#��#�#Q�#$�$$+$R$�$~$ $�!$�!$�&$='$�*$ǥ$g�$(�$��$c�$��$��$��$��$�$˹$%�$'�$p�$��$A�$�$J�$��$J�$h�$��$��$B�$:�$,�$h�$��$��$T�$a%�%y%/%l%l%%y%�%& %$%'$%�$%O*%+%�,%Y-%�.%v1%�3%4%�4%�9%:%^=%�?%$@%1T%MX%�Z%\%s^%__%�b%�h%ii%�n%�o%op%{%�}%*~%��%��%��%Q�%�%ȇ%��%��%X�%ċ%��%�%ݗ%��%C�%��%=�%��%��%c�%�%2�%��%��%`�%��%_�%��%��%��%��%�&Q	&�&�&�&&t&&�&w&�&P&�&� &�!&h"&�"&#&�#&nS&+T&@T&�T&5j&`k&�l&[m&�p&�r&�w&�|&/�&i�&g�&#�&X�&N�&?�&S�&��&F�&d�&��&��&�'�'�'K''�'�&'	)'.'�5'ZM'�M'�N'lO'�O'�V'�X'Y'�['pf'�f'4t'�t'bv'�~'Ɔ'"�'q�'v�'ˎ's�'m�'�'�'��'��'[�'f�'Ƿ'��')�'h�'|�'��'{�'	�'��'��'��'[�'��'z�'6�'��'Q�'��'��'T�'\(�(S(�(U(�(p(>(�($(�((I(�"(�"(�$(98&(�&(F0(�4(�5(-8(49(#;(|B(mG(1O(xQ(�R(�S(�S(�a(�c(e(~h(k(�l(Np("r(mr(�(��(A�(�(�(��(*�(D�(�(?�(�(v�(�(+�(�(�(��(˼(%�(K�(��({�(��(Y�(��(w�(��(4�(X�(��(��(��(��(b�(��(4)�)�)�)!)�)�)2)�)�)�))�)t)�)� )�#)�#)s$)�,)�,)�/)�/)�J)�K)OR)�s)��)��)��)Z�)��)P�)��)��)c�)]�)�*�*�*(	*99*�***�)*�,*H-*�/*V0*�2*�4*9*I9*{:*�:*�:*�=*�>*�?*!@*�A*'C*�C*,F*gh*�i*�o*�s*�s*�t*Xu*�u*�v*�v*{w*�w*Ǚ*t�*�*˟*��*��*100�*�*l�*а*X�*�*j�*��*_�*�*׿*I�*��*��*��*4�*��*�*:�*L�*��*1�*��*��*g�*��*��*��*��*��*�*��*T�*+�*��* �*��*�*6�*��*x�*��*�+�+@+}+�+� +�$+]%+�'+�(+�)+�q+ys+�v+��+T�+��+Z�+Ȇ+�+D�+P�+j�+	�+��+��+��+��+��+��+M�+S�+��+�+��+��+g�+R�+��+)�+��+u,�,�,>,d,�,V,�,,,],�,%,�%,�',�7,(=,�=,R>,\?,�A,�D,PE,)H,�J,K,�K,zL,�_,>`,�e,Pf,bf,�f,�h,Yj,5k,4o,lo,�r,�t,�u,,y,Hz,bz,�|,�|,q},N,�,��,��,��,?�,��,h�,�,9�,��,�,��,�,Y�,>�,F�,|�,ٹ,��,Y�,w�,d�,��,��,u�,�,��,�,Q�,8�,��,Y�,K�,��,�,@�,8�,��,��,��,��2��2��2�353�3{3T3�3x1013U
3�3k3bE3^37_3~a3�b3}c3�d3Ye3�f33k3zl3Pm3�m3I�3y�3N�3��3x�3��3��3��3Y�3W�3��3��3?�3�i4�i4�o4�p4�q4�t4�t4�w4(y4,�4I�4Dž4U�4և4w�4V�4��41�4��4ߙ4T�4�4��4C�4*�4i�4��4*�4s�4��4Y�4