Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00023_00000_shuffled.ds.index104 linesDownload Raw Back to root
1R�2gc$��256]6�6�8�9wC�D�DF�J�^rUr�sKvwMx�{~}h�������n���&�͝�y����=�j����n� �����`�0���E�ݺ�G�t����P��M���e�Q�]����������f�������������j]�s��"
@���l��T�Z H!�!�)w+1�3�3\:;L;�C�DJ�OQP|P�Q S�U�X�\�azdsef/f�ij#k:p�qSr�s�u}v��P���'����`�E��{���$�Y���8�|�����K���E���s���)�Z�-���T{�c}�57
R���7�� � �$&x'i)�*�*�031�1�24�4�5e=�=c>\?�@uC�C�DEP�Q�Q�R�R�U;���K�&�]�L�~ � <#$S(�(/�/0�6d9�:�;�<@==HC�F�F�H=L�L�P}R�R�T�U�V�[e]]_�bJc�cse9f�f�h�q�q`stmt{�ԅÉ%����{�Ɨ��� ��I������ߵ�����>�������"V��3#
'����%,'�'�(�-�36�6<�N�Q\R�RYk�l�m|�|��F�D���2������������/�L���6�*�e��������j������|���4�5-��<"?�A�P�R�RIS-U][;ab�b
d�d�eMf�f�gcnbqar�r�sUu�u�u�v�w|{~�j�(�r�V�����f������2���6������%���+�n���}���"���'� �8��5��vl�0"�#	$R0�4�R5T�T�U�])anb�b
n3ot�uv�v�w�x&~{;���?�r���������#���D�ӕc�v�*�Q�p���� ���p�����ط��-�6���7����������=���/���|�K�p�����`���f	���i��!")&�'�)=+�+d,H-�.m/y0�1"2G26T7�n��Ȋ������J�n�5�w�ӧS�W���~�5���7������|�S�Z���n�v����O����.�����,�3��;�n���A��7�	��	"�	B�	��	��	0�	Z�	��	�	��	}�	~�	�8�9�10�111213Y14�15
16f1718�19�20�21�22�"23D$24�$25m'26�'27E(28d*29�*30031�032�533Y734935�;36=37�=38I>39sE40�H41|L42�M43�O44�P45^Q46�Q47*Y48&\49�\50-]51g]52�]53�b54�c55Dd56of57i58A|59��60΃61��62�6364�65��66%�67V�68�69�7071�72�73�74a�75��76��77L�78	�79�80��81��82��83��84��85��86��87]�88q�,���..C�V+:*E*q+�+�3�5�6&7h8m:�:^C�F(HJI9J�JxMxNOO�O�O�PLQUtU�U�U_Y�\n_�`�fgYstlt�tVv�4�۔��s��G����z���2�L�B���DZ��w�D��E�����!���������{���������N�N�O�Q6T�T�W�WwXmY8[a�bvc�c89d�i>j{j+k�l {�|WA�P�������P�n���Ҟ�-�X�������o������l���P����������k�,

�
c
v
$

b
�
�
�
�
v!
�!
�#
�-
'6
~6
�>
x?
�@
B
�B
�B
`D
�E
F
�G
�G
�P
Q
�R
�S
nT
�U
Z]
5^
X_
�_
0`
Ya
:b
�d
!e
�e
�n
�q
yr
,u
`v
С
+�
D�
��
˥
T�
+�
u�
��
��
K�
��
u�
\�
��
2�
��
��
�
(�
��
��
��
��
a�
��
��
��
N�
��
�
�
/�
��
t�
w�
��
�����	�	z�
s��+ASU!�:#�&W,22�24o6�6�7i8G9^:O;�<�=0a�b`em/n�n�w�x�y{t���T�J�b���w���<��Òw�E�r�D�ܠj�%��J�@���P�ֹ�}�L�������!������:���������.���	3"&{'�'�4�4�:�>�?Y@�E�F�F�FG�G[H�\�]�_�`�a�acvc�d~jKk4o	r�s�tx�x�|l~)�����c�o���R�H�+�Y�p������ΐ��ƒҒ^��������O��!�8�j�+���|����v������v�p���������X���?��Pv��RPZ`\�\{^�a�c�e;i�k:l�nos�?������:���������@����t�1�0�������$<&k(�(�*�*�:�;�?�@jDwHvI-L�L�Q�QER�SCV,W�X�d�e�h;i�v��-�	�%�@�ȓ��%�ܚ_����i���,�w���`�����5�$���-�̹����6�������E����8�3�e���Y���{�������_�����������B�<�>����;��]�M����
&��@5�� �!l'�'�*�./]58�8�97<�=6d�v�voz�z){,|�|l}�}M~�~�~�1���=�r�ˌ3���M�h���U�٢C���M�ǩ��b����m���
�k�������1���������������o������'������������>�X=�D�FDG�N�O�P4Q�V�V�W@Z�Z�^�_@`]`�c"de�e"g}g����i�^�p���+����\��	W���	�90;�F� ZR�K � [!�"�$}%�%�*i,-1-.'.�/�0�24�4�4916H7y7�7�7N9�>"@�ALE-R�n8ors�sDt�ux�{�~��k�ԅl�҆L���Q�X����ܬ����q���,����o�92���U����������F����/#�#�%'�'t)H9�:�;�IEJ�N�OsP`SUTwZ^�_�_�b�b9d�d�wQx�y.z�͒��=�a�7��������?�������q�#�������93�&�S���������y�G�x�"�����������'��J\	��V�v������\ w%Z&�&�'0)s+,��ܿU������R���������������������-�����6�����f�������{��'c�"	8o����d�-u���|G!"#5%@&�&�&)$,P-*/�0w8�89:2;�;�A;FvF�G^L�N�P�P%V~Z0|�|�n���g�������D����Πɡ��H�}�{���94���a�!���j���*�_�
����������h�x�w�S����_���M������e���f��Y��k�"7'Q;�;%A�A�AB4E�E'IkI|J6K�P�PhTV^V�V\X�XY�Y.Z�\^�a�bRz�{|�}~~;���ݏ���p���ۼ����L������6����t�����������������������3������������Fi��
��,k'�!�"_.0�03l7z8�8W<pE�HxW�WX6n�nEp�p�}�u���z�������K������i�םk�L�ß��^�s���"�o���=���%�3�F�����r�#���"�)�����+�(���������	�]����������"�A����O�L
�
�>�;1`1�27S8}8~B�B�E�G�L9M�PfSmX�XtY\�`�a)bec�j>zKz�z3}�����!�‡��u��2��͒��������8�٥�{���:��4�'�l���"�5������_�B��������N���������������\�e�#�������u�t�w695W96&�8
��������"�#/$q$�����$���ٶ��Z����V�����������Q��������b����������s��w�(���V�i���|�|����������%�	�;F�!gI�R� )6f?�B4MSN�N�RqVrY�Y�j�l�szt������~���1�I�2�9�����2��������K������f���'�<���n���W�����u���u#�$�$�.]56:7>:D;�DE�FAG�G�HJ�LUX�]Xa�a�c�eDfi�l�muv�w}��'�m�4�u�+�����k�¸���+�B����U���1���A�!�P�������{������4���v���J���������*�*(/�HcK�M�M�N�O�SrW�WXK\�\�^3`�`ck�lm�n�o�qrvFw#�����؇��T�3
r�~��55�7�8V=�>�?DB�B
C�C�KO�O�Zc[H]�^�_4a�fXg�g�iHj�j]n�pRq�tGuz�z:��?��h�5���$�<���`������� � ,	 �	 )97 � d
 6 � Q � � � �" $ & �& J' c( �* B+ �, �, �0 23 �C �D �G �K uP �Q RS �S tT �X �\ ] ^ Lb �b � � �� � �� � �� �� 9� ے � a� ǖ 	� � �� ~� |� � �� M� �� #� �� �!�!�!�!�!�!!!�!,!�!�!#!E+!.!S2!�3!=;!�;!&<!u>!�D!�E!(G!�K!�L!�L!WP!�P!=Q!R!�S!iW!Z!\!�\!qw!Nz!�~!�!5�!��!j�!Ǖ!�!E�!`�!��!	�!F�!Ԟ!��!{�!ߢ!��!��!%�!{�!��!X�!��!��!��!��!��!"�!��!��!d�!�!��!��!��!f�!��!��!��!�!B�!{�!��!f�!-�!K"C"�"�"x"�"�"=98"�"D"I"�""$"�)"f:"HA"�O""P"/S"�T"^"�^"P_"Ld"�i"@k"Wn"�o"�p"w"�{"�|"r}"�~" "��":�"�"L�"��"�"�"/�"e�"Z�"�"Q�"��"��"ˡ"�"|�"��"B�"վ"�"6�"~�"��"��"��"��"��"�"i�"��"��"��"��"�"P�"C�"��"��"b�"l�"{�"��"
�"��"�#�#]#�/#N2#y3#�3#�3#�4#�8#�;#lJ#�J#{K#*L#pM#N#HN#�O#(S#�X#]#�^#tc#9p#fp#�p#�u#�v#Ww#wy#L}#%#�#�#ʙ#S�#q�#�#G�#ަ#��#��#z�#��#�#B�#r�#պ#`�#�#q�#�#W�#��#��#��#�#��#0�#��#E�#�#;�#M�#��#��#��#��#��#��#��#��#��#��#�#p�#��#)�#��#��#��#8�#2�#
�#h�#�#��# $a$,$$�$$�$�$99$n100$_$�$u$�$�
$�$"$!$$�$ $� $Y!$�!$�"$�$$\&$�&$�'$($�($�)$�1$�6$�9$101<$?$�@$D$�D$�D$��$s�$e�$�$g�$'�$��$��$�$�$��$�$+�$��$7�$��$^�$��$;�$#�$��$��$A�$]�$��$�$8�$��$7�$�$$�$��$�$��$��$��$��$��$P�$��$��$��$�$�$��$��$�$�%%�%�%�%�%M%�%%5%{'%�)%d+%�,%�.%�.%_/%�/%�0%4%�4%�4%5%�:%`?%�@%�L%�N%2O%Q%�V%�W%NY%�Z%`%�c%%e%1f%�f%�g%rr%�t%�x%�y%<}%�%��%V�%��%��%v�%`�%��%p�%�%B�%��%�%K�%�%t�%��%�%��%��%ݮ%��%k�%H�%Ը%��%��%y�%j�%��%F�%��%��%��%��%1�%��%D�%z�%M�%��%_�%��%��%a�%k�%v�%��%�%P�%��%�&8&�&�&6&�& 
&m&�&i&�&�&�&L&�#&�#&v%&�&&"(&G(&U(& *&lG&U�&d�&��&�&,�&E�&��&��&7�&�&<�&��&�&��&�&��&^�&��&H�&@�&n�&'0'<'�'�'^'�
'']'�'�'a'�$'x%'�''�('6)'�,'�-'�-'/'�/'�/'�0'�1'�3')4'Q5'�5'a'+d'�g'�m'�n'Qp'�q'�r'�w'x'�y'�z'�}'�~'�'�'-�'s�'�'~�'9�'v�'̖'�'V�'��'��''�'��'%�'�'��'Y�'��'��'��'��'>�'��'Z�'J�'��'��'%�'��'N�'��'@�'��'h�'��'��'\�'R�'��'�'r	(q102(L(�(-(=(c((�(�(�((< (P!(�#(�*(�*(X�(�(��(��(�(<�(��(��(_�(y�(Þ(��(�(��(�(�(֥(��(�(�(C�(]�(ի(,�(V�(��(��(��(�(��(��(��(��(^�(��(b�(��(��(E�(��(V�(Y�(��(��(��(��(V�(��(��(��(g�(�)�)�)�)�))�)))�)4)�))�)V)�))� )-&)�+)�+)�+)�-)X.)�.)_/)�7)>)�?)@)/S)�T)�W)�W)DY)TZ)&[)I_)�_)�a)#c)�g)�h)@i)Zi)rk)<n)�t)>u)103v)|)�)��)>�)��)�)x�)��)��)��)��)�)�)��)s�)b�)�)��)��)��)Z�)O�)�*�	*�	*�*J**+*�*�*q%*&*�&*.*n.*�.*�/*�1*^@*�C*H*3I*�I*�R*�S*bT*Gh*�i*6j*\l*l*�n*Fo*$p*�p*x*|x*Yz*Ń*J�*��*�*ܛ*^�*��*��*��*��*k�*��*��*��*O�*(�*��*,�*O�*��*��*h�*'�*��*��*�+�+d+�+�+�+�+w	+�	+�104++)+�+c+�+E+�+1+7+a+�+� +S"+�"+O#+�#+,$+�$+C%+�%+�%+�'+�(+r*+�5+�5+Z<+>>+y?+A+��+��+��+2�+�+ª+&�+^�+ծ+�+/�+̷+o�+��+�+K�+��+��+��+/�+,�+t�+E�+�,�,,�,d,�,6,�,!,1$,%,�%,(&,�),I*,+,�,,�.,�0,1,�6,,9,H<,v<,6?,?@,�,��,�,��,R�,��,y�,]�,͐,W�,�,g�,�,L�,�,j�,q�,f�,u�,F�,ɝ,ڠ,�,s�,ʪ,��,�,��,��,��,w�,:�,�,�,�,غ,��,t�,9�,P�,��,��,M�,�,��,y�,|�,��,��,,�,