Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00007_00000_shuffled.ds.index107 linesDownload Raw Back to root
1������K�LWNOR�S�S�S^T�TU�Wf[�[�^�^�^xp&qt4v�vYxgy2|���\���%���^�����s�˜���Σ(�ک
�*������w����������U�i��4���r�M���T�t�\��������������M�#���������W��b!m#P��W!�#C$�+�+,. /n/H13}427�:
N�N�Q!W�Y�ZI[+^_�`qase!j�km�n�qs�s�t�uxyx}h~�z� �V��t�S�˪[�������������F�����j�p�]���������2�����O�a�b���l�����	�<�O��������'���A2�3��
������z�x�#�%�)�)�*�+K,41�1�2_3�>)CDDNO�USjdr/u-wlx�{|�|�~Nц'�H�*���������W�����4�������F�J���p���s��g����˾���N������F�����+���������8�V�����������������������9T�� �n�D�$y$2&�'�)+�.V/R2�234'5u5�5G6�71:
;�>�DE�ObQ�Y\5\&��Ɋ5�F�a��ޒ�(�™��7�����/�M�����Z�5����������^�h���������������7�]�����������	�4�
�Q����N!�"##5&�&�($++o1)3:4d8�=M>?k@�BdC�GDHZJ�J�K�W�[�[/]]_�o5s�t�j�&����̌��8�ҔR�o�֙.�9�̞��u�ϧ�����a�$�`�������+�_�,���1����������s���n�/��8��5�6�^A0�013�3�5�6�9�;e<)@_@�EvGxI�I)KLM-VzVS]�]v_Ua�de��������+�����Z�S�nQNS}j�l�tvpw�|�}9�V���O�|�]��(��<�+�6��7�O������
�`�;�\���*���I�����)��x����K�����-].�C!31�2�3�=;K�K�L8MNvN�N_O@QfRkUTW�W`�e�e�g�g~h�i)k	lXm�m�ntw�x�y�z]~�~j���i���R�����;����e�x�����r�_���י��/�Z�̦&�H���]���~�+��=�S�����V����U���l�������|���f�������������S���4�h	�	1	j	F	p	W	�	* 	6"	�"	�8	y;	=	�=	>	�>	�?	'@	/D	tD	�F	�F	�F	�G	�K	�O	nQ	�R	�S	�T	�U	�U	aV	�Y	�e	Kg	�g	=l	n	�n	=o	0p	�p	�q	r	�r	�s	�t	�u	�x	"y	�y	�7�8m9*-10Y-11�-12/13�/14�/15=716�9173<18=19�=20w>21s?22�A23�D24}G25�H26~I27�K28�N29mO30|R31�T32V33�n34w359w3637x38bx39�x40�y41�}42�~43��44Ŋ45~�46�47��48ُ49D�50]�51��52��53��54�55|�56a�57c�58��59m�60��61�62A�63��64��65�66�67��68��69��70��71;�72��73��74\�75��76~�77��78��79��80��81��82��83��84�85}�86�87��88s�89��90�91Z�92v�93��94e�95��96$�A	�
��^>��!�$%�/�/�34�4�4a6�7E8�>�>�>I?�?b@�@D�F�G�H�K�KP�Yyc~e�f�h�m3pqv�wJxy|�|>}�}�~�~yy�֕�,������Źƻ����m�˾������,���:�g�H���<���<�u���u������i��2��S3�3��<!�%�(**�*�:,DMGI�I�K�NUOQU�U�UIY�c+eif�}�~-w�Ă�?���]�v���O���>��E�ӟ�:���ȩ�y��������*�x�i��G�a������.�j���^��

/
�
N
� 
�"
�#
.$
�&
�L
�Q
�h
i
�j
8l
�x
�x
�x
<y
B}
�~
�~
�
i�
��
B�
҆
�
��
Ȑ
��
��
��
��
�
L�
8�
_�
�
Л
g�
e�
z�
��
]�
M�
��
_�
��
n�
�
�
;�
��
I�
��~:
��*�!�!"�FfJ�J#K�K�M�V�Y�ZJ^�_�o�p�rh|}8w��m���b�I����%�3�w�N���[�����y�������]����������E�� �=�$���p��j���h?J�n�T#�#�2S3�3�4b5�7�9{?MA�B]I�K�L�M8P�P�PQ6TiT_U)Z[�[T]Cd̐ޖ���g�`�������"�<�k�Z�D���b�#���p�Y�����)������������11	� 9!�!M)#0[1�12$2B3f3�3�658$9�;�;�;0@�@�A�DjEeG'I�I�?�#�I�p�0�����c����F�������K����W�Q�����K�������w�Ub�c�i�jl"n�r�wπf�̓��Y���$�u���f���a��,�����������+�R�e�t��	���!G0�1������������5�]�6�z�5�����	v!�`��N� �!�"�1K2j2�2�3H74; AJA�C�D�H�H I�J�L�M5N�N6RU8VWeW�WNX�X�Y�Z'f	mss{v}�~�Q��������X�&}f�4$%@rJyT�ՃF�ΈP�������ߓ���� �����I������&�1�E�����������E�\���
�����B���q��/���@���n���	���{���?���-�
�������G�6�`����[�\~`%ejn�nNoDp�s�ua}�}!�����i�����M���)�[�|�T���g�������������
�s�������F���>������Z������97%�Jig�gI?x, 7!�#�%K&�*p+~,/0X2�3�35�6�:�;�<�<2@0C�F4GHG�S&VW:Y�Yr^;`�`�f�g�gM�ҏ���I�=��,����������)�\�}�0�'�����y�"�y���Q��������0�L�����������n������&����M���i��	�	9
q��)c���N� X!�$�&�'8),*�*.�.�.2�3K\KOpP�P�V�W�Z�\^�^o_x_x`�apioconq�r�r^�]�������#���9�.��7�\��� �1��������]���+f���	��/�24�4�45�5�6�7u8�8�;�<�G0H�I�JGdfpf.u�u viv�v�v]�m����v���f�N�Ϝ�!����h��:�����|���R����L�����s�e���W���`����'����71=�I�NhOeTtT�UaV�W?X�Zd_�_5`�`@a�a�d�i�j�l�mHn,pmpOq�q�tE�C���B�5�ʖ��b���r�ʢ ����o��a�k���Q�-��O�&���������!�O����p�I��\������k�������~���r�e�~�h������Y�)���#�B�Q�@��S��Y��!�(*�++,p,�1#4�6�8<9�:	=)=�?tD�G�GBa�q���؉/�����=���4�e�v����b���X�������;�Z�t�������#�
�#���V���s�������9�|����d����������Z�����p��, �- �. Y0 �0 �6 �@ �B �D �F �F �I �� T� � 9� �� �� �� �� �� x� ;� �� 1� � ]� p� \� �� �� �� �!B!!�!;98!�99!J!�!�!;!h!�!<!!2#!'!P(!�)!�,!-!Y-!1000!2!�2!�8!o;!6<!=!�=!�>!�A!]C!�C!LD!�F!I!�O!�T!U!�V!�V! c!d!hf!k!Zm!9o!!r!lu!�u!�v!x!�y!�{!o}!.~!!O!�!;�!�!߄!��!��!�!A�!D�!1�!�!��!�!9�!i�!��!�!��!d�!@�!`�!��!��!��!�!o�!g�!L�!b�!N"9#"\%""+"�,"�."�/"�0"�2"�3"�6"7"L7"{8"�8"�9"B:"(H"KL"nR"�R"NS"MV"W"�Z"�Z"�["�\"�]"�_"�`"/b"�c"�e"�f"�g"bi"(j"k"4m"�m"�p"�p"{q"t"y"ly"�y"Az"�"ځ"��"��"�"��"�"�"N�"��"��"��"��"��"�"#�"��"2�"r�"��"\�"f�"İ"�"��"Ŀ"��"��"�"~�"_�"��"��"z�"��"��"��"��"��"N�"��"�"9�"��" #E#Z#Q#�101##@
#:#h#�#Y#�#P#�##� #?)#e*#�-#�R#mT#jZ#�[#\#�\#�y#:�#�#|�#ɗ#�#��#ӛ#]�#��#��#�#��#��#K�#Ѹ#.�#=�#ɺ#�#��#%�#��#$�#�#��#2�#p�#��#D�#��#��#��#E�#<�#��#9�#[�#��#��#��#��#�#�$p$$!$$�$�$$$�$�$�$�$�$A$|$$$u$p $y!$�.$x0$
3$k4$�4$T?$-C$zC$D$ND$s�$҂$1�$|�$}�$�$T�$e�$—$t�$��$�$V�$�$d�$��$��$�$=�$ӥ$C�$��$��$[�$��$C�$��$s�$��$��$��$\�$x�$=�$��$R�$02%�2%K:%�;%><%�<%F=%�=%e>%�?%"C%�D%$H%M%#O%s%Jt%tt%�t%vv%yw%�x%z%�|%�~%e�%x�%�%�%��%��%��%��%��%��%��%�%4�%��%;�%U�%�%R�%H�%ذ%L�%}�%J�%'�%y�%��%&�%��%��%��%��%��%��%,�%%�%<�%��%��%��%��%��%7�%�%��% �%��%��%?�%��%��%|�%#�%Y�%�%:�%�&5&`&&u&C&B&�&l&�&&I)&�5&,;&~H&�J&K&�M&�O&�P&dQ&�Y&[\&�\&�]&s`&Wh&xh&k&m&�r&�r&�s&�t&�t&%�&��&ω&N�&Ï&��&��&N�&0�&��&R�&�&h�&_�&e�&E�&а&�&(�&��&F�&�&7�&.�&p�&��&X�&�&��&��&M�&��&y�&��&��&��&��&�&��&�&��&H�&o�&w$'*%'L%'�%'*,'�,'�,'-'<6'�6'�7'�9'�9'k:'�B'jD'�E'sF'�F'�]'�]'yb'�b'�f'��'��'Ŏ'��'��'��'��'��'��'y�'��'��'��')�'֝'��'f�'��'�'M�'<�'X�'��'۬'�')�'}�'��'��'�'��'п'��'��'��'��'s�'��'��'�'F�'��'��'��'O�'��'o�'�'��'��';�'��'5�'/�'g�'��'P�'��'@�'��'`(N(\(�(�(�(�( (1!(0"(�#(�%(&(�&('(<'(�'(}+(�+(c0(T4(b6(�8(*:(�=(5>(�A(�A(bC(�C(�C(�E(H(*J(�K(mR(/S(�W(�_(`(�`(Ab(�c(#d({j(Wk(
l(m((n(Ft(u(_w(�w(�x(�(��(C�(��((�(<�(ɉ(�(��(�(*�(X�(�(i�(�(1�(��(��(n�(�(К(��(F�(}�(Ӣ(�(0�(a�(��(�(�(�(�(��(��(\�(�(��(��(��(�(��(��(u�(9�(�(��(�(��(4�(
�(�(o�(��(e�(��(e�(�(��([�(��(�)�)�)�)�)A)�)�!)~#)j$)()�))G*)�*)�*)~+)�+)8,)�.)�/)y:)E;)�?)WH)�I)�J)K)WK)�K)�N) Q)�Q)�Y)�[)c\)(])_)�b)_c)�d)��)(�)r�)K�)��)��)��)��)�)��)>�)�)��)�)��)��)2�)[**=**Z*H*_*=
*V
*&*c+*�+*Z,*�-* ;*�;*?*�O*�Q*ZR*�R*2j*�l*�m*o*�o*�x*K*��*Y�*;�*��*�*��*�*��*��*��*=�*œ*֝*��*#�*b�*�*�*��*ͣ*��*��*ʼ*��*y�*"�*5�*��*��*�*�*��*K�*5�*a�*��*��*S�*��*��*102�*e�*C�*a�*��*��*q+$
++~+l+++�+�+�+�+� +3!+)++-+�-+1+�1+r4+$5+a5+�6++7+�:+F<+8>+�>+?+�?+.@+B+aB+�B+�B+�C+�K+�L+uQ+lR+�V+�]+�]+�`+cb+�b+�g+p+�q+�s+u+2u+w+(+k�+�+��+�+��+�+��+E�+��+q�+��+��+��+ع+��+��+ɼ+`�+?�+j�+��+��+��+��+S�+:�+��+��+��+��+��+��+<�+��+x�+�+103�+�+�+x�+]�+��+<�+}�+��+�,,�,�,],�,],r,H
,�,~,{,104,+,�,�,_, ,�",�",�%,�&,�*,�+,,,-,y3,l8,Y:,I;,�?,A,BE,G,H,�H,'K,~O,�Q,xS,�S,U,W,X,eg,�h,Vu,�x,�x,ay,z,.{,�,��,e�,D�,��,[�,%�,/�,��,&�,��,}�,�,�,Գ,E�,6�,P�,��,S�,n�,�,��,��,��,��,8�,�,7�,��,!�,��,#�,��,��, �,
�,��,5�,��,��,�,��,��,M�,%�,��,D�,k-�-�-�--�-5-�-�-�"-#-�$-%%-z&-'-�--n6-}6-V:-(;-�;-�<-�G-�H-�I-UK-kM-�S-�S-�S-xT-V-�V-�]-p_-P`-1b-�c-Rd-(e-
f-kf-�f-�h-@i-9k-?p-]s-�s-�-#�-105�-�-ћ-��-.�..p106.�107.�
.�.�.�".Q$.�%.�&.�(.o,.�,.�..�/.�4.5.86._6.�6.�6.e8.;;.�Z.�k.�l.�n.�n.�s.�z.1�.��.�.��.g�.�.��.}�.ȋ.D�.��.��.M�.��.0�.��.��.�.ğ.�.��.�.�.2�.��.,�.��.��./�.{�.��.��.�.m�.�.��.��.��.��.�.E�.��.��.��.�.��.��.Q/�/�//�/�/)!/N,/�./C//q2/m3/4/26/�6/7/�7/�8/�D/E/�F/I/�I/�Q/U/�V/(]/y]/_/�`/xa/�b/�c/xf/i/Li/Dj/�k/)l/�l/Ko/~o/�q/#u/�v/�z//}/`�/^�/�/�/͑/S�/͛/��/؝/��/1�/��/��/�/I�/��/��/r�/X�/	�/x�/��/��/?�/��/a�/��/��/*�/f�/�/�/?�/�/G$0�$0;.0�.0�50%7090�:0';0;<0�<0A>0�L0HN0�N0+O0@O0Q0'Z0R]0�]0�^0/e0mf0g0&g0Zh0�i0@l0bx0{0�{0�{0S|0�}0�0��0h�0Ѕ0j�0LJ0��0�04�0��0(�0N�0e�0+�0%�0m�0|�0��0��0