Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00044_00000_shuffled.ds.index88 linesDownload Raw Back to root
1����2 ;��
��in�)z;�;:? B�CkT�U�U�^�_`-`t`?cfXh�p�p�����p�������`���Ϯ��V��O�����H���������� ���'�B�S�^����2�f����������W�T����������������������i���E���L��H8�9�=�>�?�B:D�D�DeE�ExF�IKIM�Q�S*T`�a�f�iozq�r�s�u{wxz�z�z�����0���e�,����w���4���2��X�n���x���v������T�|��8�>����)%v%'�(�+n,~?�?@�@�CD9F�G�IL|WX�j*r�rst�t�u�uz�| }0��D�����!�2�������Ơ��ݦ����S�a�����������1����-���q�������`���4�]�	�	')�6 \$�$&.7.//�/�/�2�2^5o5v:�:f?�?�J*K4L-OS�VrbceOeTk�k>m�n�o5q�xTy{ρ��߅����"�Ō��/���+�"��L�������������g�T���'�A��������.���������1�7�_�<���`��;�,�	P3��%�'	(�.�0�7Y89;l;X>�B4CMS_T�UWMYLZ[L]�]�^@f�lup�r=y6|�����*�f����5������T���y�G�؟۠y�������ή��(����*�����m�?�%�����m�F�����U�"�a�������������6���=����X�5���6�9���W	�		�c�
��V � o(-*�,a495�9u:=�FCG�G�G�HJL�V�V8W�WX<X	Y3Y�Z[^�^�_�`ib�b�h�jK|����+�X�:�j�����X���ԞP�n���6����ܬ����#���ֺl��y�������������������V���a��/����AD�	�	���Z:�!5"?E F�F�FuH=I�IJL8M�M�M%N�������W���p�t��u�;���B�B��?������������
	A	`	�	�	�	m	e	�		c	7"	�"	�#	�$	G0	�2	"8	=:	SI	EJ		L	P	2R	)\	\	�\	u]	�]	1_	�_	�_	�a	�b	#d	Cv	�v	3z	M{	�{	�{	s|	�|	p~	�~	S�	Պ	�	��	��	f�	��	�	G�	ŕ	U�	җ	�	��	��	1�	;�	��	\�	"�	u7�8�&9�&10�'11'.12�.13G014�F15H16�H17�H18rL19.S20+T21CT22mU23�U24IV25X26�Z27[[28a29Qc30Zd31�f32�g33�l34��35��36�37 �38ѕ39��400�41�42[�43�44��45��46D�47��48b�4950�51��52-�53��54q�55�56z�57��58
�59v�60��61��62v�63i�64��65=�665�67��68��69��70��71m�72T�737�74y�75�����!�"�%z&�'�(�)S+�2�4�9-:Z:�;�;<�@`A�A�B_C�C�R�ScUVKYS\gg�g�h�т��������W���i�k���������7���}���	�%����A�3�������:����c���2�B����O�t���h���j����(6�6�7C8<BF�GCI�I�IQJ/K@L�N-PQP�P!Q�S{T�U�V�Vhf�gBipPp�q�r~v�}�}��t�ˑs���ߓf��4�<�-�	���n�P������O�b������+�r�!���������J�(�{����D
�
`76
�77
U
�


b
�

�

p
�#
m&
�&
�)
X+
�0
�1
�1
K4
q4
q6
�7
�8
�9
:
W:
�>
A@
�B
I
�I
�J
$S
�T
V
�X
�Z
�Z
[
$\
�]
p
9p
�p
'q
u
�~
��
Ɠ
��
ؘ
��
�
ݝ
Z�
W�
��

�
v�
��
��
��
 �
��
��
.�
N�
(�
�
`�
+�
�
��
��
r�
5�
u�
��
��
&�
��
�
J�
k�
��
�
�p)X�
�Rg�m�9#W$%%T%w%E&`.�7�9�;q>�?�@�X!\�\e_3`ncsl�l�p�z0|n}ܗv�g���9���&���	�;�e���G�2���2�P����(�0���D�������������Y�	�	�j
K� I��+�/�1�1;2�2�2�3�5���j����?���e�_�����3�5�\���l�����j�U�i���p����t��78+���g�����na��+"�)@*�+]@"H�HlICUTU�UVWT]:_�_�`wasde7f�fsh�h�k�lpm6ncn�n�n��B���l�����߰b�u��������|�M8c<r� "s%�&�'o(�)8*�*�/0�1)5�5�67�POQ�QR�R�UYtY�Y>[[\{\;]m_`�`]b�b�cf�g�h�h-i�ial>mCr�tL}���8�/�d�b�����}�����e���6�U���[�f����x��o���%�~�H�ѵ��l�����`���9�m���P�Z�������������B�79�6�`�W���������1�|l�805
�
�b�q"�"�5�5�6?7�78f8�8gF�I1K�L�PdQsSZwZ�Z�[�[�^R�)����w�v���êY���3�ղ�ҳ/�ۺ�.�U����L�������P�C�����������U���P�����j��������
�)���t��7�7�
����K�ib$�*Q+�,�01�1�1&4;5�5�5�7�<�=SCkE�IJ�JL�M4N�O�PsQ)YBY�[fabdRd9e�pdr�t�u�v~w�x,{Z�&���ˋڋύ���������x�+��������������|�.�a���[�º��=����v�7��P��=�/���5����������p��������y���V������"�X�w�*��J�I�!%3%�%�(-�.z1a23�3�4>5�6H8;9�?�FbG^�^_7`�`�`�a$b}f�h�p9u�utx�y�|S}��@�P�w���V����!���ɢ����ʥc�W���_�\���������������"�����b	�*�+,�/7
9�<{G�P�P�QX=X�X\\�\:^�t�t'|s|�|M})����ʃ����~�����_�����c��D�{�ߢ�����Z�jnQp(s�u~y�y]{~����z��3����ї��<���2�c�������5�O������h���R����v��� �������9�k�O�5���1�����]�	g�f��6t��y&'�)�)�_�_t`�`\e�e@fjjk�km~v�z�z�|~*�4���Y���t�����U�x����P�V����p��a�Cl����A!�".$�O3P{R�R�U�V�W�XjY`fa�a�a�eCf�h�j�m�n�r�~���P������̈́l�%�^����(�v�؍D�#�}�C����t�S�����M��>�����+�����L�6���D�=���g����t�x��������F�:����qf�����E���1{� �57�U�VqW�]$f>gKh�i�n}q�r�r�sgt�uvdw#yJzT�"���o�����ݒ��`���Ö_���T�������;������\��"�������[���+�`�����������2�^	�	�	�81�Y�e�gvm�mn+p^rw�w�����	�82�UG ��,�����$�%�&2'g'�'Q\�^Oehf�pҏ��~�.���
�H�����-����ץ��է_�-��=����W�-���x���3���2���b�'�����������F�F����c����������b�b�w���#��')�,VD�S�TV�YZY^�^0_�b�b�df�f[g�g�g�hmi
k�s�u�v$w�j���Ҕ��˕���c�L�������3�83#�!�r � d+�+�+]-�-�.�/L2 5�5f6!7�I3J�J:K�K~L�L"N�O-R�X�b�g�hyv�x�zt{ЈM�˚6�x���ףj���>�G���a�������K�)���A�=�������/���
���G���)����Z�j�}�����2�����i���M�5����������7^�Uc�����[ �"L$n%
&3,3�3�5�=�?�@�A!R�T�h�jbl	mn-oBstPt�xfz�{|N����h�^�{�̐�q��6��������V����I�"�� j O �  O" # �$ G' �' Y+ �/ �1 5 T6 )7 X7 y9 �9 }= �> gA �A #C 6D E �E lG MH �Q S jS sT �Y �Y �Z a <b �d �k �� �� �� �� �� �� �� v� �� �� M� �� O� "� � � �� !�!�!�!!�!V!u!�
!�
!W!�!�!�!!!�*!�,!��!/�!E�!��!��!��!*�!)�!�!g�!��!o�!?�!r�!c�!4�!."�"R	"Y"�"?"k"j"�"�"� "M!"!"""_$"�%"�("�)"�*"�+"@,"V/"E3"A:"�;"�<"K@"�C"5E"$F"�F"�L"�M"}N"@O"k�"��"�"�"��"2�"��"��"&�"�"��"t�"��"��"��"��"��"��"��"�"��"n�"1#�##S#\#[#E#s<#�=#�>#@#zA#�D#xH#K#L#HM#kM#FO#�O#�P#�e#�f#�l#fm#�o#�o#�r#y#>y#�#!�#*�#�#M�#�#��#��#$�#[�#ō#9�#l�#��#С#��#�#5�#�#�#Ү#%�#c�#*�#�#x�#��#<�#��#r�#��#��#��#<�#W�#��#$0$Z$�$�$D$� $� $=!$�#$�#$�%$|3$B5$�7$"8${9$PK$�Y$�Z$�[$a$�d$e$��$�$��$;�$��$��$��$:�$	�$B�$��$��$&�$��$y�$��$��$�$��$h�$��$4�$��$�$��$��$��$Z�$��$%5%H%%�%e%�%%%N%�%U%F%�%"%t%D%�%]%,%�"%�#%�3%*N%�S%
T%SU%�Z%�[%]%�^%�^%aa%�b%�b%Xc%�d%j%�j%2n%Yo%Us%�t%��%��%��%ٔ%�%��%�%u�%��%��%��%��%��%Ҭ%P�%��%ʶ%��%�%��%�%��%��%�%;�%?�%��%6�%��%��%��%��%^�%Y&�&e#&>$&G%&�(&!)&`0&yG&|H&�I&cK&WN&/O&UP&�P&�Q&3R&�T&|U&0V&�W&�X&�Y&�d&�d&�f&�h&�h&:j&�k&Mm&�r&�s&ft&?u&4y&�&'�&��&4'�6'e7'�7'�8'�8'G:'�>'+@'�@'�@'D'�F'4H'2J'�J'KL'VQ'W'_'�_'�a'��'c�'�'�'��'�'U�'��'��'��'é'K�'ܫ'%�'۸'�''�'��']�'��'��'�'��'�'�'��'��'��'o�'K�'��'��'
�'��'�'��'��'�'��'a�'��' �'��'�(w(�(�((�(Y(�(�((	(B(`B(�B(�C(E(WE(��(�(/�(�(��(̎(��(֐(W�(��(j�(R�(!�(��(�(6�(=�(�(��(��(~�('�(`�(��(]�(��(��(�(�(84�(�(P�(��(��(��(]�(��(4�(��(s�(�(��(��(�(��(��(Z�(B�(��(��(��(��(��(��(?�(f�(��(��(��(��(}�(-�(��(9)q)�)M)�85)b)�
)�)�))D)>)�)E))�)�))�#)�#)�$)�$)e%)&)M&)�))?*)_*)O+)�,)=-)�.)//)�/)V0)�3)G6)f:)�:)�:)8<)�>)C)�H)�H)�Y)Z)�o)�p)��)'�)��)o�)&�)(�)&*Q*5*�*7*>*X*�*�*�!*�"*9$*�$*�%*;&*)/*860*x6*�6*K7*�9*D;*�;*�;*^=*�>*@*GA*~E*�F*I*�[*�\*�]*`c*j*�k*dl*m*�n*�p*�u*�u*�v*�x*{*|*�*@�*��*�*��*b�*ވ*��*ċ*ً*�*-�*�*ď*��*�*+�*��*�*w�*��*e�*#�*��*۲*L�*��*�*��*��*8�*�*K�*c�*��*��*��*O�*��*�*m�*��*�*��*��*��*��*^�*��*��*��*?+n+�++`+�+d+�+&+r&+�,+0+D2+�2+(3+�4+�6+�8+qE+�E+BH+�I+�J+CK+�K+�L+7Q+�X+EZ+�^+�_+�a+Ob+f+4i+��+ۃ+o�+��+��+:�+��+?�+�+b�+!�+��+��+��+B�+Z,�,d	,�	,�,f%,�&,�&,W/,�0,Y1,�2,�4,7,�9,#<,�@,fA,�C,5D,�E,�E,F,9G,HH,�I,"J,yK,LL,�N,�O,�f,J>.~B.D.sE.*F.�F.�F.�G.HH.RJ.�K.�P.	R.qR.�R.[S.^.�^.�_.Pb.�g.,h.i.�k.�q."w.�z.�z.�{.�}.4~.��.�.#�.F�.�.��.3�.��.��.��.��.ۮ.��.e�.y�.*�.�.u�.��.��.J�.8�.l�.��.��.��.��.~�.��.��.8�.^�.1�.��.f�.�.��.��.��.&�.j�.�.>�.��.87�.��.
�.{�.��.}/h/�/�/�/�/�/r//3/�//S/�/1/�//{/�/f/�/p/� /./�1/�1/2//4/~5/�8/FA/�B/��/��/��/w�/��/t�/�/��/��/v�/��/@�/m�/��/��/��/��/1�/��/ �/��/k�/�/��/1�/
�/�/*�/o�/��/��/!�/��/��/0,0o0 0F0q00�0�0v0�	0�0�0I0�0�0!0�$0'&0�&0)0�30L40�50�60�60<0V=0>0�>0M@0A0�Q0XR0k0�k0@l0�l0�l0�s0u0�u0�u0�|0^}0��0׌0 �02�0p�0��0R�0��0Ę0��0�0��0�0*�0�0��0�0A�0u�0��0��0��0G�0��0A�0��0'�0B�05�0=�0X�0l�0��0��0��0��0~�0��0��0��0��0\�0�0)�0�0��0u�0j�0m�0�1�1|11h	1e881�1�1Z1~1�1�1�1|1�11�1�1x$1%1�&1'1b'1�)1*1�+1�41x91i<1�<1�@1�W1�Y1e1$e1g1