Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00017_00000_shuffled.ds.index71 linesDownload Raw Back to root
1�
�l. ��n E!�!�!=1�2�3f64?^?�?�AHB�CUE�EMF�G{I�I�J+L�NaO<P S6S�U�VF\]�^`Tovp<q�q0rvev{y{k|�|S��M��������a���f���۬��}�����v����	����C���-��������F�n���7�O���j���e���i�U�����k�-a��zR$�*,�,�,�-�.�083�39�9':�:~BWC)D�D=HGJdM2N�OGV!iGm�m*oRq�q�r�t�uvcv�w�xyiy�{H�Œ��Γ�[�V�–U�����%�Q���V�v�?�����������F��;�T���m�}������\�C���?�h��T�S0j�m�mn�o	pxCxuy�z{�{U|]}ڕ
���ݟZ����������e����T�1�o�l��������������8,�/�;�<=*>�@�KfL�L�M�P6TuV�WX%X�X%ZsZ
^�^ab5c�d�eSf�h�jnk�m=nAp(q�vAw_wx�{'|����\�m�����Ϣ?�����W�����	��(m��`d>5@�B�O R�SU�V�VW<X�X^Z�Z�]�^b�b�c?eg1g7i�j1klnl1mn�n�nMp�p�q�t~uqw�wxbx�~���j�*�K�Ƈ���`��G�*�"�S���������
���ѭ����]���O�h����������������8�*��������Z�������(���a~��2�3�L�a��
Y]<m���OA!
IYI�IYK�K�L\NxO�P0R�S�S�T�XFZyZ�]�y.z;{g{+| ~=����8�ފ��M��c�ߧި����������K�Ȯѳ9����ȵ��r�N���]�N��k�����o�	����!�a�������\��_���x���d�������-��d��Z�#f5�7�:>�>�@AxB@D~I�J-U�U]W�W�Y�\�_`(b�j�l7n�r�s�s�tVwp�����_�7�Ǐ"�������O����������&���N�.����\������d� �1���D�^��������)	�	��eEi���	���!�1|2�2�58'9�:�A�BFC�D�D�E%HHS\he��$���1����7�������������I�$�o�}�����=�5�q�������8�@���L�~�w�+���E�����������b��� ��.{�GL�4586&��cr%�%�%�&9(j*�*�.�?�t�tnv}vDxz7zq{�{*|Q���
�ŕ�c�Ƞ����L�������d����B������	T		�		7	o
	�	l	$	�$	G%	M&	�9	8J	VJ	-L	pM	�Q	S	�T	�{	]~	�~	�	7�	�	p�	��	��	O�	�	̙	�	�	�	��	�	~�	ު	(�	��	z�	��	��	4�	u�	�	$�	B�	(�	s�	�	a�	R�	�	��	��	#�	U�	��	��	��	m�	2�	Q9�Q10�R11*S12T13-T14rT15�T16$V17�V18�V19mW20)c21{�22��23!�24��25-�26�27w�28��29�30=�31��32G�33|�34��35X�36�37��38��39��40��41k�42�43,�44��45��46?�47a�48��49&�5051X52��7��r&�(�(Y.�0�1�39�:?�?�@�B�BC�C'G'K�P/T�U)V�V_Zp[p^~_�a.bie{g�g�jZkelXm+p�u`w x+x�yE}�}���0�ΓG���L����@���ڪ0���,��A�����V�!����������������������@��_����{��+ � �#�&�(1�2�2t3�3�HTPKQ�Q8R�T�V�W�W�Z5[o[�]�]cf�jFlmtv\vx�x�{�{��i���x�N�W���������������U�����<�����<a
�c
d
od
hf
�f
�f
rg
�k
�m
�m
�r
�u
�v
�w
�x
�x
Wy
�}
7~
�
�
��
֊
d�
T�
'�
l�
h�
Ғ
F�
��
��
×
v�
У
��
��
�
��
�
A�
��
�
;�
��
��
��
��
�
��
�
��
	�
z�
��
<�
��
M�
��
n�
��
�
�
��
��
�>�_���09�V=XsX�\"]�]�]]a�k<q�|o~���������k���r���V���_���I�Ә�C�ƞ�)�A��n�)�k�w��������������$���j������������^������>�^�}�X���:�����[�P�	a��"�%�&�''(�()*:*U,�2�:fI�I�LNyOKPpT�TeUV�V�]O^�^`�csdNe�ehidjk
l�l�qd}.�:�<�s����}�i�>�n�����9�	��^�r�������Y����p���B�w�,�~���q���%�����4������p���[����$53�54$
�z�6D��m�Y%_X(�,�,.24�579�9�;�<?�?�?hA�A����e��ݹ/�����Z��������Fr	55�56�
�
]P!�!"�"�#<$Q(T)o.�.71�8m:;R;�;b=�>6?B@}E�N�Q�Q�SWe[�\�]u^�_�_b`�bcrfgg�h�jkKk�lOmw��0�ޒL�#�(������ĩg���а��M�V����T���z�,�k���M����������?����������a}��	_
w
=�"�-v{�}|%�%$&�+�./2/�/0}1�6�;X<�?@C1C�D�D�F�IJ�L�OoRUXY�Y_[�[%\�\�]�^h_�~_�߇d������D�ӑt�����������i�ګc���n��ѵ����w�,�57�[���O�������(���G�����w�����7�s������������;�!�#�$+%�./q/�12�:�;u=s>�?�@3C�CuE?LAMpN;O�O^n9pZqYv�v5��;�~����2�����Y���O���������d�����������A�	�,���s����;�����^�����<��{��]K������=x�
Q��UV�V�V8W�[�\�]$_-dHh�h�j#k�lbn}�p�ʚ�F�+�������M�������s��%����7�q���+	g	�	� `�o-�.0�3@KBlB"C7E�EM�OQU$V�V�W'b�b5cmc�d�fvgph�j�ompT�58����4��l�����̟0�w�	���e���Ȧ[�����E�ô~���;�t���0�������6��a�n���;�R�)��Z592b�w
�
Ff'P+44"5*6f7H=�L�M\NP�UaW%X�Z�Z�\�] ^�^:_va�bJc^c�c�eSv�ySz�z�z�z;���-������7�ʫ��Ь����ۺU�6���C���?���������D���H����h���4�v����h�6���������7���0� �!�#O%-0r0�5I8f:�:;�;�E�FLG�I~K�LaRFT�TaW�W2Z�Z[>[y�B����;����6����r��V�v�ϓ��̘s�*����I������z���ڵV�/�5�F�w��������w�������X�����?���"��������8�>�2l�^(Am�� �"]&+.j/F0|0l3R57<N?
K=K�K$M!NcQ�W�Z&[�]�]�'�����~��`�G��60�%��v���ڰn�<�dz5���ƶI�ݷS����61�����$�����r������ �a�m������G��������D~-O 3`HuK;NUR�S�VY�ZM\�]'^w_;a�p�u�u�u�z{�{$|j|�~%!�`����p���Ï�}�W�b�ؒM������ИěT��s�,����ۦS�����T��;�l���J���������ͺg�l�R���$���&�����k�U���;�����:���u�����I���S�����4��������K+�	([�
�Nr�����czd�gli�i�k�p�q��`���R�"��ˏU�w�‘J�u�ϓ���֖a���L���E������{�t�F�[�����t�����k�����������5�]�����Y�O���U�����L�?�v��������7�����������`������i62S�`�)�.E0�0|2�2B4�4#5[6|7�7�8�9h:u;�<��8��ߒ!�9�����t���ě�j�:���A�W���÷��ɺ��Ծ����������Y������NWR�R�RTHb�cPd(n=o�s=t�u�yz~|��r��̂1�d�ȇ��V�y�Y�V�B��ئ���ݫd��h���]��_�I�����L���1�f��������&����t��������������������r�I Z �h �k gm Cp 63r �u �u �v Pw {w �x �{ } l} Z~ *� �� e� ه i� �� � m� �� �� �� �� �� �� � l� � � �� g� '� a� ?� �� T� .� G� k� 5� Z� �� *� �� �� ,� �� �� $� �� 0� �!;	!!q!{
!�
!�!�!�!!�!`!P!* !�!!	J!`J!�J!|M!P!W!\[!zc!�e!sf!�i!pj!�j!�l!5m!�p!�q!�q!�!e�!��!'�!��!5�!�!:�!��!�!��!��!��!=�!f�!�!��!��!ğ!ޟ!_�!ܠ!<�!Q�!$�!O�!K�!۵!�!Y�!��!ӹ!��!U�!��!��!S�!��!^�!a�!�!c�!��!��!'�!@�!��!��!��!��!?�!c�!��!�!'�!�!i"�64"�"u"�"3";"�"�"j"�"�"n"�"� "�""z,"�,"a0"�0"�1"OI"EJ"�J"�J"�c"Ck"��"�"�"M�"�"�"<�"��"�"�"8�"¦"�"h�".�"DZ"0�"��"~�"�"h�"9�"غ"9�"n�"��"C�"��"��"�"M�"�"�"��"��"
�"��"��"O�"��"!�"��"]�"��"p�"��"��"�"�##�#L#�+#�.#�.#/#n0#9$Q$q$�$$e$w${$$� $.$$�$$J($�G$WI$K$�K$.L$�O$mP$�P$�Q$�R$�R$�[$�e$Yg$�g$,i$�i$k$�n$Vp$r$hs$U�$ԇ$��$��$!�$ѓ$�$F�$3�$ə$�$T�$z�$�$��$��$�$^�$��$Ѫ$c�$65�$��$9�$�$}�$ݻ$�$��$}�$��$j�$��$��$��$��$��$�$�$H�$��$r�$_�$�%#%�%�%�%6	%(%�%_%8%h%�%� %k"%E.%�.%/%r/%1%5&87&Q9&�9&�9&;&Q;&<&�<&A&�A&sB&�B&2D&�D&�F&fJ&�J&�M&uN&P&�P&�P&R&�R&][&�\&�\&�]&�_&]`&Xa&Gb&#d&�e&�g&�l&�l&*n&�n&�o&Qs&�{&��&F�&f�&��&��&F�&q�&�&��&�&כ&&�&ݧ&�&��&��&��&��&8�&��&!�&��&�&��&�&�&U�&q�&��&*�&*�&T�&��&��&�'W'�''('1	'�'E'1$'.%'�''�)'�,'X.'/'�/'I0'�0';='0@'N@'�G'�H'�I'VL'7R'�R'�T'V'�V'HW']W'�\'"r'{r's'�{'I}'�}'0~'�~'�'�'~�'��'�'��'M�'��'��'�'��'��'�'=�'ߣ'K�'�'"�'q�'��'��'}�'`�'	�'E�'D�'}�'��'��'�';�'w�'��'��'B�'��'��'��'��'��';�'<�'�'�'N�'3�'l�'��'�'�'��')�'��'��'�'?(�@(�A(zB(�H(%I(�I(�S(�g(kh(Gk(�l(�r(Ps(�s(9t(gw(:|(y}(,�(�(M�(��(^�(V�(2�(��(��(�(!�(Y�(o�(]�(	�(ѵ(ɹ(�(ĺ(P�(�(T�(z�(��(��(��(��(��(��(�(T�(�({�([�( �(��(��(us)�u)�u)L�)��)J�)ؑ)1�)��)��)@�)��)7�)�)��)��)�)Q�)��)8�)��)��)��)C�)��)�)��)��)q�)��)��)+�)b**�*M*�66*x*H*�*�*�*A*�*Q *� *c%*)*�-*v.*0*�0*j1*2*+3*�3*�3*5*�7*�<*~=*�=*�>*]B*�B*C*�E*cF*SH*�H*�I*�K*M*\Q*DS*�_*%g*h*jr*�s*Tu*qx*�|*~*�~*Ӂ*��*��*H�*��*W�**�*��*Q�*�*y�*�*‹*�*A�*ɒ*F�*	�*��*Ϙ*ݘ*-�*I�*��* �*��*��*j�*S�*��*9�*��*?�*,�*��*��*E�*��*��*P�*��*b�*��*h�*/�*K�*��*5�*��*-
+n
+�++8+�+7+�+1;+z>+�>+�>+�B+�C+tD+�E+ F+�I+eK+yL+�O+Q+�Q+�U+�[+6\+�^+�+7�+Ҍ+��+��+|�+��+�+�,�,,d,�, 	,�67,�,�,8,�,T,�,I,Y,Ç,��,d�,J�,��,��,Z�,T�,��,�,��,C�,	�,��,�,p�,�,V�,k�,�,��,[�,��,�,�,&�,��,��,l�,�,��,?�,��,��,k�,��,%�,d�,��,�-�--%-y-�--�- -� -�!-�"-#-.$-�&-)-�+-�.-�/-689-e;-�;-r<-�@-RA-C-�C-�E-�F-�L->M-�M-O-P-pP-Q-sQ-�Q-#R-]i-�i-0k-�m-z-pz-�{-�|-\}-�}-a~-U�-9�-��-ƭ-�-�-L�-�-r�-��-4�-�-x�-k�-��-��->�-!�-��-I�-��-��-�-��-	�-.�-�-Y�-z�-W.y69.R.�.W.�.�.�.`.�.�#.�%."'.�'.�0.5.8.;.�;.><.�B.rC.BI.*J.�J.�L.*M.<O.߇.m�.��.��.��.Q�.��.Z�.u�.70�.��.�.��.��.h�.��.:�.��.��.�/p/�/x//�/�71/�/�/�/�//�/�/