Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00125_00000_shuffled.ds.index24 linesDownload Raw Back to root
1�	Y���M*t/�23_3�4�:~;�@RB^D�DvF�؛o�Ɲ���d�f�ηD�%����1�|�y�V���}���1���_�������,���.�$)0)2+�+�,�.�.�1j38DHZI1Q@^�b�f�h�j\k:m7p/v�v�yP���c��R���֊��ےz�ϖ��~�\���Y���U���!�R��e���x�p�̷����;�h�����z�G���Y�f�O����U�v�������������d����+�]�l~�MB�O:!"j"�"#�%�($*,,�01w4�5�:�;A=�=`?�?;A#BxD�H�I�J�J�K�TU�Y�YZZ�Z7[�[�^?`Xc�f g�i�i�j�k�lpqr�u#y|y�yGz|a��x�������H������!�����ˍ��ǐ<���������3���p�����n����'��e�B�E����������J�v�������{���^���P�$���O����	�2��X
�
�
:�����E"�"�#=$�$e%t&'�';(S*�*6�7
8V8�9�9�:�;
<#=]=hgh�ijOjNk`o�{܁X�|�‘���I������,��ɣ����ϯ�/����c�¼E�2R�RS�V�VX�_za�h6i�uxSyJz�{4|�}�p�;�t�V��*�K�	���ס���|���Ҭ�s�F���.�ľ������������v�;�������;�������:�|�����u���I�������;��3�N� � O!�)�)o*�-9/v35d6�69�9;:;@#AiEF�G�H�I�J�J2NKO�OP�TUT\+c�f�g�i�i1l�lnp�q|x7��F���A�����}�t�������������������d��Q�y������s���R�d�4�-�(xt�P�%�%�&�')�)�)�)t,�.
<@�D1M�N�O;e5f�g<k.r�rps�|����R��R	�`y� �#�#�2[bd�d0q�tN~���������݃!�
�k���D�v�����$�ښƝ�V�����'���˩Ūѫ)�<��d�����������������P�|�������6���������;�\�����j��������	[	�	9	�	�	^!	Q#	u&	�&	�&	�'	�'	-(	S6	�6	a7	�8	:	u:	;	�@	�D	�E	�G	�G	2H	�R	xT	�U	aV	5W	�[	�b	tf	�f	‚	G�	܆	[�	4�	�	Ӎ	z�	J�	B�	%�	l�	ϓ	
�	e�	r�	��	�	Y�	 �	Ƅ����w����k��}���������О���{��4�W��Q���Q����������]����H�����A��������������

�

�




7
�
0
W
a`
d
�d
Be
�e
�x
z
�z
H{
�}
�
�
0�
@�
��
-�
v�
��
��
�
�y�z�{�{%~������]�F��ڇ�&�{�����Г��������t���Ģ���\X�Y�Z�_yfgbj�pEr+u�u�|W}�}������	�g�`�����ȧըҩv������6��߿?�y�������)�k�v�\�����:�����l���i�6�G����J������A�]V�8
����%gF \!�-�.�/"3RVWQX�XY�[%\`;`�c�e�g�k�q*t�x�y^z�z�~�I��D����)�����۪9�|��'�����:�����������,�����������@�#�Y��k��#2$v$'p'�6�8h9�9`>�>n@�ABc`B��l�9�O���ͧ��j�{��L�b�.�&����B���X���������8�p�f�J�����.���c����Vl)�)�+�1�c�j>n�u�x�|t~������ɊV�����[���D�:����u��\���������!�?���}���[�����R������������_���������0�[�}�H��[&J]^��z������ 1*�+�+=-�/�4V6�6L8�89:=�=>�>�@9D�F�HIDMgN[O<P�P!R�S�TZ�`aIa�a(b�c�f�g:jm�nko�qdr��7�g�����"�a�5��������u�������R���o�����	j
�
!�����7�r�( �"�#�$)+ .3�<+AOB�BCSESG�H[}[�['\�\y]�_)a]p9sOs*u�u�z\{8~�~�-���������͎i�������\��,���c�'���������\���h��-�|���8�*��F�/�����������J���I�
��}�&�+�-a.}.�1o277{;�>@�@:D�D�F�R�S�TMU�U�Z�Z�]'^�^�l�p�q�t8w�x�x�����2���[�u�� �ՙ5����*�Ʈ.�p�����5��Ͻ�G����!�������V�����5���x�9�����������������������D���3�>���a�p%Z�Z�	��]v���x8	9j9�;<�=>�?�?�@>D�E�]kl=lNu?}t}E~����͓����ח���H��B�)���=����M���%���ʽ��	�r���8���8��S������0�%����/(�(�(�*�./�/�26�8fE�E�K�KMLNO�O�OjP�Q�T�WSdfoh�h�i3k�k�l"mXmcn2p�pKr�r�u�w`x�xDy�yg|3��{�/�ˈ�&��ϐ+���ג��� �z��&��1�՚?�؝���Ѫ"�.j1��ߩ���G�,�����A��^��Q�ӹ4�����X��������:����\���d���������e�~�����������L~�	��.����H�)�0�7�<�=X?�GI�I�I�PhQ�S�U�U9Wl`�a�b����[������{����R��������(�.��������I��]�������M����������1��������d�^�L�������N���|�&�910_�
��l�)�*�+�-~8�9�9�:�:8;�;�=9>�>�>A�C�GMH�L�L�NR&RS^S5T�T(U�U�V����������-���(�������?�j�11�x�����7���4���p�{�ְx�U�ʳ�������J������������q�12J�@�8��M�~����26�7�=�>G�J�Nՙ`�b�������C�l�٤q���>�����a�S���g�е��ȹ����μ�����������|�7���s�M������������n�B�� � �   S � � � � � �  � h w �8 )9  ; �; pB 9C �D �D �c d �f lg bj Fl \n vn �n u u �| � I� ɀ �  �� �� P� �� � �� t� � �� �� �� � �� �� v� ۠ � _� Ǧ � �� � <� �� �� v� �� /� �� j� `� �� W� �� �� �� W� A� B� 	� Y� �� K� (� �� W� �� �� �� �� 4� �� �� �� <� �� K13!!!!�!�"!.'!\'!�'!�*!4,!!3!h4!�4!5!�5!q6!�9!F!�N!Eb!�c!�d!ue!Uk!�k!\p!�x!x�!�!{�!��!�!/�!N�!��!��!=�!��!(�!X�!��!��!��!��!��!.�!˰!�!P�!k�!u�!T�!��!��!��!{�!s�!��!X�!D�!��!I�!��!��!�!��!�!��!t�!w�!q�!��!�!��!p�!�""}""�"S"p"�"8 "�!"("Y)"�*"g,"�-"�{#�{#�{#_~#?#O�##�#@�#7�#��#��#��#�#>�#��#��#P�#c�#��#��#�#��#��#��#�#��#r$m$$�$p$�	$�14$�
$�$�$w$>$�$$S$�$�$A$�$$`!$�!$�!$�!$"$�"$�$$�%$T'$%($�($$)$�/$�1$}2$u;${<$=$�=$�@$D$�D$E$rI$BK$(L$VM$�M$�Q$QR$Z$fZ$�[$+\$m\$�\$i^$�_$�_$Fa$�d$We$�f$	h$�i$_j$�m$Wo$`p$�s$�x$�{$�|$}$�$ـ$O�$��$ׇ$��$�$��$�$�$��$Y�$��$��$��$<�$��$��$B�$��$��$M�$��$��$<�$��$f�$��$X�$h�$�$��$�$��$��$'�$��$��$�$W�$3�$��$��$~�$I�$��$��$�$�$:�$��$&�$'�$=%>=%�D%�D%�G%kH%�J%�K%9N%WN%|P%kS%�T%U%V%LV%�Z%�]%T�%��%��%�%�%�%e�%ڜ%��%�%N�%ԣ%a�%��%��%O�%��%��%��%�%޼%>�%��%`�%��%��%�%��%0�%r&�	&&�&�&�&�&�!&O"&?$& %&�%&a&&�&&Z'&�(&T*&�*&3+&f.&/2&}6&�Q&[g&�h&�h&�i&yj&�j&uk&Eo&%q&�q&Vs&�t&�t&v&Mw&�w&qx&3|&}&�}&~&�&�&�&h�&�&r�&��&܆&�&��&/�&�&%�&��&��&��&ϟ&n�&7�&;�&]�&j�&��&�&~�&ֶ&�&�&u�&�&F�&�&N�&$�&L�&z�&��&��&��&��&�&�&�&b�&�&��&a�&6�&��&��&p�&��&/�&3�&?�&�&�&�&-'N'�'�'�
'�''<'m'F'n'5'�'� '.$'%'('x5'6'6'x6'�6']:'�:'&<'�<'�?'�@'�A'XJ'�J'N'�r'։'�'��'0�')�'��'.�'Ѧ'��'��'�'	�'K�'�'��'��'׮'��'!�'p�'��'ֵ'�'ո'��'��'x�'��'��'��'��'��'��'��'�
(h(�(�((�((�%(�&(#3(06(�6(�6([8(l:(�:(�?(wF(%G(�G(7M(@O(�R(xT(g(=g(�g(Wh(�h(ڂ(D�(��(�(��(B�(=�(Ր(&�(��(��(@�(�(�(��(�(\�(��(��(�(B�(ƹ(��(��(��(e�(��(��(Y�(]�(�(��(��(�(��(�)B))/)J )�#)F$)�%)�()A))�))k+)�+)�+)-)�-)2)�2)5)q@)zA)KI)�J)HL)bR)�R)�U)BV)RY)�Y)�Z)w[)�[)]^)(_)�`)n)Dn)�r)@�)�)z�)y�)ȿ)L�)��)v�)K�)4�)�)��)�)��)F�)��)>�)�)�)��)&�)&�)a�)�)Y*� *�&*('*#(*;(*�(*�(*�+*t.*�.*/*v/*y3*�6*�9*#:*�A*�D*AF*WG*I*�I*@J*-L*�P*�P*�Q*�Z*8\*�^*_*�c*�h*��*�*K�*�*��*��*_�*��*�*��*�*/�*N�*O�*��*e�*�*>�*h�*��*��*�*��*
�*8�*1�*_�*�*@�*+�*o�*��*��*��*
�*�*d�*��*��*�*K�*��*��*��*r�*$�*�*��*��*L�*��*�*:�*��*{+�+�	+E15+++2+�:+�:+�?+F+�K+�K+|L+�N+�P+=R+?S+�S+PT+tU+�U+W+�k+Tr+�v+/w+�w+Vz+�z+�+��+��+˴+��+P�+��+h�+��+Z�+q�+��+��+��+$�+��+�+M�+�+��+w�+��+�+��+y�+/�+��+��+d�+X�+�+��+��+��+m,�,f,�,3,�,�,,�,�,�,�,U,',�,R,H,% ,$,�&,�',2,��,C�,�,��,N�,]�,]�,��,ʤ,E�,"�,Ǵ,9�,��,z�,D�,�,�,C�,��,>�,v�,��,��,��,�,��,��,{�,k�,��,z�,�-�-�-�	-Y16-B-�-�-G-]- -K!-%-�/--6-�C-�M-kN-N-?P-�V-�X-�Y-[-17]-Q]-�]-ha-~a-�b-Xc-�c-Ke-�e-p-q-�x-z-�{-�~-A-i-�-�-�-D�-”-/�-B�-�-��-�-��-�-
�-�-��-h�-��-k�-��-e�-��-0�-��-"�-F�-�.~.�).$*.V*.&t.I|.||.k}.��.Ӝ.j�.E�.�.]�.B�.��.z�.=�.�.h�.��.�.��.��.�.��.��.>�.U�.غ.]�.Խ.��.�.��.�/�/�	/<18/�19/
/{/�/�/./N/�/�/�/�/�/E!/.%/j*/�,/mM/�M/�N/�P/�Q/aS/�S/6Y/Z/�[/�c/Ud/n/st/u/mz/?�/Ѐ/A�/�/*�/$�/��/.�/˛/t�/�/!�/��/�/��/�/��/��/��/��/ظ/E�/�/f�/��/۾/5�/i�/��/��/A�/X�/��/c�/��/��/*�/p�/*�/��/��/2�/P�/��/��/>�/b�/�/��/c�/��/7�/��/��/P�/��/<0L090�0$	0w200�0s
00�0�0!080�0�00�0�0�0�.0�/0�/050�5090j:0_;0F0�F0G0�I0JK0|L0�N0�c0�d0�f0�o0Ap0eq0Gr0�r0/t0Gu0�u0Pv0�}0i0�0ـ0}�0	�0��0��0��0��0=�0U�0��1��1҄1��1�1e�1<�1t�1ƌ1��1I�1�1M�1^�1��1k�1G�1��1�1y�19�1��1^�1w�1�1��1M�1�1��1��1B�1��1��1��1��1��1��1��1h22�212�2l2_2121
2�
2q22m2�2�2�22\2)282z2@2Q2�242�2i 2x*2�*2�.2�/202�32H=2�=222>2L>2�@2�D2�E2PJ2�J2wK2�P2�R2�U2�V2�V2�W2�Y29Z2�Z2K[2�[2�[2H\2^2�^2a2aa2�b2@d2�q2}x2~y2{2��2s�2��2j�2}�2܌2��2Í2��2ה2�2O�2΢25�2D�2�2�2�33�3&3w3�!3"3�$3u%3�&3o)3�)3�23�33�63u:3
;3�;3<3�E3'G3FH3KM3�O3M[3�[3�\3�_3�a3h3l3�l3n3o3�o3�q3�s3��3�32�3��3��3�3�3Q�3��3-�3@�3Ͻ3��3��3j�3#�3`�3��3�3�3��3%�3��3��36�3��3��3-�3��3�3H�3t�3�444�4_4&4�4t4�234b4(4�4�4�4�4:4�4y4�4"4=#4�#4�-43/4�54�84?94�94�;4�;4Y<4h>4�>424C4cC4�C4�F4�G4�J4�K4uL4�b4Cc4o4�w4<x4>z45�4��43�4�4Q�4��4�4K�4��4?�4��4ؔ4�4��4��4S�4٫4��4=�4޵4s�4ѹ4��4��4��4��4��4��4|�4��4��4��4K�4��4�4M�4��4�4y�4n�4�4v�4S�4?�4�5U5�5�5�5�5�5�5'5(5�55)5�5�$5%5%5�%5h*5�+5,,5S,5�-5}.5�.5�15