Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00050_00000_shuffled.ds.index101 linesDownload Raw Back to root
1wY�(�(�./�173�3�3�4�6�:_;�;�<7@}A~B!T�[`\�gial�{�!����%�ʎ�f�!���<������=�3����I�F�!�ܨ������7��?�B�x�����|������%2l�4��h�#�#�*0�89 s�s�u8z�}��� �Y����c�~�ڡ�� ��������;�������S�ֻ̼��;�j����������X�������6�����a���6�t�"��|����E��������������T����<�����2������\Sw��}�T-�1*�1I2|2�EVN�P�QMS�SOT�V`,a�aJb�b�h.iYj�lZmo�or�rv�v��G�������;�������������I���*�����t�������L����u�	���^��������Q3
g��9��D�f�"�#�$�%V)�*7*7�7�8�:�:�E�E�F=G�HkJ�J|KQ�RSW�Z�[m\�]l�q]r�r�tvAy�[�����Ō��̍��4����X�ٔG�"�2�Ɯ^�D���ͦ/�����l����������������&���,���)����	%	�	%	�	o"	�$	*	j+	�,	W.	k.	0/	t/	�/	�0	'4	94	y=	?	]?	�@	BA	5B	VB	dC	�Q	�Q	�R	S	S	�V	�V	�W	�Y	~\	i]	_	�_	]b		c	�e	�e	f	0f	~f	�f	�f	<h	�i	k	�l	@o	p	�s	��	@�	�	�	3�	z�	��	��	��	3�	�	�	a�	ע	ޣ	�	ʭ	Ԯ	��	��	��	��	E�	��	��	��	N�	x�	��	n�	��	��	�	l�	��	i�	�	L�	��	��	��	��	��	!�	9�	��	��	L�	��	��	�4Q5�6
7{8�9s!10.#11�%12�&13P'14�'15�G168K17�L18�S19�S20T21
V22�V23�W24Z25�Z26U[27H]28}i29�j30kk31z3233{34<35-�36��37�38n�39Æ40��41v�42J�43ޓ44͗45'�46�474�48g�49>�50b�51��52��53��54��55��56��57+�58�591�60��61{�62��63*�643�65��66Z�67��68��69��70A�71�72��73��74i�75��76��77'�78U�79��80&�81�82J�83
�84��85��86J�87|�`��)��	I88�
g�1r��?��&�*~+ ,<,,1�1893l3�3�4�4B5�6�7�;�<�<�=,A�A�A�C�G3H�H@J�K�Y�_�b�d�ds�s]t�t?vbx�{;|�},~�~����y�N�Y���7�ݏ�u�Y���ݜ��z�%�_�ȳ��w�����O���@�/�@�U�����������i�_��>�z���%����c�6\i� N7"2#�$%�%�'�(�)�*9.�.�/B0�3�5�5�=S>�L�P[b\�]�ij@~�~������@���ڄk�څ����o�w��������C�]�ͮw����������!�*���<���}�������������,

^
V
L
8
o
0

w!
'$
%
�'
0(
R.
�/
�4
R6
8
_9
�;
<
@<
�>
!?
wA
�A
�B
JM
�M
�T
�V
T[
�]
�]
^^
�^
5e
�l
�n
go
�o
�t
>u
Ev
�v
6z
�~

�
��
S�
Մ
��
!�
<�
K�
Ì
�
��
b�
›
)�
%�
y�
֞
�
��
Р
��
N�
ʥ
E�
��
/�
��
�
��
�
��
=�
d�
�
I�
��
L�
��
��
��
��
��
7�
��
J�
��
Y�
��
H�
e�
��
��
q�o	�90_��.
x
�]�z��E� � �!�!("�"�"�# %`%�%+�+�,2.�.�9=:x:�;�<�=?�@lA3I�IZSX�Y�Z	[�]D`Mcad�l-m�n�oV}�~91�	�#�9������ˍ����d���%�u���ź
���f����������
�l�l";#%�,A0�1M3�4N8�8�8�9�9:i:G=x=>�?BSDE�F�F�P.Q9S_T�Tqr�rotu�vOx�xJz�z�{|�|=~�~�������ՆЋq����.���Q�)�	����a� ���8�!�0�V�����Y���r������������}�������W��	�+@
y�*W+�+�,92===�=9>.?�B�C�EIP3R�R(Z[�\y]yaab�bfc�fahr�rhsNyz%z�z�|�~��a�����ȡ£����ާ���ΪU�Y���K�.�G��w���f�'���������������������s�K�����7�	���I����q���d�D��930(�
u
q�"�'(�(�)u*�,�0�4o>�>CI~M����œ������������f�
���������^�s��	���$E !�!/"�+�9�K]LYM�N(]_h_`K`|nK�<�o�`��ĊY�i�{������x�Ԭǰ��ٴR�&�����>�������W����� �>�2�D��������u���$���	�	@�!ky��K���; w � �"�$^9ܕۖ3�ښ٦̨C�u�h�(�4������������������J�t������S���������$��������M��������g������H�����1����|/
�v	������v�?!"Z"
,R,-�-�.�.J0�0<1�1a<�=8>�H1IiI5JuL�LuMxR/T�Tg]�][fziz*~�~~��]���ڔ���q�s������{�������x���Щ�1j278�?5@b@EhF�F@GpHIXJ�L�L�OhP�X4aga�aHeve�eqv�{�~�~����O������<���K�����������s�����+�=���Q���s�T�i�w�(��94ow
Ww%b�%�+> �#�'�-e.�.i1�3�536�6�9*:95G	H�H�IzOT�U�[dBee�eg?k[k3l�l�l�m�o�p`q�qsss
tbu�uX�����ׅۆ �͇7���C����ŧ?������'�ɬ��˴�/��d�����$�,�����t�����Pdh��/l0'1Z3�3|4�4�4'67GiG�\�]0_`+`�d�e�f�g�o�z�{|'�����5�R���ݕ!������l����ҫ������ѯ����W�m������[����(���X���0�-�I�����_��FEG�HGI�IbLM�O�P�Q�QWuW�X�\�\�^awaDc�cde<i�ilkYq�q;r�s�s������ՍV�:�ʐ���ڒ7����K�
�X�����8�����ץ̪�}���Q�ӱ8�����������O�������D�d�h�����!�����
�&�U���K�������E�;�|��������P�������?" �!4#�#|$v%u,�,B-�.10	3�34r8
9�9�;�>OuV�YZsZp+tv=x�{���G�F��p���c�ڜ������$�	�d�96����L�v���3�3� �����"�+�� L �  � � �  u" �# 3' �, ?: �; �> fL �L �M �R US �Y �Y -Z Fc �d 1j �j k kk *l m �m 8n o &p �r �s �s Rt 7w )x �x �{ �{ �~ ̄ �� $� ͉ 2� �� �� H� � l� � M� �� 4� �� �� �� �� � u� �� � �� �� 4� h� �� S� �� �� �� �� }� �� �� m!!l!�!�!�	!�!!�!^!� !t"!Z#!�#!�#!�$!m&!�(!�+!,!X.!�/!�;!=!U?!�@!*C!�D!nE!�E!�E!�F!�F!YS!�S!�T!W!7W!�W!X!�X!�Y!Z!?Z!f^!J_!�_!�b!d!8e!Uh!�j!97k!�m!Bo!q!s!�y!�|!�|!��!!�!y�!͐!-�!e�!Ƒ!�!�!"�! �!��!��!<�!��!N�!ħ!��!$�!\�!��!l�!��!o�!r�!�!q�!�!��!��!"�""E"�";"�"�""�"Z"�""�"F"N"�"�"� "$"�$"~%"�%"4&"�&"�)"b*"U,"�,"�."v1"�4"�6"7"a:"�;"�<"tC"�D"nI"PK"%M"X"vX"ԣ"�"�"��"��"��"S�"��".�"Q�"��"��"��"��">�"��"c�"��",�"��"�"��"D�"��"��"��"��"��"��"��"��"��"��"o�"��"��"y�"��"��"�#7#�##�##K#�##{#  #jU#�W#�X#i[#r#s#�t#�#�#/�#��#C�#��#x�#�#&�#*�#�#_�#��#g�#,�#B�#^�#��#�#�#Ȫ#��#4�#�#�#(�#��#1�#u�#��#��#��#e�#��#\$R1$2$*A$�H$oI$�I$O$DO$�O$�P$[�*�*�*;�*u�*��*��*��*6�*��*_�*��*t�*�*�*U�*��*�*�*��*ɭ*�*N�*��*ٴ*�*ٷ*��*��*A�*��*<�*��*	�*H�*E�*�*	�*��*A�*��*��*I�*��*��*��*��*%�*��*k�*c�*(�*��*4�*u�*��*8�*�*�+�+B+#+[+�+�+�+)98+�99+�+�+�++�+�+�+I#+�#+z&+'+5(+/)+2.+ /+�/+�2+�3+&4+c4+�4+	6+D<+=+>=+]=+h=+�P+�_+�c+�h+<j+In+o+oo+q+�q+�v+zz+�|+}+E}+v}+�+H�+��+E�+�+��+��+100�++�+p�+��+�+9�+��+��+6�+��+y�+
�+��+�+(�+O�+c�+W�+��+�+V�+��+��+�,�,,,W,�,y,�,,�,�,C!,x4,�6,L\,�\,�],/_,ub,�e,�f,Ů,�,J�,�,2�,��,�,��,y�,��,��,�,?�,��,��,��,��,U�,��,a�,>�,��,m�,��,a�,�,��,\�,��,�,��,��,C�,9�,�,��,=�,9�,��,�-�-�-�
-�-�-�-t-�--�-2c-�g-i-ui-j-�j-Ek-�l-lp-r-5�-��-��-G�-�-Ġ-¡-{�-9�-9�-ɫ-��-2�-@�-��-��-
�-��-P�-��-�-{�-��-��-R�-��-��-��-�-T�-}�-!�-��-��-|�-��-��-��-^�-B�-�-X.�.N.?.�.�.7.�&.U(.H*.9+.�+.�0.�:.�;.�?.�D.<E.�F.�G.H.qH.�H.�L.�M.!P.�P.�Q.$R.�U.V.YV.	Z.�[.�].�a.�c.3g.gg.�g.�i.�j.<m.r.O�.i�.��.��.�.�.�.α.F�.��.b�.��.��.��.��.��.��.�.��.��.*�.f�.��.��.��.%�.U�.��.��.T�.��.P�.��.�.��.l�.�.��.z�.��.��.�.W�.@�.j�.��.�.I�.;/$/�/�/�/�//	/</%/�/�G/�G/�H/,M/KN/O/�O/�Q/AT/�W/[/6[/\/�]/bb/�b/`d/�j/9m/�m/xn/�o/�q/Pu/w/Jx/�x/7y/zy/�{/|/�/D�/�/�/��/��/�/b�/�/1�/��/T�/z�/��/&�/��/(�/��/��/��/��/��/��/H�/��/z�/x�/��/�/��/��/��/w�/��/:�/\�/��/�/��/6�/�/i�/J0�0k0�	0�	0R0�0�0p
00�0J00d0f0�0x0N0�0�0�0�0�0W$0g%0�&0'0r,0�00�20W50�60�$3�(3�)3�.3�.3&23�23�33�43E63b834>3�T3101U3�U3W3W3�W3EX3T^3�_3_a3(c3Vc3�c3e3�e3Ww3�w3Ry3}}3�}3P�3i�3��3O�3f�3��3�4�4�4�4o4�4�4u4�4 4"4#4�$4�'4G)4�*4+4�+4!/424h34�3444J54�54�6484�<4>4�@4�A4?B4�B4\G4 H4�T4�U4�V4�Z4�[4�`4Ja4;g4-h4�h4�i4Ok4nk4�o4�t4'u4�x4-z4�z4��4?�4~�4H�4��4\�4�4&�4��4��4��4?�4Ŭ4*�4�4.�4պ4�4��4�4��4d�4h�4��4��4=�4��4`�4"�4��4��4��4`�4��4��4z�4��4"�4o�4>�4��4]5�5�5P5G595�55C 505Q25�45�W5�W5�_5!a5%f5(h5�i5�j50l5�n5p5np5�r5>x5�y5�z5�{5ގ5%�5�5�5t�5�5��5��5P�5��5S�5��5�5��5��5.�5��5��5ʵ5+�5Զ5��5 �5��5'�5d�5Z�5��5�5��5��5��5��5��5��5��5��5/�5��5��5��5S�5��5h�5�6�
6�6�6t6�6�6o6s6�6�*6,6�,6_-6�/6�06A36%76}7696c>6�>6�?6G6>H6I6�K6�L6�P6�Q6S60S6�S6b�6��6i�6��6|�6	�6@�6��6��6��6��6�6��6�6��6�6#�6�6��6��6��6��6z�6_�6��6z�6��6��6��6��6��6�6s�6�6{�6��6�7�7�7q7�
7C7�7�7�7C7�77E 7#7Y+7�+7�,7Y57�57w87N@7�@7�D7�E7>F7~F7�F7�I7�I7jJ7uW7:[7�d7ce7�f7g76i7j7l7V{7�|7��7r�7��7ط7��7h�7a�7-�7��7[�7��7J�7��7�7��7j�7��7�88{8�8M#8�%8s+8�+8�,8	08p08s68�78f8pf8Uh8 k8zl8Br8�r8qt8�u8��8v�8͋8̎8�8n�8�8$�8��8��8��8��8i�8��8E�8��8�8Χ8P�8Ǭ8̮8�8��8�8u�8��8?�8�8W�8�8O�8��8��8��8߽8W�8��8x�8�8��8t�8�8��8Q�8�8�8V�8m�8\�8��8�87�8��8�8��8z�8��8	�8��8�(;�*;�*;4L;�N;�N;�O;4P;{P;�Q;lR;�S;OT;�T;U;�U;�U;�^;�a;Eb;�j;�j;5l;�l;|n;,o;�o;�p;?r;dv;�x;�y;3z;�z;p};-~;�~;��;@�;��;y�;��;�;x�;��;_�;u�;]�;��;��;��;��;�;��;��;(�;��;��;��;��;��;��;
�;!�;�;��;�;h�;��;��;�;M�;�;�;�;p<�<F<\<v<�<
<><�<�<<� <� <)#<|#<$<4%<'<�'<�*<{3<�4<�5<�6<7<�8<�F<�K<�K<wM<;O<kO<�Q<�R<Tn<�n<$s<�s<u<7x<*y<dz<#}<�~<<��<%�<��<�<D�<3�<��<�<җ<%�<&�<�<+�<՜<�<I�<��<��<_�<�<\�<�<¯<�<\�<��<ٱ<��<`�<#�<I�<�<��<��<B�<��<��<��<�<��<O�<��<��<Z�<��<�<��<0�<I�<��<��<�<~�<~�<��<]�<��<9�<��<�<w�<��<��<��<8�<s�<��<��<!�<��<��<��<V�<��<��<q�<�==)===�==�.=}/=�/=�3=�5=�6=@;=y;=�<=�@=�A={B=BC=�D=�F=cH=L=�O=xP="X=cj=�j=9k=�o=�p=�p=0q=dq=Lv=1x=�z=#{=e|=�|=:=%�=��=�=g�=��=�=�=