Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00126_00000_shuffled.ds.index129 linesDownload Raw Back to root
1O`� f��^/j�"�'e)L�U1`^q�r�wyUy�z����&�ҝ��o����Ӣm�}�>�����ةS���ڬ&��Z��<�[�#�����k���=�����������������~�������*�������������Z���_�5����f�`��?�0��!�[�.u2x!�"$%�%�&�(1+R,{.82�2�4h6�6F8�8K:�:�CEjE�I�IM�OX*X`�d�e'i�|�����)�u�����ͨ´����@�������b����| ~ � �q�r}_}W~�~��ʉ�}��������"�8�E�n�������ޙl�b���C�ˠ5���'�ť��5�_�	�J�M�N�PS�T�T�V�X�d�e�gXi�j�o=t�t{u�v�z�|�}�}D����p�n����������l�������O���m��jL(��M�0�#���Bh��!�"�#�1�1!2A2!7U7 ;�;<?<o<b=�>B�VC[�t.u�|O}r}x�<�e���������_�f����ί����ðU�����>�z�Y��������Y�q�����"����H�\���c�K�O�L��a#�$�&�'�'�)",D/�0~1�QMR�R�T�T�Ue�g�i�o�q�{q|8}�I���(��������C�������r���֛����a�J����y����z��6�������@�	�2��
G,�; � -5-f-�/�0�01J1�2FAhD#GGHWI�JGK�L�V�Yd\0]_J`�a|bqc�c�fiZr�s�x�x�y�y�{d}~�~,�M���!���������͒ԓ���s�8����R��*+T+"3+78�8�F�H#J*LfM,S�S,T�V�V:WDX�XY�[1_�c�c�iLj�j�k[mZ��0���������H�R�W����	�	�	P	�	�	�	I#	�#	�%	�%	�.	/	�0	�6	8	4;	x<	�<	=	�@	�B	�G	3K	ST	b`	Sb	Xd	�d	�d	e	Eg	�h	si	�k	�l	p	�s	;x	Ez	Ɵ	*�	զ	>�	m�	��	��	��	Y�	Ͳ	��	m�	%�	��	��	�	ٹ	�	��	��	G�	��	��	�	��	��	"�	��	K�	��	q�	��	+�	��	m�	#�	��	+�	��	��	��	��	+�	F�	��	w�	��	#�	��	H�	��	��	��	�	�	Q�	)�	��	��	��	��	4�5�678�9�10�1112D13�14&15�16�17�18Z$19�$20i%21�&22	+23�024[425#626W627�728k929C30�C31BF32H33�H34�I357J36|L37M38�M39EN40
P41sQ42!X43�c44ke45f46bl47�m48 n49�n50_o51q522r53�w54sx55�x56|z57�z58��59(�60M�61[�62��63ž64k�65ե66B�67T�68��69��70�71��72x�73\�74��75�76n�77Y�78=�79��80��81$�82�83��84�85��86.�87��88��89v�90b�91��92&�93k�94��95{�96��97w�985�99M�100_�101��102I�103��!M
�,��	�104�.����; 0(�(F)s*{+ 4*47>O@�@�@�F�GI�I}J>LqO�R�T�`p�~X����������"�l���M��I���j�d���������X���F�>�X�,���#�z���z�T�B�w����/���K����x�b�t�:����W����X������I����E�@�����Π��}���ӧϯ��ʼ�k��������������|�q���{�����x�����w���<�X���N�����������!�\���������
.
�
#
k
�
�
J

�
�
�
�
�

Y 
� 
Z"
o"
)#
�&
F)
V-
/
�/
�/
�0
G:
9<
�A
B
�C
|Z
�Z
�[
Y]
�^
_
xa
�a
_b
^f
�g
ci
Sk
Qm
�m
In
�u
Zx
ky

�
�
��
�
@�
��
!�
��
�
ɐ
�
��
ߗ
�
��
-�
4�
��
g�
]�
f�
��
��
<�
��
v�
n�
���m��9���Eu�6� !U!�! "M"#(#�#�$$%J&�&�(s=�=�=>�D(H�K�N�RWS�Y�c�clm�pAt!v�v�w�x�z�z�|�}��	�e�Ʉ{�׏��Б��W���֨���9�(�e���/�-�Ʒ����z����`���K�w������s�@���R����������W����^�H��������k�Y���y���f�m�����C�#�~������Y�105)��#�#k%�%^'*s*n+N/8=8�D:GyH�OTT��106���`�����u�������������������������g�:��X����������gg)�)!.�./$7�G�K�L�NyOVSV.]u]m^{bc�e�g�g,l�qkr�s�t�u
w!x�yF{�G�%���׃��p���5�j�:�Č�����B�-�ԛќ��G�107�J�!�&�w��5����6q����Ӎ�1�����S�u������s���߫t����m��W�`�a�e����������108�����F���z���������T�D�����������]�������OQc��(>109�110���]/�2<356c@A�BJC	DpFGJ[�[�[4_�_Na:b�z||�~���������������ǚ����>����U���&�ظ�������;�������S���2�H���1�g���W��R��&�&#(�-�25�6�8G=�>�A~C�C�D�E�F�G:H�P�P111W7W�W8Y�[6k)l�o�op�qgsjuw�w�wxBxb�…"�ц!�Q��R�:�!�&���Ӝ��c�=����%�>��I�����?�X��\���>�c�"�'����g�����l��y���2���������112������u���z`j��$�4�;�>�O�OVtV`X�XF[G\�^i_y_*aXn�n�q�s�t.w�@�#�n���H�@�ŇA�؏.������E�-�L�!���.�ݣ��Բ���������-���������4���*�i����Z����S�113�114�3��_!3"N"~&�&�*I-�-�03�3�3=:"<�?�H�N1O�O�Y�[�^_?`ya\breg�gi�j6l�o�w�xvy$~���(��a���;�g���r�5�r��֓Q����/�t�����g�����?�,���f�������*�#�r���������c��	�115P����-C�FG�HsI�L�M�R@V�VrW�W�Z�[�]9^�b�bc
~P~4�ā������������ߵ����������A����U����/��������������?���^���<�S�������V�4�116��sU��T&�(.#7�8@�A�OYP�Q6S�V�b�e�f�h�kl�l�m�nQo�w�^�������.�\�0���u��������j�Z������)�@���������s�������ǻ��* L!i1�1{23^3�5K7�9�9:b:�;�=x>qB�C�J9K�b�b�d�gi�j�j�k�n�rQt��֐��F�ђ���@�ܝ�p����z�=��صE���9�4���úļb����D�����"���?�������%�#������)���j�����w�������k�F�7�	Q
�
�����#�%�(�()�)Z+f,�,g/<3�3z4'5�5I7�==?�FzH�QVR�R>T�bTc�e3l>m�m�n�o�u�v�v�wAy�}�~����+���
�f���Ō�:�д��b�(�]���5�{�L�M���������J��������]���t�)���
�Z���m�����I�z�����6 |  � � W v � 0 g � � 117 � � r  �" �" �# 118$ E% �& �' < M< �= �> �> 9@ sA IG �G I � �� M� ™ h� �� $� J� � k� �� #� � N� .� D� ײ `� �� �� E� �� �� (� �� � � �� � k� �� O� 
� �� �� 
� �� � &� F� �� �� ?� J� � W!	![!�!�!�!!!�!!�!>!!!�#!�#!z$!�$!>!X>!�M!�O!xP!�Q!�R!�S!LY!�Y!<[!G^!_!l`!5a!d!�d!ql!�n!�o!4p!2r!\r!�s!�u!�{!�~!��!��!��!�!4�!��!ڑ!�!ϓ!��!g�!Ǖ!g�!��!U�!��!�!O�!�!߼!��!��!��!N�!'�!i�!��!��!��!j�!B�!��!W�!��!M�!�!?�!��!��!��!z�!��!��!��!�"6""I"�"j#"$"l%"�("J)"�)"�@"A"1C"3D"�G"�N"�P"�P"�S"�X"<]"�]"V_"�b"�e"fg"�g"�h"k"Pl"�l"m"119p"-s"�s"�s"�t"�t"�u"�u"
y"�y"Ez"Rz"a{"�|"�}"�"&�"��"��"��"ۍ"��"�"\�"ќ"�"ʩ"��"ë",�"��"1�"$�"�"��"�"�"�"��"��"��"�"u�"��"B�"l�"��"��"��"�"��"F�"��"S�"�"n�"2�"�#�#�#�
#�#�##�#�#U#y#�#p#�#m#� #�"#)#�*#�/#0#1#>3#S3#c5#26#�<#�<#�=#E>#�?#�?#&@#�@#6F#�F#�F#�H#�I#�J#>K#K#4M#"N#{h#�j#ul#�p#�p#<q#�q#�t#@u#�z#�}#N~#@�#Ɂ#>�#)�#�#��#��#E�#0�#s�#R�#�#h�#^�#�#7�#'�#�#��#H�#U�#!�#�#]�#�#��#�#�#��#�#��#��#��#��#��#��#*$k$ $G $7!$�!$?"$%$*%$^%$�E$sF$�N$�O$AX$cX$Z[$N\$�`$�b$�d$	e$�i$�l$�m$�$q�$Ĉ$f�$�$™${�$��$+�$c�$K�$D�$�$F�$7�$#�$��$)�$D�$�$��$��$��$F�$Z�$��$@�$�$��$��$R�$.�$:�$��$�$��$�$P%t%�%%K%�%(%|&%�'%�'%�(%O/%�3%L4%4%�4%<5%,@%�E%�P%�P%4U%�Y%*]%�]%G^%�c%.i%(q%�q%zz%{%�{%+}%�%=�%(�%��%!�%Ԏ%��%d�%�%?�%��%V�%��%�%��%�%ڝ%��%Q�%��%�%?�%�%/�%d�%6�%��%˸%8�%�%�%Խ%y�%��%-�%��%��%��%��%D�%�%��%��%��%��%��%��%��%O�%��%120&D�&)�&��&�&<�&!�&��&�&`�&��&c�&��&��&��&�&��&>'<'�'A#'*$'3$'$%'�''k5'�6'�D'�R'h_'�a'.b'e'f'�g'h'i'�i'�j'�q'�s'*�'��'��'�'2�'�'Ϋ'�'Ȭ'�'|�'$�'l�'õ'�'��'~�'��'-�'��'f�'��'�'N�'��'��'��'��'�'_�'��'�'��'��',�'��'��'��'i�'��'��'��'_�'��'��'b�'��'��'"�'�'7�'{�'��'r�'C�'>(H(�(q(�(X	(�121(�122(g(,(�(F(�(�$(%(E%(�0(22(C5(�6(R7("8(B8(�8(�9(�:(�;(�B(�C(aK(O((P(
R(�R(�R(@S(��(�(�(��(��(�(O�(Ș(%�(�(?�(|�(�(j�(�(�(/�(��(r�(߼(]�(k�(ƾ(��(��(g�(��(�(��(��(��(I�(��(>�(��(��(��(1�(��(��(��(��(�(!�(��({�(��(��(��(��(�))B)[)K)?123)�124)�)�)h)y)z)�))=Z)�c)j)�k)l)�s)|)||)�)��)�)-�)��)�)K�)O�)��)ޚ)w�)��)Ҩ)٩)2�)n�),�)��)��)̱)=�)�)�)<�)_�)��)�)�**%*m*=*�*�!*��*B�*��*�*9�*)�*I�*��*��*��*7�*e�*t�*8�*��*m�*��*�*d�*��*C�*��*m�*�*M�*��*��*O�*��*H�*s�*��*�*��*+g+�+�++G+d+H+�+a!+�!+C"+#+�#+l$+^&+�&+@'+�)+�*+8++@-+�4+�9+�:+�=+tA+�B+HD+M+�N+�N+�Q+^U+�W+�Y+�Y+�\+J]+{f+�g+�h+~q++v+dw+�x+�y+�y+3z+\{+X+�+�+�+X�+֐+�+b�+Ǖ+&�+ޝ+ڠ+�+G�+L�+��+�+Ѯ+,�+�+s�+p�+�+��+|�+ҽ+��+!�+^�+��+��+lG,�M,<O,P,�Q,0R,�X,�Y,�Z,�_,5a,�b,ee,f,Dh,%s,��,��,��,�,m�,ِ,�,"�,�,125�,T�,d�,j�,��,��,q�,A�,��,��,:�,��,��,�,��,��,��,��,��,H�,c�,��,��,�,��,��,F�,��,Z�,I�,��,��,�-�-�-�-�-~-|-�--t-�-�-?--R-�$-'(-�=-`>-?-�D-7E-gG-�I-�J-N-�N-�Q-�T-�T-yX-�X-RY-LZ-�Z-�k-Jl-7�-ʎ-S�-9�-��-��-��-��-�-�-��-H�-_�-��-�-E�-5�-�-P�-��-H�-8�-�-0�-۾-��-\�-��-��-��-9�-��-d�-��-�-��-��-��-=�-�-��-E.,.�.�.�. 	.�	.�126./.�..�
.�
.w.].W..�.�.�.�.�.�#."$.W&.�&.�(.�).]*.
,.�,./-.(..0.�0.31.^1.J3.�3.�3.A4.VM.)N.jS.�T.�T.�V.W.�[.�[.�\.'].�].`.Ol.o.]o.�p.q.Ds.�~.��.Ņ.|�._�.4�.��.��.͑.ĕ.�.�.�.̢.��.k�.��.1�.ޭ.�.127�.�.&�.��.��.$�.x�.��.�.��.��.!�.��..�.��.x�.��.�/r/�/� /�!/�"/\#/C+/BB/{H/�M/JN/%U/�U/V/7^/|_/�d/Se/@f/�f/�/�/��/c�/��/c�/V�/\�/Ԋ/p�/��/?�/��/�/��/Q�/��/Ǻ/b�/��/ؾ/�/��/��/��/��/C0�#0�'0�'0�+0�+0�,0�-0.0H00�10�40#70o90f:0�;0q>0�@0�G01H0eI0rK0�L0�M0O0cO0V0�V0�W0�X0�\0"_0,`0128a0_a0�a0�b0�d0>e0�g0�i0Ko0�o0�o0p0`q0r0�r0 t0Ht0�t0u0Xw0�y0129}0�}0<0�0��0ޚ0g�0��0��0ѝ0��0<�0!�0��0Y3DY38\3_^3�^3@`3�`3da3b3Xb3�c3ge3i3�j3ck3�l3hr30s3�s3u3-x3{3ʒ3ٕ3
�3��3U�3�3�3±37�3V�3'�3�3S�3~�3/�3>�3X�3{�3z�3-�3��3��3��3��34�3A�3��3��3?�34�4}4�44�4	4L	4�4�4E4�44�4�4�4�4Q4	"4�%43'4�*4�*4/+4