Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00085_00000_shuffled.ds.index110 linesDownload Raw Back to root
1��)�*#,T-3�3�3�4{8�8$;�<=�=@4@�BoC/N�RT*T���Е�g���I���՟>�ߠ��I�������������-��������$��?�w�\�������� ���Z�Z������T�����?�A�$�q�������Q������������:���A����k���įf�8�{���f��P�Q���>�����������������)���\	��(��`���$&�'#(�-0.a0�1�24�6�:�:�;�<=�=�>�?�@�HXI�IK�MNg�g�lm[o^q�q�r�r�s�w�w�|�|ǀ����ˇF�d��b���.���s���������������h�`�)��+q��u��B��Z� �&G�G~H�I�L�N{P�RZfZs\`_�_a�a4w�wOx�zb{?|{|�|�f������������
�C�߬�����%������������Z������g�����4�����H��� ���������������������v�������������`�#����Q���w�{�2��� �0^3�395�8�=�?{@�A^G�JqL)M�MOyP�R_TbUqV�W*X�X�Z�[�\s]'^X^�^�_5`�b$d�h?izi�k�l�vFzQ{|k�s�ւ��&�ʍ�4���
��ΖY���	�ҤB�ߨ}�7�Q�o�����{� �#�H���M���N�����������D�W�	�)`����3��072�5�56}7�7:�:�=AOABvFJ�]>`&bIjok�m>no�o�|�}�}3~P~l�w�e�������1�]�¢��ǤԤo������0�����׵��V���7��������G�*���7�������\�e�������l�A�����M�	�;���P�������5��U�}b�n�\&�&�&�'�'�(�(I)B+v+K-B.�3G4�5B6�6{89�<�=�=M>�?4A�EF�GJN�P�Q�QpV�V�WgXR^�`�bHdtdue�e�gh�hRjKknoqu�uvv�v'w�w���X��\�������z���.�������տe����H�o�����n�H���f��-��.Y���@��	]
�
�0"-:����������p�h�����^�����f��� ���o�5�R��������b�%�B�*0-U-�/�2�3�4�7�7YA_w`d�jBk�k�paq[tfvExdyE}�~�~��P�„���S������Փ�B���c���'���=�#�����&���ľ�{�h��P�����4��'���G����e������u�	8	�	�	c	w	�		�		<5		D	�	R	!	�	�	�	�	�		�	n	Z	�	�	�	�	: 	$	b$	s&	�'	�*	�+	�+	#,	�,	�C	�D	�G	�H	M	ER	\V	Ua	�a	�n	�w	}y	~z	x�	��	��	ߌ	�	ю	G�	��	f�	O�	j�	�	q�	�	��	؞	��	��	�	�	r�	��	i�	��	8�	ٳ	�	�	�	A�	Z�	��	��	��	��	x�	.�	�	��	x�	��	M�	��	��	/�	o�	��	s�	�	�	��	��	��	3�	6�	�	��	�	27r8�9*10�11�12�13/14G1516,!17`#18@%19�*20+21Q+22�323�<24�?25|@26�A27IO28�R29S30�V31DX32�X331Z34�\35b36�b37Bc38�c39�d40`g41�g42Hh43�j44�k45cm46�p47�q48xr49�w50}51@�52��53��54A�55�56O�57y�58L�59��601�61n�62�63��64X�65��66�67z�68Ѻ69һ70��71
�72�73��74s�75v�760�77@�78�79\�80y�81M�82|�83��84�85�86\�87��88��89��90~�91��92F�93p�94��	P�������.��Tnr"�+�/O1�3X5CgC�E�F�FqLM�N�O�PRWRyR"TZ[@[K^pg;i�k�l�C�R�x���V�������<�֓�άG�c�R������F���t�����t����U������ +q+�-h.&/4/<�D�QMUqU�ehf�f!n�nco�s�t�z�z�{�}�~�J����,�@�U
�
�

�
�

�%
�'
/
�0
�8
t9
�:
�B
AC
�C
�D
MG
�G
�H
�N
qP
�V
zW
�W
�[
�\
�]
/`
O`
�b
�e
df
�g
�{
�{
�
�
.�
΋
S�
��
/�
ɏ
��
e�
g�
�
%�
ї
$�
�
/�
�

�
��
s�
Ť
��
إ
��
k�
��
?�
Ω
6�
˪
ƫ
֭
J�
l�
9�
��
X�
y�
��
��
��
-�
�
'�
��
��
��
�
��
h�
��
:�
nH]��}#>%�&d(�(�,�2�8/<P@�@(B�B�E�G%J�LM�N)P��K���y���������$��j����az������+,�-=/}/�0�3J5�56�D�G�I�K�Ml<l�l�pUq��/�����h���e�:�A1x����	�95XP��B��cN#�#�'\(�*�/�0�A5C?GJ�Z�[H\�\^z_�_�`�`Qa�a�a�c�exf�fGgMjJk�k�p�s�tg�\���L�����-�x�X�D�]����.��ܸo�l�������a���T�m�������m��������}���[�D�u���p��^�Q���<�P����������%1
�
�Vk���
!�#�&k.�/�0�0�145�6�7�8[:�>�?�A}B�F�H�OQo][i�i;j�p3r%v9x�{V}�����!���E�����ӧ������������X���>�w���B�!�%�&,�/1�4x9?�?@HJ�JLK�L<QLS�Y�`�a�b\e�fGgi�i�z:}�~F���؆�������6�C�!���e�:�ݬ�����ݾ������*�|�������f���!��c�������/�����#�W	�	�	q96�8!w/152B4�:E<BD�E�E�M�MTN�O�T�\K]�^�c�cUd�h�r�r�v�w&���Ո���Ҍ�����p�ۚ���q�ת?���<���d����|�=���k������0'��Xw�!Z"�"$�&D'>(�(�+,�-�X�Y?c=d�ekhk�u�w}x+zUz�{�}U~�~�����$���N���������вg�)�t�2�P����O����,3.�.//�/0�0�L����k�]�s���:���#�&�����>���s������4�"-!-W/�4�7E8p9�9�:9ClC�C�H�I�JYNO�O�OoPBS�X9ePe�eUf�gh�pgq,tEu|uow�y&zn|X�x����5�D��&�����r����R�Q���1�K���~�����������X����1�I	�	�97h�*
U
�
K�		#�.�_��$P&3J+K#LTN�N�OHQ�T�U�UX�]�^�_�e�w@y|�R�����T������G���ǡ���k������]����:���ϵж��4�I�����B�����$�\���:�-�*�;���D�\�3�>���S98�99��6��_Cdx � !"O"�"�"-'q(,�,�1i2�3�3r5�9�;g>�>�@�CkJVL�LNnN�S2VW^WKaYd%ese�g�g�l�n)�Ѡá?���)����������]���z�V���;�h���u�
�.������������Z�|���������i�j��{���c������dR� !U!�!5$�$�%1&9'�'*+S,G7KVM�[�\^�^a�ab�dg
i�idm�m/nto�p|q�w�x-yOz��H�Ӻ���ʿm���Z�����7���"���n���%�����������<�w���*����Y���;���� �����\��*�*�,�,.�.�.�/	69)9^9:u:�:F;+@�A�D�EH�H�Q�V!\,_�jklSq�t�u�x�y�����Ռx�ԍ{�;�Y��?���������������z���-���-���A��������A���x���`��@h�)�/�#�$o%�%�%�&�+j63:�;�=l>�>xB�ChF�GbV�`@c�n�y��\����������ӎ+�X���,���Y���$��n�̚0�ϜW���������f���f���t�h�(���p�e���=���:���?�������O�_�%\����j�߈L���n�t�����R���Ԧ�����;�'���"��������$���J������_�K�����V����}�Q�F���100 � � � � � 1 )   L  �# n$ /% u% �% + �- 20 �2 �2 3 = �= �= 9A 1B C WE 5x !} �} M~ �~ � �� �� 
� ̜ � c� �� �� 1� $� #� �� d� � �� X� �� !� �� � �� �� n� f� �� J� �"Ԑ"ɑ"˒"�"�">�"��"K�"C�"��"2�"9�"5�"q�"�"i�"��"��"I�"�"��"κ"Z�"ݽ"?�"��"��"Y�"n�"��"�"'�"{�"t�"K�"��"��"D�"��"V�"��"��"y�"z�"o�"�"�#V#�#b#�#m#�#A#�#-#�"#w##�&#'#�+#�,#�-#C#C#K#ZL#2M#�N#�N#TO#U#tV#�[#`#�}#�#U�#��#�#0�#��#��#<�#��#>�#Q�#��#��#�#4�#��#Τ#B�#u�#��#��#��#��#T�#Ӹ#��#�#��#��#�#��#��#ʿ#_�#��#��#R�#��#��#�#��#��#(�#��#��#a�#��#��#4�#M�#��#��#�#��#��#�#��#��#=�#��#V�#,$f$�*$�+$E8$�;$V<$�<$L=$>$C@$WA$iA$C$�I$&K$N$[p$�p$%q$�q$�q$$�$��$�$��$'�$Y�$K�$͍$:�$2�$��$X�$Α$��$��$��$.�$x�$P�$`�$��$�$)�${�$x�$]�$%a%�%5%U%D%T	%�%,%�%%�%7%�%�%%�%Z%�#%�,%U.%0%^0%v0%91%�2%O6%�6%7%9%�<%�<%2?%B%}f%�g%�h%�h%fi%j%aq%�w%��%��%�'&�(&�)&�)&#*&R&�R&IT&�V&dW&�X&VZ&�Z&9d&�f&h&-j&]j&
o&Uo&�o&Qs&�s&�s&�z&�{&}&�}&��&!�&J�&L�&N�&�&B�&I�&�&w�&؟&۠&��&��&	�&��&�&��&'�&J�&B�&X�&��&��&L�&H�&��&9�&u�&.�&�&{�&��&��&��&�&<�&��&�&��&�&�&8�&��&��&C�&�&��&��&+�&k':'"	'R	'r	'''�'�'�''''T'!'�%'!&'-''('�('X*'�P'oQ'cR'\'�a'�h'�j'�j'|l'n'(r'�r'�v'�v'�x'5�'В'�'�'��'`�'d�'��'��'�'��'�'��'�'��'h�'R�'��'��'X�'�'*�'
�'q�'��'��'��'}�'��'�'�'	�'�'��'�'�'c�'S�'��'7�'��'(p(�(�1(�1(�4(�6(�;(�>(DC(�C(G(<G(�G(wH(M(�N(�O(�P($Q(nQ(�S(nU(HV(h](�c(;d(�e(�f(g(�g(lh({j(l(�s(�v(Zx(101z(}(�(�(x�(��(��(��(M�(.�(��(i�(��(Z�(��(5�(��(ҵ(?�(s�(��(�(��(��({�(2�(7�(��(3�(y�(z�(��(��(��(��(e)8)|)�))k102)�)a
)@)@)\)Z!)')I')4*)�*)�*)�+)14)�6)�;)e=)qC)'H)�H)�L)+P):Q)KX)�g)ni)�q)er)�s)�s)	{)#{)#)W�)9�)b�)�)t�)��)0�)
�)B�)/�)��)��)�),�)��)�)R�)��)��)̴)\�)H�)��)��)��)��)��)��)M�)��)(�)��)L�)*�)��)�)�**B*�*�*�*�*
*�**T*�* */*�*=*^*6*�*�!*!"*,$***�-*20*]0*�1*13*�3*�4*�>*�>*5B*}E*�J*M*�M*�N*SP*�Q*�T*�U*_V*�e*�g*Yh*_i*�j*n*so*�s*%t*@{*�{*M|*h~*�*��*C�*��*؆*��*��*�*�*F�*$�*}�*�*�*7�*5�*��*R�*^�*��*$�*��*��*��*"�*g�*��*�*
�*]�*+�*��*��*��*d�*9�*��*�*O�*��*��*�*<�*J�*V�*��*��*%�*@+�
++�+�+e+I+z++�+H)+T++�-+�4+�6+�;+]=+�=+dI+=J+*L+|L+M+�M+PN+�~+{+�+�+��+ؕ+�+��+��+x�+<�+x�+��+��+��+��+�+�+��+M�+��+��+��+��+,�+��+��+k�+��+��+��+c�+4�+p�+�+%�+��+�,�,�,.103,�104,M,�,A,�,�,2,,�,,�,?,�,5,s,M,� ,� ,�!,&",�",�-,*.,�/,41,�5,{6,�6,7,�7,�:,�;,�<,G>,�A,�B,�H,�J,V,^,�^,�`,ea,}c,Kd,�k,Wl,$n,Fr,�v,�v,�w,�w,1y,{,|,}|, },*�,̓,�,M�,q�,ۆ,p�,s�,�,m�,&�,��,b�,��,105�,�,֪,�,�,�,�,>�,�,��,ɿ,��,�,^�,=�,��,��,�,��,�,6�,��,'�,��,106�,��,{�,��,1-$-C-�-�107--j-�-�-�-I-)-�-�"-#-�$-S&-�&-H(-�)-:+-�,-�.-�/-�1-C4-r4-=9-<-�?-\A-C-�F-M-kP-kS-�U-Y-�]-�_-�`-�h-Sj-zj-�k-+l-Xm-�-d�-z�-108�-]�-��-��-��-j�-�-�-�-109�-e�-��-�-�-C�-��-��-:�-%�-��-��-��-��-7�-��-��-F�-��-��-��-��-j�-�-h�-`�-��-��-��-H
.l
.�.�.�.g.�.".z".�".�#.�$.�*.0U.�W.jX.�Y.�Z.u_.�j.-k.�k.�l.�m.�.	�.�.�.��.٧.�.~�.\�.�.{�.G�.110�..�.*�.>�.L�.4�.��.h�.��.`�.E�.��.��.��.3�.�.S�.�/^/�/�/�/3
/l
/�/'/�/�/� /l!/�!/g%/�%/9'/�'/�'/�*/�,/h./�.///0B/�K/L/�M/�N/�S/�V/�V/*\/�c/Md/�d/f/,f/9h/oi/+k/�m/�o/[w/8/�/?�/y�/Q�/�/��/�/��/^�/.�/��/e�/4�/�/ټ/ �/1�/S�/