Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00024_00000_shuffled.ds.index87 linesDownload Raw Back to root
1�m��N2v��$&�O�y�! � c"�"k#�$�%(*p*�*H+�+�.I:�>fA?CGF�GOPcP�P�xT{}d���8���_���8�Z�W�<�G�+���>����������������:�>C?�?�@�A�A�C�H�H'JzL�P�RhVTW�W��֦Ǩ��ު�3�լw�f�7����������B�}�f�`�P��l�������L������x:1;_;n=i>�@*CdG^I�I�N�O�OPzQ�Q	SvS�Y
[�bLc�m7n^n@o@rst�uvx�xF|M|��z������Ε6���ܠv�d�"��*���T�������U���������)����������r�C��h�9`&`(�(f)�*�-�.0�0>�?�?�?�@ C7S]S�S7U�V.X�YHZ]�]�c7l�tBu�v�x�yN{�{}~M�ć2�W������h�*�*�������t��ͽr�������������?�J�[���S�]�����Z�3�h���}����5�������N����L���/�0�0I:4;e<c=>�CDiDE|G7H�HmI�KcM�QR�SSW4Y!Z�Z�^t_�c�d:e�efPf=gThQk�k�k�l�sfuYvG}�~���ބۇ����J�_����§��ũ��|�!�½W�t���c�[����W����7�����*�z������;�=�>?�A�B�D�ISZv\q]^��ˈ;�����
�m���#�����ڟ�{��������I�	�+�}�ܼ�O�����M�������E�%���L���t�������-�@���J�W����c�~������.��aIC������#�&�'^(B)z)a*S+�9<3<�Z�[C`�`'f0jtm�p�p�q�r�r.st�t��7�o�_�����{�ܓ����5�{�Ǚ�����ݥ+������b�>�x���~���A���)�3�~���/�����2�����
�$��C2*[( z �!&�'$(C)�)x,E.j4�6p8�8�>O@�OPnP"XYnZ�[ٴD��U���������M�����r��p	lO�b���\�d""#�#�$�$<&;)�)14�4#6578'?�G,H�HMKY�YF[�[z^�_�`�fFk�l�l3z|�}I����\���`�����_�����í1���@�j�ܻ���?�����o���M�O���X�7�6�	���Q�W�����=�<����������(	#	-		'		�	k	+ 	�"	�#	�%	(	p*	�+	
/	.2	`6	>	&A	�A	C	jC	�C	hH	}H	�N	7�	�	W�	2�	ڔ	��	�	��	H�	h�	®	��	ײ	��	��	ӹ	ܻ	7�	I�	{�	��	��	��	�	��	U�	��	��	�	��	�	)�	>�	��	��	��	P�	�	�	��	��	7�	��	�	`�	i8�9�10�11�12�136,14j,15-16;-171.18]/19120|821X:22�:23+<24�<25FE26zE27�P28�Q29<R30�k31�s32v33:v34�y35�{36�|37e}38)~39�~40;�41��42߁43��44��45�46$�47[�48�49�50��51��524�53��54p�552�56��57T�58��59��60��61��62̼63̾64��65��66��67'�68��69�70~�71��72T�738�74r�^�B����eK�3"�#6$��b�=�����I�w�b�����$������%
&J&(�(w7*9�9�9�:(=0>?�@�A&C�E�F1G�G
HJN�NV9V"W�W�XpYT[�[�\�^�a�b1nYp$r�u�vf�s������>���ܓ��§��)�O����������s�O����[���J���g�I�`�����(�v� ���:�`��*�����������=�v��
�
�
?
�
D
� 
� 
n0
�2
�=
�>
~?
DB
�B
�B
aC
�C
�C
#D
G]
�]
�^
�a
�d
�e
Ef
�g
Xu
%v
uy
�|
�}
�
S�
��
��
Ȏ
|�
̑
M�
>�
��
��
l�
"�
��
o�
��
ȭ
ѱ
r�
��
��
��
��
W�
~�
��
6�
Z�
��
e�
��
��
��
��
�
��
a�
"�
��
5�
�
��
�m�	�K��mH'�'7(�(w+�.c>�?@�@�A(BD�D>E�E�HOJ�J�LM�Q�R�W�YKZ�Z[�[�\]�]_Razij}jmjn�yQ|�|A��������/��2�����߸E�����	��M������������P�]��p�������X�����y���������C�o��	�
%��R�	!a!{!G75HPHwHkI�J�KM�N�QJS�S���x���ק]���Ѫ\��?�����?�O��!""�$�%0&v-�/S0{0�1
2\3�:�<�>�@AvA�A�l�o�pJq�q(sesu�v�x�|�~Z���#�.�Ɔ������-�[�מx�0�Y�o�����1�˳��.�ַ7�C�i���B���l�7�����i����P��"��`p9�].�( � `!%"�%�3�4�45�5�6$<�<�=MAVA�BXZ[]D]A_�`zb�e�f�h`i�km�{�Ց���a������@���[�h����=�9�u�I���4�i���.�/�����!�����76���H@�=R�
��:�W+.�0�0��-�8�����4#F(�)�,�,@/�/�6�7�7p8�<+GI�J�M�N7PQKQ`R-d�d+f�hul�t�w
�����~��������a�>�r�����Y�U�M�á���ν9���s�������\�����!�_�L�u�������=���J�P�U���������_�������#�����0�������h�����>��U��	��fb�3�!�!"="k$�'�(J+�+K.b1;3W3&4�7X9v:�<�<�=$A�A�ST�T�cdehubv�v�e����V���e����q���|�����|���v���p���7����[�?e
����=H'77!{��wF��@ W m#$((a(*�*-�.�/$1�4�5�6�8�9�:�:
;�>U@�f�i#jm�n}sq�!��G����˷�� �x�����M���c�D���5�b������];_Db�h�iRj�jk|vaw��3�T����I���$����*��{��x�£`��6���!�V��~���ɰ78������ž����q����T�������'�W�����*�S�!��������(�3���A�t� ����"�#H's+8,�-.�.�4�4�5$9�9F: <h?�@�A�V3W�XH\�\P]A`�`a�b�X�������)�G����������a�W���O�A��0	�	x79z%���j���e O!�"�"$$�$�$�%-&�&�'�(�1�7�8�::;#<IF}H�K�N�O�RhZ]_�_�a@b�e�k�k�l8pr�r�suYu�v�ʜf����*���ңئ,�?�����r���>�c��=�ڵ��'������ջ$�������I���R�X�C�l���������������X������=�5����C�\[��!�"I%c&�.�/�1�6�7�9J<�=�?�?T@u@\BSD�EWF�I4`oa�akgrh�i�j80m�m�n?p�ǫ��4������*�0���l�l�c�V���S�[��������H�������u���S�������h��4���E��Me
��Q�5�!�$&�(>*{,�,�.4g4=?:B�BG�H�J`U�Y�Z�[h}H�,���#�-����%�3��2���r���
�(����ֽ��*�����Y�����������q�����B�"�a��%��������\�����f���F�I������F�������2��$'u'4-?.�.H/0�2!5@�@�AkB�M�UV�\�]?^�n�r�u�u�v�w�x�k��^��ɢ�ϣ��"�e�~���������A�����O����u��"�f���:�:�-�A�81|��` S�S�#&�-_>�>�>�D�OUS5TnTU@W�X82Y�Y_zb<nZn6o�o.~J�dž6�5��K����W���<�y���n�ծ�������������1�T����������3�M����o��	l�R"�#�&�'o(P*/�3{4�6v7)8-9�;^>cB�CqD�E�FTJL��f����s�������������X���l���U���������������A���u��������>83U��
�
;g�%y]{��T�84#$'�,A-2�3E5�5e6�7C�D[E�Zw[][]w^(_�_�ad�kl�m�uvdx#z�{�~q�������R�����������������#���)�T�B�z���v��������&�O�������8�����������4�����k�t������	�	A�\��; l �!"�"3%E%)'T(�(�(P*�+T/�/�0K1g2�24"7AXBM�N�O�Q�SZW�WrY\X^y_�`����&�u�´�����_����?�����������0�����A � E � � ^ � # ! �% #' ( �( �( b) �+ D, �, �- X3 �4 �4 �o �p �t N} �~ �� �� �� ͓ a� L� 
� [� y� �� � "� �� � ]� �� �� K� |� 3� ӷ �� A� 	� >� k� » �� N� �� �� �� t� D� �� �� �� \� �� m� \� �A!�C!�D!�G!�G!�G!"L!]N!�N!�S!�U!u�!S�!G�!h�!�!A�!Y�!ƫ!�!Ь!��!5�!պ!��!j�!&�!��!��!9�!��!}�!��!��!J�!u�!��!��!*�!��!t�!T�!,#"s#"�&"K'"�'"�'"r(".3"�3"64"a6"�6"�9"�:"�="O"P"iQ"8W"�X"^"w_"�_"�_"5a"�e"Ff"u"85{"3}"�}"�}"��"�"��"Б"9�"��"ޘ"�"{�"D�"S�"ͧ"9�"��"�"�"+�"�"y�"Ҹ"~�"��"~�"H�";�"��"%�"k�"��"��"-�"��"��"��"q�"��"��"��"�#�#�#?86#�#S#�#�#�#�#�#L#�#� #� #�*#!,#i.#FO#yP#�P#@Q#�R#{S#EV#�V#MX#�[#�]#�_#d#�e#h#�j#Gk#Nl#Zl#0�#��#'�#�#��#��#�#R�#3�#b�#�#�#d�#�#��#0�#��#��#�#��#��#��#Z�#��#�#$"$�3$n9$�:$�A$�D$�D$G$�J$�K$!N$\Q$�W$�\$f`$�a$ic$xe$�e$�j$k$tl$�m$Wn$O$�$m�$�$��$Ƌ$ˌ$�$Ϗ$��$�$Ò$��$��$��$��$��$�$)�$$�$ֺ$v�$�$�$��$e�$<�$��$��${�$��$h�$��$�$p�$��$�$��$��$��$��$��$�%�%%X%�%�$%�%%�*%,%p,%./%�/%�0%W2%�2%�3%z4%�6%27%;%m<%�=%:?%�?%'@%�@%�R%vU%VV%�V%�V%YX%-[%�\%�]%_^%�a%Ib%�c%�h%�j%�k%l%7m%�m%?t%�t%�t%�u%dv%x%9�%�%D�%��%�%3�%�%��%��%�%~�%�%��%��%غ%	�%��%P�%w�%Ⱦ%A�%��%��%w�%��%�%��%�%��%e�%>�%i�%�%G�%k�%��%��%��%"�%��%��%�&�&�&�&�&\&I&�&z&�&�&Y&@Z&[&z[&�a&f&Ls&w&�w&�w&�~&3�&L�&�&��&%�&��&X�&~�&��&�&��&9�&U�&'�&��&�&M�&Ķ&�&��&]�&P�&�&�&��&��&Q�&��&��&��&�&��&��&��&��&��&'�&��&��&��&��&��&��&��&��&��&|�&h''*'i'�'+'�'�'g!'J$'�$'=2'p2'�2'�3'&4'�7'�8'.9'�9'�9'2:'�:'�;'<'i<'�<'&='X='�>'�?'�A'B'�B'�C'�D'dE'�E'�F'_G'K'=L'7Y'l['�c':d'+e'de'f'Lg'�i'2k'�k'5l'�l'�m'�t'>u'~{'|'܂'؆'q�'^�'��'��'��'��'̐'ߒ'��'��'Z�'T�'�'u�'ܥ'��'q�';�'��'��'ժ'
�'��'�'��'F�'q�'��'��'��'��'��'H�'��'��'��'��'��''�'��'��'�()(�(�
(�(�7(�:(J;(r;(�>(�L(7M(vM(�O(0Y(�Y([(�\(b`(�`(�m(�m(�o(�r(�r([�(��(��($�(��(��(��(��(��(S�(��((�(�(��(D�(ҵ(�(��(D�(z�(��(@�(��(
�(7�(n�(^�(&�(V�(�(��(87�(��("�(
�(��(s�( �(J�(��(-�(d�(��( �(��(V�(6�(��(��(��(�)y))K)")gb)�d)g)h)
r)�y){})�)��)��)‡)_�)��)�)f�)��)��)��)?�)��)��)��)D�)��)h�)��)G�)u�)��)/�)M�)��)w�)��)�)6�)*F**L*�#*F%*�%*�**;+*n+*�,*X-*&/*�2*�8*�8*C*(D*pD*F*|R*�S*T*kT*yU*�V*�W*Y*M]*�]*za*�c*g*En*�n*&o*�o*q*dq*�q*�t*u*w*�y*[z*n{*J�*��*��*�*��*��*��*+�*H�*,�*��*��*&�*̫*]�*�*'�*C�*;�*��*<�*й*y�*��*��*'�*��*��*��*��*��*b�*�*!+�+!+�+m+�+~+�+�+�&+R)+�)+P*+h*+)++a++.+�.+/+�0+�1+�2+F7+�9+l?+�I+1J+9M+iM+�M+P+�[+\+�`+�d+h+�h+$j+0k+�v+ow+�+`�+*�+˔+a�+��+٘+�+��+0�+ޜ+�+.�+x�+-�+Q�+У+�+\�+��+ݶ+&�+��+��+R�+��+��+�+:�+i�+��+�+��+��+�+��+.�+��+v�+�+D�+��+F�+��+��+��+�*,X0,�2,43,6,�:,�l,�p,y,=,�,��,#�,ǂ,�,P�,4�,��,w�,\�,x�,ċ,�,D�,W�,E�,��,��,��,(�,o�,R�,c�,F�,�,(�,��,"�,γ,