Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00101_00000_shuffled.ds.index113 linesDownload Raw Back to root
1������2[3�4z�ZYz��V�/�6�7�@DA(EiF�G�Z-[~_�`a=c@d
gGh�huj�j�o	q+v�z�{&|5}~�~���#���P���Z�����*�t��������2�}�Փ(�?���M�h���̣}�����"���$�D�,�������T�j������A����N�����9v;�=�>�B�E*[\d]�]\_"`c8c��������������b����t����q���2���8�~����v�v�­N����Ǽ%�}�X�������k�C��h�?�.�4�1���<���@�������N?#	?�
�m�Fj`��!)"�#-$z$�$�$"&'�+G,�/,4=4�4�:<�=�>�@�AI�s�p���U�v��
k�B�W~"���F�Ͱ����j��Ƕe�)�����b���6�������1�}��D���PyD9� 3/Q/0�0�1�2^5z9�9@bAABCD|D�E1F�GyIYK�L�L�M�PU�V�V5W�X�Y1y�y'z�|�}�f���Ή�-��Ƌ���� ���=�������O�.�ߞP���N�����Ķ�3��Ŀ�	�Q��������r����j����
Mq�����3S:�:!>>WX�X[Y�Zr]�^d`�`�aebc c�c=h�h�i:o�t�w/x�z�{t~��Іw���w�
�������%�B�љʛ�ѥ�d���تӫ���*����D�g��J����^�����:�������%����
�/���'���8�E�������>�?�@�A�CAE�F:H�I#JtJrKL�LuN�OPOT�T�V=egeBf�h�h5ieruYv����,�A�u������F��]�M���5�I�Z���d�~����������W�������J�@�=�����1��������������d����;������������p�����}�g����T��a�hb�?U�t�"�#�$%,�0{1\3$47�<v=�>�?�@�AEBD/H�I`J@K&LAMTdT0U�U�V�V�Y�^�^F`�g)h�h�jq`r�rpu�z�}�}L~�~L�~�L�5���n���y����-����ß ���������s�������)�f�F�����������4}��3 � |#�$''�8c9�:>j@�D�F�G�H�IMN~N�O0P^�~@=�ނd��ŏ��b�?���s������� �R��P��3��̸u�Ѽ������*���=���f��������������<�?��	)	e	O	D	�	�	0		_6	|	z	=		�	�		�		l"	#	+	�+	,	�5	�6	�9	�:	�;	�<	�@	�@	�A	�A	=D	�F	�G	�H	8I	PT	jU	�U	�U	!V	�V	JW	�X	d[	a\	]_	�`	]b	�c	�g	�g	�h	�i	�j	�o	�p	^s	t	�t	�v	�w	�w	(z	�z	�{	�{	�{	3|	�|	Z}	�}	�~	�	ڎ	��	�	8�	��	�	��	Q�	m�	��	ߞ	��	�	7�	5�	e�	��	L�	��	)�	Y�	��	�	��	��	��	��	�	b�	�	�	��	8�	��	��	��	}�	��	r�	��	��	M�	*�	��	��	��	��	�	U�	��	4�	P�	�	D�	z�	`�	%27H48�I9�I10�K11�M12�Z131\14�\15�]16�d17�e18�f19�g20�g21qj22l23fl24m25m26�m27�m28�n29t307y31'|32�|33O}34n35�36��37X�38��39m�40��41�42Ո43��44ѐ45�46��47��48��49��50�51Z�52b�53$�54��55�56��57h�587�59��60˧61�62��63��64Y�65��66Ǯ671�68K�69M�70��71��72N�73��74��75��76X�77��78!�79��80��81��82�83P�84�85��86��87�88>�89��90�91��92��93=�94��95��96Z� ����Dk���X��*�,�.�/?1y1}2�24�4F5�;<�J3K�L�m�m�ryt�tu�whz�{}}�������� ������&�H���Q�������c�~���u��a���)��F�k3N|JY
/�
��
�
�
�
��
�
a�
�
*�
��
ڣ
:�
��
��
޻
��
�
��
��
��
��
��
�
S�
��
�
��
>�
��
��
=�
��
2�&97�q�gY� �"�$�%+'�*+9+�+4�4s69�9�B�B1C~L�L�MVGV4Y�Y/Z`[�[+\�^�^�_�c�f1g�g�k�k�nYo�o�p�p�r�r�txI|�|x}~v��r�9�ÎY�M�c�Й;�e�3�ҟ7�~�2�ک��DZA���e�ķ{�Ѽ���`���/���;���0����t�}�/�������z���Y��N�	��
U/����� �"�&]'�'�6p>?T?k@)D�IBJ�K6N�NuO�O�Q0S�SU@U�[�]g�g�m�nptp\t
w��'��ѤG�&�%�c���Ȱı�����
����W��F�	�����p���
���q�Y���.�}��������U�z�����?�n��4���C���������W����"g&P'�'�)�)T9�?6B�B�C5DEG�HUM�N{OkW�X[�`�aUb�g�m�o98r�slt�xKycyW{�{B|>}q~�Q�B�ՋZ���%���+���R�I�-�M�A�"�o���`��;���������F
&�@N�@wJdM�M"NvOP�PRR@SjS�]^�^8_w_�_�`c�cGe�fk�l�mr�������L���H�������2�8�������99��������$a����b~	8��z=100�q
�Z"���!�)�+,r,/-/�9�C&J�J�M&O�PST�TLUViV�XnY*Z8Z�Zp\}]{_+aceafi�l<m�st0v:�������101���b�������#���n�����k����������^���_(q!�!"�$�)�I�JLcS�S�T0U�V�\_�_�h�n�|}�}`q���k����є֖ߖ-�E�n���c���i�	�8�}��������J���L���a���<���������	-102�#|#@$9(L)F*�*d,K-/�/�45�8�92;^=[>�>A?�@�A�A�H�LZM�N�N�O�OQ5S�SET�U�[{aVf�i(r�t�|���j�΃��֋M�����G�k�s�L��������v���ѠM����y���O���Ь��.�ү�����~��U���a��������������N�8�4�c������T���o�~�7����AVBDEcF0G�GJ�N�NQ�TVaV-Z�[�[^�`Ca%dudfMfh�hkipj�l&mfm�p�rbt�v�zb|�(���-�#�>�ٓ������ �;����;�������u���������������������R������������\����&���������,�Bp�0�
m0�X�^M�!�!�"1%�'�./�/�J�OeP�PcT�]�^�^q_�`b(b$d]dfwf�f�g�n!s�w�w&y1z�}~�~;�w��U�ԵD���?�ʼ����Y�"�!�~���l����������y�G�������=�$���K���=�G�L�-���3��
�
z�%b$1�3e4�8�9f:�>�>�B:CsDDG4H4M�O�O�OPsP`QUaW�WXX,b�s�tv�wJx+yA|�X���ʄ��ȈN�������.�ٚ�������7�k��������������Q�Q�\�������W�`���������6���%�����P���I�������sEX�itj-no(ov|{����L��������"������/�B�Ц���2�ɰ������Ķ6�:��>�I�;�w�������&����-��h�|���������|��103�!�!#"$R$�%,'�(L+1O1�4�5w6�7R8\:;g<|>�>xBC�C�DE�E�GP�Q�U�V�_ua�e�eipn�r�s8v�y�y�z&{�~h���������ŋ������?�104��x����f�4�ė� �P����F���ԣ��c���&�3�����I��������aL���[ w!F%�'�+#-�-/�0�1V>v@�@C4C^D�D�EH�HK�K�KL_L%U�V2W�W�X�ZA[^W`	c]c�defnfg�h�i�jzn�o^p�s�w	x6y@}~}a����������a��������8����š՟^�;�����E�A�$�K�d�k���e���|�����q�����w�9�����0���105Q�of�35�54;�;�=�?�AUCF�FHVH�d�d�eKf0g�k�ln@o�o�o�q�r�s�|�}}�y���ӄ?���ё8�=�V����i�9�u������e�����a����������������z���Z����������w���!�N�����*���i�	h�106C
`�4��1�1�2�2�6�6�7�;�����>�6����P�ͣ�&�/�/f0�172o2�2=7h:=�>�>�?:E�EBHmI}IKuMNUN�S�S�X�Y4a�a{g�i�jl�n�o�ou������W�ت5��������Ǹ����3��{���V������Y�������)�
B��\��`�ΐ=�=�E���~�țԜ�P�X�֡��:���g���������������1�����������8��������������0�Q�(��	�U"h"�$�)66~7�9N:�=p>�>@J�J<Q�S�U�Z�Z�\�\�\�e4f@k_oro�r�s�s�wfw��n�ӂa�0��~�6��ϐ&�����5�o������y�	�C�n�9���I�f��7�ɲl�����E�T�{�Y�������5��������*�>�������Y�����y � � �
 � �3 �8 9 �; �; #@ C MC �F TH �J �J mN �P �Q �R �T eW �X Z �Z [ e �j k �k Xl !m p �p q #r du �{ �| ?} �} � x� 6� � �� <� e� �� L� �� �� �� 2� 1� �� �� �� �� <� J� �� �� [� � �� �� W� �� �� �� �� �� a� �� u� %� �� �� �� r� �� � -� �� ~� �� #� /� �� P� Q!Q!�!N!!�!�!�!!�!�!)107!Y108!�109!�!!c!E!�!?!6!~'!5(!�9!�:!p;!<!@!�A!C!H!�H!�I!�L!�N!O!�P!Q!?Q!R!RR!110T!1X!&j!um!n!�p!+q!yr!�u!�v!Qy!�|!�}!`�!��!ш!��!T�!��!\�!��!�!�!�!K�!}�!Q�!��!��!��!G�!�!{�!��!��!��!"G"�""&"�"Y""+	"�"
"L
""="l"�"F"� "�!"""2""�#"�#"�#"V&"�&"("�("�*"�,"�6"�8"�8"�="}@"�I"eM"�M"�O"P"nP"�Q"�W"�X"Y"�["�a"Xb"�b"e"<h"�j"�k"�k"�l"�"ݔ"i�"ו"��"��"̚"��"l�"V�"�"d�"V�"��"�"7�"�"��"111�"��"(�"��"��"�"W�"I�"��"�"�"M�"k�"��"
#T
#6#"#�#�#w!#"#!%#�S#�i#_k#il#�l#�p#�r#Qs#�s#�w#Px##ˀ#K�#��#�#��#Ӓ#s�#4�#��#�#L�#L�#��#�#�#j�#�#$�#M�#a�#��#|�#��#d�#'�#3�#q�#k�#��#��#s�#��#��#"�#��#��#��#Y$�$�$U$�$�$L$[$[$�$$:$I$�$�$�$�$� $!$�!$�"$5#$($$S%$�'$�($�($�)$�)$,$�-$�.$C/$>0$�1$v3$4$N7$':$n:$�;$�<$�=$�B$dC$D$�E$F$H$�H$J$�J$�K$�N$P$l]$�^$sd$Ue$g$�g$j$Qm$�n$;r$�$��$�$��$ɖ$'�$��$›$W�$w�$�$8�$��$��$112�$5�$��$�$��$�$��$'%�%@%�%�%�%%�%�%t%
%f%�%�%%2%?%�%_%A(%A)%o)%k+%,-%�.%g0%�1%F2%!6%17%s7%V9%�9%�:%�J%�J%3K%K%�K%WM%�M%$N%�P%PQ%XW%X%�Y%�[% _%"a%�a%�e%Ff%h%�i%3k%<l%/m%�n%[p%3q%mq%�r%�t%�u%�v%uy%z%�z%]�%5�%��%��%ӛ%ģ%M�%��%�%��%��%��%.�%�%��%ʳ%��%M�% �%��%�%h�%й%(�%�%]�%��%ھ%��%6�%{�%q�%��%��%��%��%��%��%�%X�%��%��%��%1�%��%�%P�%��%��%)�%��%!�%��%�&7&5&&G	&�	&Z113&�&�&�
&&�&�&�&�&M &� &j!&�"&#&�#&$&�&&I'&�'&�)&~*&2,&-&`-&�5&Q7&�=&�=&pB&HC&D&�D&�H&�I&�J&K&�K&�Q&�S&�\&�\&^&a&�g&�h&n&�o&p&q&�t&Pv&Hw&�x&y&�y&�y&"{&A|&�|&y�&��&��&��&��&T�&�&v�&��&��&.�&��&�&Z�&P�&N�&��&��&�&��&S�&��&U�&b�&��&�&�&��&�&��&Z�&�&h�&��&�&��&?�&�&�&�'g'i'R>'}?'�C'�C'D'`G'.K'�K'�M';O'QP'kU'�U'aW'�X'TY'�Y'GZ'�['�['�\'Jd'"e'�e'p'�p'�q'|r'v'9w'@�'K�'d�'�'��'��'7�'
�'œ'n�'�'��'��'��'��'�'�'�'��'ק'��'w�'&�'S�'��'��'4�'�'��'ַ'*�'ݸ'�'�'��'N�'H�'�'��'�'%�'+�'��'%�'��'��'S�'��'�'��'��'s�'S�'��'D�'��'