Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00045_00000_shuffled.ds.index93 linesDownload Raw Back to root
1�@,��	�2}�A$8c�_���.j/34�475w�N�P�7�T^�.�u�{�{|}
~��������C�C��������������"���o��� �[�u�=�~��i�h
��%�0�0�ya{}�����@�0���T��%�F������Ҙ~��r��P�������T�&�m�P�����{���	������z�����~���b���w�F.��l	�3f �/��3�
!l"�"�&�&4')�)g,�2C3�S�S�T$VMX9_�_�`Tc�c�de@e�gvhCjij�jk�o<p�p�rlx2z�{k|�|��S�x������L�_�|��ʗ&�(���ؚ/�X�d����)�P�l�)�j�%�K����Ѻ������������I�,��������Q�K������C�������������j���s�����)�uGw"c#'�+�82:�:�< =I=@<BTC�EI�M�MtN�^1_�_Ւ�]�К��ɛ���̣ޣ��(���3���8�{�٭ϯ�Ȼ5�3�����Z�4����������������������)�P�l�~�������5����� � Q#s$%�'�(�)�,�-3'3Q4�5/9Zq�qu�v�wU{�{.|u|�|�|*��€	�\���χ��ى���,�����Y�*�`�=�����$�|���9�|�ۥΨبΩ���<�
���R�A���.%	�'	B-	S0	�2	�6	�<	C=	�=	B>	�A	�E	F	G	+I	rI	$P	�P	�P	mT	:W	�W	[X	�X	�Z	Z[	�[	*a	5b	�c	:d	af	�g	0i	�k	cl	�w	�x	Hz	L{	��	C�	��	��	�	/�	��	��	ǒ	�	(�	��	��	I�	�	��	�	8�	�	�	ԥ	�	d�	��	¶	ź	�	��	��	#�	@�	��	��	 �	|�	;�	z�		�	��	��	4�	N�	��	��	n�	(�	k�	��	��	(�	��	��	��	�	R�	��	��	)526�7�8�910b11}12\013p114�\15	`16O`17�g18zh19j20�l21�l22gm23�o24@y25�y26E~27��28ւ29��30k�31}�32�33��34��35�36>�37��38��39*�40��41��420�43V�44y�457�46ؤ47�48K�49��50ͪ51<�52��53m�54��55'�56#�57�58#�59^�60�61��62��63��64��65;�66��67��68�BC
�
��G��&�y�p��.,/�1�2[3ZK�KO�Q�V���٧Ԩ��ͩ2�p�T���"�N�=���G������������f�#���w��'�'�(e)�C�KL_�a�b�jXkk�vjw�xKz�{���9���#���/�L�y�.�W���������
�����
�
x

;
69
o
�

�
�
�%
�'
�'
�0
�0
�2
(7
�7
8
t=
8?
BA
�A
~B
D
�D
xF
�P
eU
V
�V
EW
�W
6X
BY
Y\
l^
�a
Pb
*p
�q
#s
�s
�u
P{
�{
-}

�
��
��
��
�
�
�
s�
Ϭ
6�
^�
��
?�
&�)*n+	-�7�GmH�I
LZLZ�[#\tjl�l�n>oqpr0�����,�ʏ+�ڑ�'�S���d�� �����S�@�����2�v�s�1������Cq�x70 y"�#�()..�.0A1�2&5c5=�=�?LMLN�NXOYQiRk�k3m�o�oUp�q71r�rMs�|}�}��N���r���������������s�:�y�g���ų�+������)��7L8C9�9�=�C�C�DuKNzNO�P�Q'Uc�fNi�i�r(�X�������P�j���R����%�x������������ �A���������7�8����3�G�t����H�|�����������,�]���7
�+}�����j��'�/�/�1�4>6�7�758�<�=.G�I
VmW�W�Ygd)g�g^hipr�r�t:w�y{ˁ���Y���v�ˑ��ǒ��;�b�����v�8�x�f�����i�������_�������1�o����D�k�
/���;*U3�3�5�7N8�8�9A:n:BV�Z�]Q^.b�f�gNi�i�jIm<o�ppq'rot_��u�_����'�W���I����V�u�s��������}���P���72�g�"��������3������+�������a�Y���H�X�~�-�"V$�$l%x'�'�(�)+4+L-i.�.1257Zz�z�z}k}e~��E����\�#�-�����M�g�����C���;� �^�+�y����h�����F��s������8�W�����r�t������<���5S3�$	V	73574e75�� �!�"#X#�#)$�$�&�'�(�-c1�2�23C3�46�H�H�I�K�N�PBR�R�T�UX`bbb�c�c�d�f�h�hi'jdop�p�pQq�|IR�[���:�)��T��G��N����g����G���/���4�L���1���9�N�,v4���02c��!�!I#.'�*�+�,`-1�24m4�;I?�GeS�Z��݋$�e�h�ő��b�I���e�����h������_�p�%�5�1�G������y���b=���B�$9�{76�77�ve+]b+�!m"#e$�%�*�-X/�0c132�2�3�6s:�<pBaE�ElF�F�FI�IJ7L0MWOtQ�S�UQV:\�]`�sv�v�wex�y(z�{�|0�����M�C�,����C���p�խͱ����=�l��f�'��� �̻��(�����������9�F�����|������R�$��������~�������-$3	�	�78^
{���,�,_.�0F15]5*7�8<\=V>�?(L�N,O!Q1QW�X7Y�ZE[\�\]N]W^�`�a9ckd�f�h�i�j�k�l�m�poqasos?v8x*y�y��o���˃ͅV�%��������B��;�����ҷ8���Ĺʻ�t���������B�A�����������h���L�������%�m���y�����}����8XO�)*�-�-.�0`H�H2I�I�N�r����͌��*��O�t��ݣ�թ����f�������������[��������������V������������	����
"�"m&�)\Q.STiX:YuYZJ[�[�b�duf�ftg�h�h�n�no:o�tu�v�w
y�{!|�|�}ʃ��#�q�R�a�L�Z�ǭ����s�'���������������p��S>�9���$0%.&?'Z*u*�*G0�1�3�:E;^>�?%AzA�EnG�HINR1R�^`�a�cQeg�gHh�h�ikiukw�wd�����������w�.����w���x���w��֢w���B&�'(�*�.�. 2�c�d�d�e{gAi�l~m�n>sts�sZu�vqwuz�{�{g|X5�����†f����>�4�C���������j�*�1�ߵնL������,�0�������H����������^�8�9�����%�/�f��:��������k�C���?N�#:U;�<%=�=Z?Qm�m�m�q�tCv�{�|3}A�ЀɁ�����{�։�z���s�'��������k�J�����q��e�����������?�$���a���5�������L���D�����N]h���!�D�"A�6�7<:=�>?GB�CKDJPDPuQ�Q>R�R!VVW�W<\]j�j�lYm�tO�r�Y����������p���������{�� � T	 K79 �
 �
 r � �  �  �  1" l% }' k* 0/ �2 �7 ^; z; !< �< �g En �t cw xx 2y ({ �{ �� ڍ v� �� >� � -� ̗ Q� �� � �� � E� �� �� �� \� � �� 3� �� 6� �� o� {!�!�!�!=!5A!�D!�F!�H!�L!*M!�M! O!�O!!P!�S!X!�X!MY!eZ!�Z!d[!�[!(]!;_!R`!�`!b!�b!�c!dg!4h!�k!�k!�n!o!�p!�r!+s!�t!��!��!K�!��!��!{�!�!o�!I�!��!ǟ!W�!�!��!9�!��!��!��!Z�!ܱ!��!�!��!�!4�!��!<�!��!3�!�!=�!��!��!��!��!Q�!F�!��!�!�!v�!0�!o�!��!�	">80"�"U"�"�"�"n" "�!"7("�8"[9"[:"�;"Q<"="2?"�?"SD"�D"�F" P"�Q"�S"W"X"Y"�Z"$d"�d"Ie"�e"�g"@h"hs"<x"Qz"�z"5|"��"�"��"
�"��"�">�"|�"�"V�"��"��"j�"�"=�"��"ĩ"G�"!�""�"��"O�"��"��"5�"S�"��"��"��"*�"��"N�"h�"^�"��"H#j#d#�	#81#W#�#�#e
#�#�#�#�#�#z#c #c!#�$#�,#c-#�-#"3#v3#�3#�4#5#~5#V8#";#?#??#?@# D#6E#�E#�E#�F#XI#�I#�I#!K#�K#KQ#�Q#�S#_T#�W#&X#�Z#?\#�]#�_#(`#��'��'�'��'��'Ͽ'f�' �'��'��'��'��'�'��'��'u�'?�'`�'��'R�'��'��'��'	�'��'��'6�'8�'��'��'��'y�'��'
(�(�((�82(�(({('(Y(�(r(�(>(�(�(�(86(�>(�A(�A(�O(�Z(!^(�^(~_(�b(<x(Q}(
�(b�(,�(b�(]�(�(��(*�({�(,�(P�(�(ޠ(%�(�(W�(�(U�(��(G�(+�(U�(��(�(S�(��(��(m�(Ͼ(+�(M�(��(��(��(-�(�(��(M�(��(K�(��(��(;�(t�(��(��()�(��(��(j�(��(�(��(��(��(	�(h�(z�(y�(m�(��(p�(7�(_)�))p)483)�84)�)@)B)R))/)n)U)�%)�&)()7()*)�p)Eq)�q)9r)Us)ps)�s)u)u~)�)܀)��)�)Ҡ)"�)�)�)��)��)�)��)�)c�)6�)
�)��)�)��)z�)%�)��)��)|�)4*�*.
*%***�c,gd,�d,We,�g,?t,~y,wz,Q},r},~,+,��,��,��,L�,�,q�,�,N�,�,u�,޽,Ⱦ,�,��,��,c�,��,��,N�,��,;�,�,��,�,��,��,��,��,�,��,��,��,�,�,-�--7-�-�-�-�-i	-�85-�-/
-G-o-�-�-�-�-%-�-"-"-p#-�#-%-�%->&-�&-_'-�'- (-V,-�,-�1-$2-3-F9-�;-�;-�<-�>-C-�G-�J-P-�T-"U-�Y-86[-\-L]-l]-�_-�l-�m-�o-�u-�w-�x-�|-�|-&�-��-��-��-��-��-�-��-h�-�-|�-�-��-��-�-�-��-��-�-`�- O.P.�P.NS.X.Z.IZ.�h.wi.Dj.#k.�x.�}.+.�.Q�.��.�.4�.��.ˆ.��.�.*�.a�.ޣ.�.
�.�.��.[�.>�.k�.!�.?�.87�.	�.#�.��.{�.��.��.6�.��.Y�1��1��1H�1|�1��1�1��1ø1R�1��1��1��1��1��1w�1�2�2	2V2F2�2L22�2�2�2�.2�12132G72_82�92�N2O2�X2�Z2�v2�w2�w26y2�2��2f�2��2�2�2�2c�2��2e�2|�2ӭ2>�2��2ѷ2�2��2l�2w�2k�2+�2��2��2�2"�2~�2s�2��2��2�2��2��2��2�2��2��2v�2��2��2�2��2w�2��2+�2��2��2��2�3_3�3�3t3d3�3g�3�3Z�3��33�3s�3��3��3��3��3e�3��3b�3��3{�3��3�3^�3/�3��3-�3��3C�3�44]884�894�44~4b4�4�4M4�4�4�4�4640 4�"4U'4i(4)4*4�-4�.4t14�1424�34354�54l94�=4B4�E4I4kJ4M4�P4�S4rU4�Z4[4�_4+`4&a4Pb4�b45h4�h4>i4�i4o4@o4�o4|4U|4�}4C4=�4��4-�4��4 �4ݍ4��4(�4��41�4�4�4ۘ4՛4��4A�4�4.�4&�4�4I�4�4o�4��4��4��4>�4K�4�4E�4o�4+�4`�4��4��4��4}�4��4��4Y5�5�5�5�5�55L5�5�5�,5�,5�65$:5�:5C5�C5IE5�F5�G5�G5�J5�K5�O5Q5@Q5�Q5R5!T5Y5V\5d5�d5�k5un5�o5�p5�u5�u5�v5�5��5Ȍ5Y�5�5�5��5ݒ57�5��5J�5�5:�5�5�5-�5e�5��5��5��5��5��5>�5��5�5��5��5��5��5�5J�5��5 �53�5��5��5i�5z�5��5�5d�5�5!�5&�5�5}�5��5��5Z�5��5��5�6�6f6E6A6�6�66�66�;6u<6�\6]6\]6�]6Wa6�a6*c6;d6�f6g6�g6�h6i6�n6mt6Uu6�x6y6}z6c{6�|6]~6��6��6ߤ6��6��6��6��65�6�6��6ù6T�6��6��6r�6f�6��6��6��6��6��6��66�6��69�6d�6j�6<�6��6	�6�6]�6I�6x�6S�67]7�7o7�7�	7�	7|7Q7�7z7L747X 7k 7�!76#7�$7m*7�+7�-7X.7�.7@07C17{17337�37�67�87L97�:7;7&@7YB7C7LC7nE7F7*G7G7H7MH790K7�]7$^7�^7�_7Zc7�d7Ye7�h7�i7nj72k7hk7l7�n7)o7�o7w7�w7az7uz7�z7?|7,7u7�7�7.�7��7w�7��7��7c�7��7?�7��7��7&�7^�7��7��7��7��7J�7��7�7Z�7j�7�8Z"8P#8�#8++8[+8�+8~-8n@8}D8O8=P8"Q8�T8*U8�V8�Z8,[8]8pk8�k8{n8!o8p8Qr8u8�u8x8_x8|8�}8K8R�8\�8͉8*�8��8ڎ8|�8��8&�8��8�8:�8�85�8�8Ԝ8��8.�8`�8��8ɟ8��8c�8��8*�8x�8`�8��8�8e�8�8��8��8�8��8��8��8��8!�8��8�8��8�8��8��891�8��8��8�8p�8��8k�8�8��8��8��87�8g�8�9G9�9�9T9�9!9j9a9J949�"9<#9/'9�'9�(9r*9�*9�,9�-9^19�;9LD9�E9�F9G9�U96V9�V9�V9�]9|`9�`9c9we9h9i9ki9�i9=j9�o9�q9�r9�9��9;�9�9��9�9v�9��9��9M�9��992�9y�9��9��9��9��9r�9��9F�9��9��9�9X:3:?:�:�:c:�:�	:�93:�:=:�:�:� :�":�#:&$:T$:<*:�*:,:c,:
-:X/:4:�6:{9:�;:�;:N<: