Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00040_00000_shuffled.ds.index138 linesDownload Raw Back to root
1�a�'�"� �!Q"u6M7(8�95:�:�=W>x?@�B�C�D#E�GN�OfSfqf�giKi�i�jlk njn_o%p�wGzL�@��@���5�c��h���7�Q������������X���ҵ׸�Z���h�������*�H�j���G�%�������������j�:�\���x���b�����������Jl��.C
_���-J1149C;[�\�^�_�`Ya�a�a�bSl�l�lWm�mqn�r�sjt:y�z|}+}�}�}~Z~�~6	�w��ԉQ�/�{�>��b������-�����$_+��q�)
�F�� !�!M"�#�$�%�%t&?'�(*�*�+f,�,�/01�3�6#:"=�>$?C!D�H'K�K�KhMxObQ�QEe����v�(���!�������ٴ����P�6�u����������v���W���,������������+�����2(�]���Gb��3!s!�!"-$�1�2�3�4F5q5L;�;5<$=�@�E�E'S�STeWuYZ:Z]�]�_�m�m@n�X���i����_���Y���Q�Ɠ"���@�^�ܗW�S������J���J���L�\����+����̱˳���+���.�(���������H������������{���[�@i@C�DZLSOvZ�[M\�\�^�_�_``�r
{G�,��� ���2�ΉŎ��)�C�H����M�̨���
�Ͱ����L�������)���1��������������z�)��g�������������k�h�����z��&H���M��i()�),*�* +,.�./�/�5�7�89�9�:�>L?�?�@�QJS%USW5X�k[mn�pjxy�z��Z�Ѱb��	��X������]�����<���\���������@�<���������H���B����6�6�9dFsG�G�N(RlS0T^U�UXMY�]Q^�`SaIb.cd�df�f�gjnor�s�uv�~�~8���#�y���ŸĠ�����m����~�����o������������B���1�����3����������J���.��;1� C'�(�)+k+.,B,v,�,�01Q1}152X2�5�678�9z<�<�B�C�F�G�H�I�J�N�O^Q�Q�RS�VZ$Z�^�^_ha�a�b�dfigBm�mistzt�uSw|�|Y}˄�������]���F�������̳u�ڷ�������/��������x���v��������K�������.�����������?�)�`�w���������w6^�		[�My!�$�4W769�;q<�=�>�>@oA�AB�BZCC�K0L(Z[�[�hj�jsk�k�}ʖ����M�����ҡd�������n����Ŭ�ӯ3�=��]������g�����,����V���!�����"	�#	�%	�'	B,	r.	1	�2	�R	�_	�d	�e	jf	m	fm	�m	 o	us	�t	�x	l�	�	ʅ	�	Ɉ	X�	��	��	E�	ē	B�	��	_�	��	�	A�	��	š	S�	��	��	�	"�	�	��	<�	��	|�	��	��	��	��	��	��	�	Q�	��	�	�	��	��	��	8�	��	��	0�	��	�	M�	l�	��	�4)5�6U7v8910�1112 13z14 15�16 17�18B19}20�21�22�23�24@25`26)27�.28M/29�830h?31�?32B33wC34�C35pE36�F37OG38wL39rM40�M41�O42NP43jQ44HR45�V46[W47�W48Y49�Z50�Z51K^52�_53�e54ag55�h56�h57�j58Gk59=l60[m61�m62�o63�r64vs65ku66�w67�z68�69��70č71 �72w�73D�74I�75��76�77��78�79��80��81ը82q�83�84�85��86��87k�88A�89��90��914�92S�93]�94j�95��96��97��98!�99|�1005�101��102m�103G�104��105��106O�107��108b�109\�110t�111>�112%�113��114��115��116��117=�)V+�d�p0�j"�CEG*G�GtI�J�M�NOxOyPnQ�|�|~��ǂ5�118�3�x���Ǒ�ϻs�j�R�h��������&����80x+ � �!�J�L�L\N4TdU�V\W�Xna�a�a&ef7g�ivj�k�lmOo<p#s�xE}�!�Ӄ��(��ƈ��	��P�s��s�����M���7�[���G�}�'�|�&���������w
D
�
P

�


3
�
u
�
�
�
�
M
�G
�H
bI
J
�L
#s
�t
�u
�u
Iv
dv
;w
�x
�{
z|
�|
C}
~
\
�
h�
��
e�
�
�
��
��
C�
G�
��
�
�
I�
��
�
e�
�
��
�
�
��
�
Կ
6�
��
��
��
��
��
�
x�
C�
��
J�
E�
��
P�
	�
�f,(o2$5��498�g � ^!�!�"�/1�2�39�E�F�I�J�K�L�NfQ�S�TZU�U�V�W�Y]�_ko�o�w�x�yhz�{@|�~Ѐ���A�+���B�O����Ҙ\����g�Ŝ�ؠ(�|��ͣV�����������%�����S��f����T���@��5}	�	Z������O�r�L���½���N��x���Q���Z�����������V���119����|��������������U�m+��	�120������KF�!�"rF�F�F7G�N�O�QRQZa+a�f�g~h�j�jNkzk�l(v�vZx�z#^��}�q�����E���s���ך���k�p�����5�Өo��G�>�h�L�|�Ӵ��ع�z����������B����/�����:������'�,�/60%1{1^4�5�7�8�<m=�=�=�G�J}K�O�V6W>Y�Y�Z\]1eMrwxzq}~�~�2�v�ۊ��g�ҍe�e�1����]�[���׫�Y��ϵٶ��$���7���g�������w�U���
���`�7�#���f�����121�B�Y���o�:�J���e���n�
�����!�?�N�N8R�R�SU�UKV�V�Z[+\�k�mpnq�r�t�vx�xy�~-�؀3��:�������d���Y���+�122��9�Q�b���a���b���m���3�|����T�	u��
2}�QynK�LGM�MZV}Wu^�bd5dfNgdhQy�z�z�{�|;}~s~�~C��`�-�h������D������6�=�0�����y�ۥN����K�z����W������%�k���<��������V������#�v���1�����(���+�����`������������h�������/�[������3��=���~�]5&�+�+t-�0NZ	[�[�[K]�^,_Ha�ae8g�gIi�j�l�l�mn�n�p�qr�rs�sNt�u�v�{�}8123��A�ɄF���N�t�ɏؒo�ĘT�g�O�D���گ{�'�3��5�9���Ǿ)��������V�124�����,���o������������n���:���{�	9125�126#��`|1�W"$�)e+\-�-7/{02p2�2\3,4W4R6�6L9l:�<R?QB�BBC�CiG�IJ�LI�����Ȥ
�&�'������|!~�~�/���h�Q�h�@���U���ŧo����>���n���/�d���������0����������@�"�:�E���&��������m�H�������f�$����a������������z�s���:�����x	�
w��8#;�<�o�r&w�}����a����n���̍
�ߑv�'�I������=A+ADA�E�GxJ�J7LNOU�Y�a�d�d�e%gckil�wg|�}�~��T���o�y������2��g�����`���3����B�m�o������ �  � 1 }# �# F& *) , �. �. |P �Q �Q :R |Y H[ �b c �c e 7e @f g bg �h �h (j �n �n 2o � �� † �� {� �� ]� � U� � Z� �� � �� �!�!v!s!�!�!	!�!�!�!a!=!�!8!J8!9!�@!4A!
C!�C!&I!�M!y]!�]!h^!�^!�_!�c!Hd!�d!�m!�n!r!�}!	�!k�!��!��!#�!6�!ߓ!�!\�!��!�!��!V�!'�!Ǽ!&�!ľ!��!8�!��!J�!��!#�!��!P�!��!��!�!M�!"�!9�!��!��!��!��!9%"�'"�/"J0"t3"�6"�7"�:"�;"�?"�A"C"�C")E"[E"�K"lM"Y"UZ"�f"�g"Mh"i"]i"�i"uj"ok"o"�t"Uv"�v"|";|"q~"
"�"��"�"��"�"Ø"��"1�"��"q�" �"�"�"��".�"z�"��"��"��"v�"��"��"��"127�"��"��"��"��"(�"��"
�"|�"��"��"��"��"��"��"��"S�"��"��"s�"128�"�#]#�
#�#�#=�#�#�#%�#��#��#��#Y�#*�#��#��#��#��#Q�#��#��#�#k�#��#��#��#�#A�#��#8�#��#9�#��#(�#��#q�#&129$$�$$$N$�$$�$$W($�($3+$0/$�6$�7$�;$m<$�<$c=$�=$�>$�@$�C$�D$G$H$f$g$0r$$v$Sv$mx$6z$��$R�$��$A�$��$��$��$�$��$��$,�$��$��$��$��$'�$��$
�$e�$��$��$[�$��$��$3�$F�$n%R%�%�%�%I%&%�+%�-%�/%5%C8%�9%�9%0:%�;%=%E=%�=%J?%�?%eA%=B%9G%�G%tH%N%�P%$Q%�R%�S%�T%�U%�X%Z%t[%�^%N_%�i%r�%��%%�%��%$�%��%�%�%^�%��%n�%N�%��%B�%h�%��%D�%��%��%��%��%h�%��%��%z&�&�&<&�&�&�&�&")&),&�-&k.&�/&/0&z0&t1&~2&4&\4&�4&f:&�;&�?&�A&�A&E&WF&�F&AI&FJ&K&,O&nP&�P&�T&VV&EW&~W&�X&y[&f`&�`&4a&�d&3f&�y&z&%|&n�&��&·&%�&a�&��&+�&�&h�&��&��&S�&�&�&ț&h�&�&��&��&E�&��&|�&��&��&J�&��&�&��&�&��&Y�&��&�&w�&R�&��&�130'N'�
'a'''-'�'s ',''�*'[+'-'1'�6'k='0>'�>'M@'�@'�B')F'nF'JJ'OK'�L'�N'EP'CQ'sR'�]'w'y'�|'O}'U}'�~''ď'V�'�'b�'��'��'ߞ'3�'��'0�'G�'��'131�'y�'�'��'��'s�'��'I�'"�'l�'K�'��'9�'V(X(_(�(�((;(�(�K(M(�M(�O(qU(�Y(�[(�[(�\(�](Oa(�a(Ac(f(Sf(�g(�j(@k( l(um(�p(iq(?�(��(7�(я(��(�(i�(��(	�(��(��(̘(q�(�(��(��(��(��(F�(��( �(��(V�(��(�(��(��(��(��(�)�)O)-)�!)�#)�%)+)S+)�+).)�1)�1)v2)�9)�<)�<)`>)?)�A)�A)B)�B)zD)�E)H)fH)hJ)�J)�J)AL)jL)'])�_)�`)�`)�a)�a)$d)e)}f)3i)xi)�i)/k)&o)r)�w)m|)=})��)w�)��)\�)��),�)�)�)��)ӗ)��)��)��)ܝ)�)��)�)V�)r�)��) �)��)��)��))�)a�)��)��)��)9�)�)/�)M�)��)�)w�)��)
�)��)�)ȿ)Q�)�)D�) �)��))�)��)D�)l�)��)��)��)�)��)��)��)x�)��)��)d�)�*�*'*I*�*Z*6*r*u*�0*�f*�i*s*132u*Zu*�u*v*�v*%w*�z*}*o~*��*��*��*r�*&�*Y�*D�*��*B�*��*Έ*��*��*O�*��*�*ʔ*�*�*o�*o�*_�*��*Ԩ*c�*�*�*N�*Z�*�*�*�*��*��*��*z�*�*~�*@�**�*�*��*��*�*�*|�*��*��*a�*��*��*$�*��* �*��*��*��*��*��*��*��*G�*�`+�a+4h+j+�j+Uk+�k+�l+n+wn+�o+Ep+�v+�y+�y+lz+�{+�~+�~+�+W�+9�+z�+D�+�+��+շ+�+��+�+l�+��+��+C�+��+��+��+��+=�+��+I�+��+��+R�+S�+�",�$,�%,�%,�%,�&,�(,+,�+,,,k-,\/,/,�1,�2,R7,�8,�8,39,�9,�<,�=,�J,�Y,6^,�`,=c,i,�m,�m,�u,�w,�x,yy,�{,�~,`�,��,�,Q�,��,
�,��,��,ގ,#�,|�,��,'�,��,��,�,ՙ,w�,��,Q�,�,��,�,��,Y�,��,�,��,H�,9�,"�,/�,k�,w�,��,��,�,I�,��,0�,��,��,	--�--w/-�0-133;.C;.B.SD.�K.�O.�O.BP.
V.aW.�Y.�_.�`.ba.|b.�b.Fd.ue.ri.�j.�v.nw.a{.!}.��.k�.��.9�.��.��.ث.e�.e�.@�.��.)�.�.��.��.h�.]�.��.]�. �.��.H�.��.��.��.��./L/�/a//D"/�"/�//f0/�1/22/g2/�2/�2/?3/�3/�6/T:/�P/�V/8Y/@e/�g/�{/|/+}/�}/�~/�~/��/�/��/�/r�/��/A�/��/i�/G�/ՙ/��/��/�/�/��/&�/��/�/y�/2�/�/:�/ѱ/(�/��/90>@0/B0UM0HN0�N0�R0�T0�U0�V0�W0�W0�Y0�Y0k\0^0�^0!_00c0�e0Xk0�k0$l0�l0m0`o0�p0�r05s0%u0[u0�u0w0cw0�x0�z0+{0�{0p|0
�0��0=�0E�02�0��0%�0g�0�0�0K�0�0��0��0d�0I�0��0$�0d�0�0��0H�0��0��09�0��0�0��0Q�0��0K�0r�0u�0�0��0��0�1�1i1�1�1�1_1B1�	11341�1351�1361#1b1Z1�1�(1�)1�)1e.10181�81y91�:1;1�;1137<1=1V>1�?1�M1>Q1^1W`1�a17d1nn1Mq1�t1�u1�u1�u1φ1�1�1ĕ1^�1��1`�1Ġ1��1��1��1�1��1*�1��1B�1t�1�1��1G�1��1��1��1��1|�1��1R�1��1�1z�1��1��1[�1)�19�1�1G�1��1��1'�1��1��1��1}2�2I2Q2�2�	2�1382v2\2�2� 2,!2V!2W$2h%2�(2Y)2�)2T�3'�3��3��3��3��3�34�3��3n�3��3��3��3��3��3��3��3�3��3��3��3��3D�3!�3��3	�3A�3>�3{�3!�3��3��3!�3��3t4~4Z4�'4�'4�(4S)4R+4j/444�64�94Y:4�E4ZF4zF4�F4�Z4�i4rl4�n4�n4t4�t43v4�v4�v4Dw4��4��4�4�4T�4��4��4�4�4Ҟ4@�4��4��4�4/�4!�4��4k�4