Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00105_00000_shuffled.ds.index121 linesDownload Raw Back to root
1�q�M�[�	l l/'d����O�'�(�(S)�+pSp�r^s�t�u�wPx�{�|��]���Ŕv�'���	��&�������}���%���G�ŭc������&�B�5����������wkq�dn3�5�5�6F>J-L�R=T'���)�z����"�������.���-�0�[�_�<�]�"�n���p�}�����&�����������^�=n��57c8�839:m::;�;�=�=�DG~GsO�T�U�U<V�V�W�X�X2]>qCs/t��°K���]����#�!�-i$�'�(�))+O-�-f0�146�9�:�;�<2=�=�>JNP�P�QT�UsWm^�_0dJf�f9g�p�q�uCv�{��	�z�0���Ց|��_�����٠&�~�էs�;�������v�5���������o�%/&�'�(*�.�4�43:�<!=R>�A�TyW[A\3`b�c�d4n�q�rj�n�E�L�/�����I��.��	
5P6wX�^��_`�b7e�g7h�m"nSn�n}q�����������?	�	��J�Oa&�(4)�*c+�+�,�-�.�/�b�c�cOef�fbn2pZq�q�rAs�t�|K}!�@�$�t���>�ג������Q�b�Y�*�7��~�1�������#�����,���.�;�g���C�3�����@�t���n	�	`	�	a	�		�	�0	�2	J3	�3	�4	p6	�6	2@	�@	uD	�E	6F	cM	UR	�U	�V	UW	<f	�s		��	"�	F�	a�	c�		�	��	��	$�	�	�	&�	��	^�	��	��	��	;�	q�	��	+�	��	��	��	y�	��	6�	��	��	��	4�	��	��	��	8o9+10Q11�12�13]!14$15�'16�(17�)184*19�+20�/2112295238624�@25�E26�J27sL28M29�M30�O31MP32dP33<Q34�T35�T36)\37�\38=^39_40r_41c42|c43�c44:e45�e46f47�h48*k49�l50�l51Um52�m53�v54�y55Fz56H{57b}58859�60[�61{�62��63:�64�65ϑ66��67�68^�69�70ƙ71"�72��73~�74b�75�76X�77ť78>�79��80٫81N�82ִ83j�84��858�86]�87��88�89@�90��91t�92��93&�94��95��96��97�98��99^�100��101��102��103a�104<�105d�106o�107��108F�109�v�E	F���P*I, �!Y&�&�)+,�.S/�/{5Z6/@�D�DL�LJT�V�dtfBg�hfl
nRs�w�x<yz�z7{c}FI���%�3�H��o�ːA�T�����������2�����b�2����l�x���'�W�D�oO0t0e13:�:�=�>�@�A�BE)Eko�r�t�w"y�{$|�|110@�h�}�'�ߖė����;�J���g��������|�Z���P�y����c�!���d�������r���������������|�����]�����(�0�V���
�
�
�
,
/
�
�
�
�

�
�"
�"
�&
'
U'
�'
L.
�.
/
�/
~1
�2
�7
�9
:
B
�B
�C
iE
�K
1W
H_
�`
�f
�g
�k
�l
�n
r
$r
@s
Lu
�v
jw
�x
T}
�~
Q�
��
�
d�
א
6�
t�
×
��
��
��
j�
��
��
�
�
3�
˩
�
��
ĸ
�
�
��
D�
��
��
��
m�
a�
��
(�
��
y�
�
,�
n�
�
�J��~! "s"�"6%�- .�.�/�0�2g4�4�56�7�8_;(DTD|D�F�F�H�I>J�M�Q�S�T�T�U�]�^n_�_g`jaje�e�fi;i jmj�j�j�kLl�o�oZp�q/rgr�rk{�|�|Ae2�؀��=�d�����8�i�3�E��D����������*�4�1����)���[��N�V�M����"N#�#�%X(�FGfXcY�j%k�lim/p|q�tu�|�|�F�������������[���ԫz����_��2����zA�sz�D � �(�:/;�<�p} =#�#A$�)a+�.�.>/!0d3�7B8�9=:�<DFE�E�]�b�cId_k�lsmobo�pHs�wx|y�z�}r~-�|�����'�'�Z����שZ�������A�h�����6�R���f�C�c�������8�xn~�)6*�*�,�-�2�3�79;�;111N-O�O�O'QMQ�Q�QOR�R,S�[%\�^,`�jDku)w�w�w�x<�`�������٧�������R�^���!���z���8�R�����n�T������������S�J���Y�z�������P�����}-�.070�1�>xB�C^MOCTgTg~g�hSj�j�oyt�v6y'}�}�(���8����������1�	�[�����������"�okm�p
�
�
nD%�%�0�3�5-;�<CA�C�D�EG�J�JK�Sc�d�d.f
l/l�u#v�v'w�x`|F}���������[�������0��G�T�
���v��� �k�������P���/�m�����|���i���p0L	112g113�8o�G>�����Q #$�%�%�(�(�(�)�*�7M9�=�>$@q@}H�H�IZJ�P�Q�T�T7V�Zz`%d�dJh�h�iAj�jwm�o�r�w�ww�`������ߦ���˩m��������S���y!"�"�"�#$�()�156�67�8�9~:�B!CPCyD%E�E�NkP�T&V�V�]�^�^a%dpdOeffq�x�yʁQ���n���i�����.�6�T����̙������Q�;�f�A���W���X���M�}�����w��#=�8���������%��ݶW����<�S��������v���1��m�������������+�t�G�o�Y����X�����<��|������P
��<�v�o�q"rv�w�y�z@{�����Q�������W�V�_�ʠd�g��������ɬ�k�[���ڵ���η��e�:�߻ܼ���b���4�����X�������F�c���E�u�������&�����Y�����E}79!�!�%�%N&N'�5:�>VDOF�F9GIG�I?J�K�KMsN[O�Zi\X^�fmg}i�lp&q�x�y�~��1���S�W���^�p�[�������^��������f�N�x��F�2���l���������������y�<�K�U�WQX�X�bcVc�c�c2jYjm�p?qu�u����[������B����6��M��ƪ���Q�^�߲����ܶ���L�+���J����� ���i���!�G�����o��`�G�m���<�������r�������+������~#�)2/�/�/E0�0�13f3�5-9H9R:�<6?�@�M�M|N�ST�TiV�V}W�Y�Y(Z�[��c���g������114�~�������[�s�/���-��������_����$�+���>�������d�� � 7!�!�)*.+`,\./4�:�;�>=@�A�B�BI�IK�K�L�L�Q�R�UYW�WlYׂ�D�C���#�է����e����� ���N���k���1�������u�6�.Y�<	��
��`?���!i"%l%x-�/�0�2d3I7�89�9;�<tA�AAD�EkF�K�M'ODPsPiR
ftf@g"hbj�j/l_u�unvx)z�|3}��5����A����-��ŔJ���Җۨ3�����ίX�������.�W��M��3�K���������w�����>�`���B �	��(	)�)++�,-">O?oJdKsN�N�NGQ�X-Z9]S]�]c�s�tywy�{q|i}�}�~��%�׉�C�ђ���B�i����������2�Z�h��������q�k�Ѷ�#���q���r�8�����$�������j�����^���b����������Y�e�8@
�8]��: a � �"C'(�(**,�-�.Q39:}?b�!˓!��!�!Ý!Ϟ!�!c�!̬!��!5�!��!\�!��!#�!�!��!��!'�!��!��!��!p�!�"'"�"j"C"�"g""�"H"{"7"�""�*"b+"�+"U,"a-"%/"0"1"�="_@"�@"1O"�V"�W"'\"�\"L]"jc"kd"	f"Ct"xv"�v"2�"��"<�"c�"�"�"ݓ"��"��"��"��"�"��"\�"��"��"ޯ"ڱ"��"�"��""�"��"��"��"�"��".�"b�"?�"�"��"7�"N�"��"8�"��"��"�#�#nj' �'�'I�'�'��'V�'�'7�'��'`�''�'e�'�'(�'��'Ľ'�'��'m�'|�'��'j�'��'��'��'*�'��'�'��'�'��'��'%�'��'V�'��'D�'R�'S�'�'7�'�'=�'��'m�'}�';�'�'��'>�'7�'�'�'��'X�'��'e(�((�	(�(�
(��(��(?�(��(��(U�(��(3)T)�!)C$)�%)))U))�*)9+)�.)Y/)�/)25)WA)�B)�C)�E)�G)S)�S)T)�V).X)BX)�Y)])h^)�^)�a)�k)�r)�u)�v)Vw)�y)�y)�})�})�)��)$�)�)	�)R�)�)��)P�)N�)�)��)�).�)��)H�)	�)��)�)L�)��)��)u�)h�)��)�)��)��)ӱ)��)��)"�)��)k�)115�)Ի)��)J�)s�)��)��)m�)��)��)��)*�**~**�*�*A*�	*�	*c*�*�
*�*�*Z*�*^**�*^*u*)#*b&*'*�+*�-*�A*�B*�B*�C*�C*h*�j*�j*Dk*l*�m*Zn*(o*Yq*�r*Ps*�s*�u*�w*ix*�x*9�*�*�*?�*V�*ٓ*�*��*[�*�*116�*��*��*��*�*�*�*��*��*�*8�*��*X�*��*Y+�+{+�+F +0!+�$+y)+�)+�++�,+c0+B1+<2+�f+�i+�j+�j+r+�u+4v+Wx+�y+{+T|+�|+8}+�}+~+�~+�~+117+�+�+5�+$�+g�+�+ۄ+�+\�+��+%�+	�+��+�+��+MA/tC/�E/�F/�H/�H/^/�^/�_/d/�e/g/i/�j/k/^m/gp/�q/Us/+t/ou/�u/�{/X|/��/7�/
�/ن/O�/��/��/��/��/�/�/Z�/�/i�/V�/�/%�/p�/��/��/e�/��/"�/˸/�/��/�00�0�0�00�050}"0�#0C$0�$0�&0�@0B0K0qL0�L0�Q0S0�T0�T0�|0�0х0�0��0ޒ0��0�0��0נ0��0ܢ0�0��0�0��0�0J�0K�09�0İ0L�0��0Y�0��07�0�0y�0�0�0��0��0��0�0/�0��0��0-�0]�0U�0��0,�0��0��0�0��06�0��0�0�0Q�0L;1�;1?>1j>1�?1�@1DA1vA1�B1�C1�D1�I1HM1XN1�O1vR1eS1�U1�U1�V1VX1�X1_Y1�Z1�_1>`1�`1;a1�a1�e1�h1Ti1v1Iw1�w1�x1�x1y1wy1�y1�y1"z1�z1�}131��1�1P�1b�1^�1ޑ1ʓ1~�1��1�1.�1�1P�1��1z�1��1J�1&�1��1R�1��1118�1�1N�1��1��1��1��1��1D�1��1"�1s�1n�1��1:�1��1��1��1�1��1��1:2D2�2�2'282�(2�(2})2C*2�+272�72�7282�82a:25<2'I2�K2�L2�Q2�^2�`2�`20a2�r2�t2Xv2w2bz2R{2�|2+}20�2;�2��2D�2��2
�25�2Ə2{�2��27�2U�2ܚ2�2`�2+�2u�2�2��2Ϫ2�2g�2��2.�2��2س2�2�2�2v�2��2>�2��2��2��29�2��2��2}�2V�2��2c�2��2��2�2Z�2��2��2��2$�2��2�29�2��2��2�3J3w3�3�3�3�3�3�	3�33�33r"3F#3+3,3b-3U0323'63�93�93,;3�<3K=3n=3�C3�D3-F3[_3u_3�_3�`3�b3�c3�e3�e3^f3�i3�s3ht3v3�y3߀3��3��3��3!�3N�3	�33�3h�3��3l�3p�3g�3b�3��3��3��3��3B�3�3��3��3��3^�3�3a�3�3��3{4�4�4�
4w4�404�4:44�4/44|4�"49%4:)4�)4r24�44�44064�E4G4OG4�H4sJ44K4VL4fL4�N4�Q4�V4�m4�m4n4�n4�o44p4Wp4�r4Kv4�w4Vz4�|4�}4U�4119�4Ξ4ߟ4S�4:�4a�4!�4��4ί4��4ѵ4�4��4N�4�4��42�4n�4�4��4��4�4��4120�4��4��4�4V�4V�4��4��4�5�5Z5
5�55�!5;"5�"5{#5z$5�'5U(5l-5�-5t35�35�45�65�95::5�@5A5�B5�B5�C5�D5GF5�K5yL5�M5:N5O5sQ5�Q59S5�S5�T5V5yX5�d5�h5xj5�j5;k5�l5�p5�r5�t5�v54x5Zx5my5�y5+�5��5��5�5F�5��5��5#�5��5��5�54�5��5G�5��5��5��5�5j�5��5;6�6�6�66q61216�6$6T6�6�6�6�66�66�6�6�6�6� 6�!6026866�96%:6Q;6NB6vB6�B6�B6D6K6�K6�N6�\6W]6Kb6tc6�c6�d6g6Wj6�m6�o6Jw6Yx6�y6�z6h|6"�6B�6ݗ6h�6ј6ș68�6�69�6(�6Ƞ6X�6��6��6�6�6��6��6��6g�6H�6��6$�6�6�6�6o�6��6�6"�6��60�6��6x�6p�6b7F	7�7�
7>7�7�7m7z7�*7%+7l-7/78797;7F<7�<7CJ7�J7�Q7JS7�i7&j7Jo7r7+u7uw7{7�|7��7%�7��7]�77�7�7��7��7%�7��7V�7j�7��7�78�7T�7j�7�7f�7�7"�7��7Լ7�7��7~�7\�7��7E�7-�7��7��7��7��7C�7~�7{�78�7��78�7e�7q�7t�7�7y�778�+8]-8H38T48�48S98#:8�=8�?8�?8sB8�D8�H8ZK8�d8�f8&o8Hp8�q8�r8N�8��8��8��8M�8��8�8}�8J�8ץ8�8��8�8��8��8��8��8��8��8%�8��8�8m�8��8�8:�8�:9<9g<9Y=9>9B9�C=�D=�E=CF= H=�H=�P=�Y=:Z=�[=�\=�]=k=�k=�r=2w=Zw=�x=&{=�{=|=N�=��=��=ې=��=��=]�=ܙ=��=e�=��=E�=��=��=��=Y�=��=��=��=k�=��=��=e�=��=��=��=��=0�=��=��=R�=��=��=��=N>�'>�(>�*>/>�1>�2>�7>R9>:>�;>�?>B>WC>V>X>�b>�c>xd>�d>�o>Bq>�u>x>�x>�y>@z>�>f�>a�>k�>��>�>��>�>�>
�>U�>��>,�>I�>�>�>