Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00095_00000_shuffled.ds.index128 linesDownload Raw Back to root
1��;U*�`+�+/�7�81<�<�</?�?@E@�H�`Ebgb(d�ghaj�l�mr�ucvRw�w�yz�{ב|�����\�Ę@�͚�E���&�Z�S���@���(�����&�q�+�����}�"�u����e�%�t�#����������u����p2{�]
,d-�- 4�K�KGL�LM�N P3QT9X�`cNg�k�kEsLu�uvPvcx/�ÍC�֏��D�����������.���e�����C�J�g�#��N����K�$����m�A��N�i��F�f������^�����@� ������V�a�������������4�����C��a��'59�:�D/O�QLR�R�S�T�U{}��t�܁��#�Չ�9���^���������8�ШV�)�g�:���[�����?�����-���i��������d���T�������{������3��H	%4B�3�6�(�s��1��5p���	�!*�*�+�1�1�3�4�5�6�8K9�:�;Z>BPC�CE`F�F�GI�I�K�LO&PsP�P�T�V�YLZ{Z�Zl]_�`�fpg5pfu�u?v�z|�~Ẁ��������^�������S��E��˫��^�B�4�ֿI�Z�����4���B���D������(���;�-�?���.��������Z�������@��F����e"�%�'�*pPSQ�Q�hj�l�}�c����T���C���1�}�"�O���b�U����@����A��S���V�S�Ŵ��޷��Z��T����������_���������W���������������.�O����Z��a�	<	�����)�)?+Y-�-�-j.�/p1�24
7U8�9�@�@KA]C�CxH�L�NT;V�VxW�W;Y�Yc^_l_`�c�d�gi�}�}����w�v���A���͙���e���O���*������������B�����Z�����}��� �l�S�t�����d�/�������r�N�l���6�q�A����	[6�Z���o����I��;1<�=>�>�D�E�F�G�KpL�O�O�P�WhX�X�Y�Z�Z�deve4f�iMq7ryr5}�o�=�����n�w������=���]�h��Z���:	;	0<	m?	X@	jr	.�	��	��	�	i�	R�	�	��	��	ה	e�	�	��	W�	�	M�	��	��	K�	ު	˲	<�	�	x�	��	
�	��	�	�	��	Y�	-�	�	:�	V�	z�	Y�	O�	w�	��	w�	_�	u�	��	67�8�	9�10 11G12�13514o15�16|17�18�19�20�2122�%23�(24�)25k+26�+27�,28[/29�0301314132b133�334�435~536�5379<38-?39�@40TA41�L42�L43>O44P\45=^46q^47�`48}c49#e50ne51�m52n53Mn54�n55��56�57��58�59K�60~�61:�623�63w�64��65��66��67�68G�69�70��71��72�73V�74W�75��76�77��78�79q�80g�81´82N�83n�84�857�86�87��88L�89��90W�91��92�93o�94�95#�96�97f�98��99��100��101��102j�103H�104��105��106��107��108��109��110��111&�112��113�1�	�114Q�Q
 a�"#)B))//2�2l3�304�8�G�IOJwJ�JAM�N#_�_Sb�c�d�e�r�r�t0uSuo�g�;�:�H��–/�Y���f�l�9�B�
���"��y��V��������������R�m�r���(A	�	G115u116��c��t� � X!�'�0�2�3Q5Q8UR�R�T�UlW�X�\�`�d�f�f�fgbg�g_h"jIno�o�u1z�|Qi���e���������������c�8�q�������I���`���V�����6�S���)�b�	�V����G�8�����l�����3����
o
�

K
�
�
-

�
�
�
P
^
�
E
� 
�"
�&
�&
�'
�)
D/
�2
(4
�6
�
V�
q�
g�
+�
��
8�
X�
��
Z�
P�
��
M�
g�
T�
��
��
B�
p�
v�
�
6��HBOO����!N$�$%P,�.�.W0�0Mj�j�kl|G}��#�������:��ԋd�,�;�ˮ��X�N�ߺ��d���B�-�����!�����"����7������5L1@�117��,�-6P6�7�=�?@zno�o�t�}#���t�˄�j�ߊ6�+�%���F����������>���6�������]�:�5���?�����m�7���'�h���P���W�U������,���X��3���(��%]118�1�n�	!�!�"*,�,�,s.|/0�0�3W4�@SA�AFBbCyDE�P�TDVw]�b�j3l�l~mn<nHn>v�v�w3x�{�{|9!�5�׃��c�m��ѐ��d���=�ʦ=���~��8�Ѹz�ź�6� �w�!�����������K�������/�D���������$]��&]��_*W+,�/_03"464_6�6�<[NEQX�[b]�]'^+_�`�h�jmspt�t�zQ{<�;�c�Ս׎�l��E�Γ�5��<�L����6�͞���*�
���.������G�����˾�������������@������������C�2���i����������������= � I!�"&�*Q+�,�>�@gA�A�A�B�B�G�GZHI`O�OTV6W119Y\Q]~]^a2bv�v�x\y>|�|�_���\�ъy��W�ۑ���ۙ����ě���������Ͳͷ�;��������}�B�G�b���,����>���C�U�f����l�B�U� ���������fY��[�gb@ia��'� �%120*]*|.Z5QQ(S�SDU�UCV=W2l�qs���j�,�1�������Ê��121�6�̌Z�I� �Y������fx�	I122a�ao���&n(H)>*�+�/�/�7�@�G�H�JKL�MU�U�W�[�^`�`�d;esf�h�i�j����s�123�3�������E���-���������1�V��������
���
T�h � "�"'_'�;�<�=�>A�B�C�D�DVE�G�K�N2O�g<u�u�vwGx"}u��v��/�_�:�ʚ�������֬u�������p�g8�eN���
�!����E�1�4�5B6}=�=�=w>yG�HK�M�O�Z�\f]k^�^g`�`5ac�cUd�j kl�m�|���Ӈ���I���Œn�'�������ȕ5�_�����w���O���å�H�4��$��׬Ю��|�����O�����|�U��<���������������������������C�$���o�U���������(d���K�L$O�O�Q�S�S/_]i�j/vkv�v;x������g�������l�א�֔����2�G�@�����a�W�7�b���'�E����������W�����~�����>�+�t��zZ-hb	�Z��g.�y#�#�$v%�%�%*)V4�78;8:�;;=�=j>�>P@�@�B�\�]�]&`?a>dCe�eig~g�gsh�hZi�m�rh�¯3���Ҳ���������˷���˽������}�����U���������~���
�@���k� &�&�*�-�2
6WX�Xb[�[�\!]S^�_a�k�mq4sx�x�y*z�{V}�~"�����Ն����a�g�������q������7������y���&�!:�!124�!s�!��!��!��!��!D�!"�"�	"w125"�126"�
"�"}F"�F"G"~G"/I"�I"�I"MO"|O"WQ"R"T"$U"gU"�U"�W"�Y"�Y"n_"�`"c"�c"ye"g"Og"�g"�k"@l"�l"�l"�m"cn"�p"�q"�r"xx"�x"'�"[�"%�"&�"o�"��"��"f�"
�"E�"��"��"�"g�"��"��".�"ʭ"�"�"װ"��"��"³"B�"p�"�"��"K�"�"T�"һ"�"r�"��"��"��"��"��"�"J�"$�"��"�"C�"��"��"��"��"e�"��"��"��"��"R�"��"F�"��"��"�"/�"��"��"��"-�"��"��"?�"��"��"��"#r#�#8#L#b#�#z#�#�#b#�#/#�#c#�#�#�#� #� #8"###�##�%#l*#N+#�/#�5#�<#�L#]O#�W#6Y#Z#�j#�k#�m#o#%s#�u#�u#�w#/x#Iy#[z#{{#�{#�}#&~#��#��#�#�#.�#ڗ#5�#��#��#_�#^�#(�#.�#��#6�#��#� $� $�%$]&$�&$Z($W)$+$�.$]0$V3$�3$�4$6$�:$�;$<$�<$=$�=$�>$�@$�A$�A$qB$�C$E$"F$�G$8H$�H$7L$�M$7U$�Y$/Z$/]$^$�`$ya$=e$�n$�n$�o$�s$9u$6w$�x$<z$�z$�$Q�$-�$[�$9�$�$�$��$>�$p�$�$ɚ$��$��$�$��$��$��$�$^�$F�$(�$'%�%%,:%9I%#J%K%-L%�N%pO%uP%�P%�S%gV%9c%�d%0e%�e%Ph%ok%�q%�q%�r%0u%>v%�v%x%�x%�x%3y%�y%z%�{%�%Q�%*�%��%[�%�%w�%u�%ۓ%�%�%S�%_�%)�%p�%�%��%"�%��%�%��%��%#�%��%b�%��%h�%��%��%��%G�%#�%��%k�%j�%Y�%��%��%��%��%!�%�%^�%:�%��%��%$�%b�%8�%��%��%�%c�%'&�&�&g&�&X&�&�&	&�&�&&�&�&g�&X�&b�&��&T�&�
'\'�'3'�'b'�'/'t'�'2 '� 'F''t*'�*'�,'O.'k2'4'*6'~A'S'�S'^'_'?u'ov'�v'B�'ُ'ّ'�'��'ؒ'U�'�'��'ܟ'	�'-�'X�'�'��'�'��'��'��'y�'��'!�'i�'��'��'Q�'��'��'��'F�'��'<�'��'��'K�'��'��'��'(c%(�'(y((�+(,(w@(B(�{(�~(b�(��(8�(ٔ(֘(�(��(^�(�(��(ۧ(��(Ϩ(�(w�(�(m�(��(��(U�(��(��(8�(d�(�(��(��(��(��(��(�(��(v�(��(�(��(��(��(M�([�(A�("�(��(N�(�(j;-�<-7=-?-S?-�@-�C-cD-
E-|E-�O-SQ-�e-#{-P-
�-��-�-�-;�-�-��-Ӑ-��-ї-�-��-
�-,�-S�-�-��-�-��-��-��-��-<�-�-��-.�-3�-�-T�-6�-�-S�-�-5.�
.�.�.�.�.V.�..Z#.'%.�%.>&.|&.`'.d(. ).+.:,.e-.k..-/.U/.�/.90.�2.3.^4.�4.56.�7.8.�;.�;.�<./=.P=.gF.H.�M.�M./N.�P.GU.�\.�].�g.Sj.�j.p.q.�r.~s.�s.�s.#t.\t.u.#u.�u.�v.\x.�x.�x.y.A~.��.e�.��.��.i�.x�.~�.5�.:�.��.��.��.}�."�.��.��.��.��.�//�/�//I/-/k/� />1/�2/w3/�3/�3/�4/7/�7/�8/9/N9/�9/!;/z=/�=/�@/�A/B/eB/qY/�Z/H[/�[/�\/�^/oc/+i/�j/Nm/�m/n/�r/xt/�t/�u/�u/�v/�~/�/��/;�/˛/ߜ/��/��/;�/��/�/+�/�/��/g�/Ө/�/�/N�/:�/�/��/ۭ/��/��/s�/�/ʺ/��/�/'�/��/b�/\�/��/��//�/��/��/��/��/��/��/�/��/��/��/��/c�/Y�/$�/]�/u�/��/L�/��/�/��/C0�0�0"0�0�0u0�060>0�0L0�000=0E0�0�0�0`0�0�0'0�0�0�0Z0a!0T"0�'0�)0�-000L00d20R90=o0�o0Fq0�q0�q0,s0�s0Qt0�t0�y0r�0؄0"�0A�0Ԋ0��0��0��0��0��0`�0/�0ב0&�0o�0��0��0җ0,�0��0[�0��0�0�0L�0�0��0T�0�0��0��0r�0��0�0н0�0��0}�0��0-�0��0z�0�0>�0��0��0�0Z�0V�0127�0�0��0��0{�0��0-�0B�0��0"�00�0��0��0,�09�0J�0��0�0h�03�0��0��0��0�1'1x1�1�1�1|	1�	181�1�1�1z1�1711�1�131�1|1�1�1l!1O"1T*1�/1�01511,31'81o:1	;1<1M<1B=1�=1�?1RB1KE1`E1�L1O1XO1�T1�X1�Z1M^1b1!g1�h1�i1�i1128r1+t1�x1#�1!�1%�1/�1G�1��1��1��1��1�1��1��1��1��1��1�1��1=�1h�1��1��1	�1��1�2j 2;2%<2uC2~D2�F2G2�H2w|2�|2�~2Z�2&�2�2?�2��2l�2�28�2�2��2��2��2��2`�2��2*�2��2D�2��2�2�2�2��2��2��2��2��23�3�3�3�3�3�3�3�3�3S3�33u3�3�33�3�3� 3�83�3,�3��3��3*�3��3��3[�3|�3��3 �3~�31�3D�3��3��3��3��3��3��3B 4� 4� 4}!4�$4)4�)4B34�44~B4�B4�E4�G4SI4�I4}K4jN4P4�V4�X4�X4�Y4�Z4q\4#^4A_4Pa4�h43i4!m4�n4�n4Lq4�s4�v4By4�}4�}4��4��4��4P�4��4�4�4[�4״4G�4�4��4Y�4vP7�R7�\7�^7�`7@a7�a7*h7y7ay7�{7f�7t�7��7'�7�7V�7��7`�7{�7�7��7�7�7�7!�7r�7	�7��7%�7��7��7s�7v�7��7��7�7=�7Y�7��7=�7h�7��7��7h�7b�7��7D�7X�7#�7H8�8�8�8�8�8�8�8�86!8�$8�$8"%81&8P)8s*8�+8q,8�.8�28�28�48>58v58�58�78�98�<8�<8�=8>8�>8�Y8E�8��8��8��8̧8��8V�8��8�8,�8��8��8�8)�8N�8��8�8r�8�8��8��8t�8<�8N�8�8�8��8`�8��8��8�8?�8��8#�8B�8��8��8�8��8��8��80�8��8s�8��8��8��8��8J�8�82�8'�8y�8I�8��8��8��8�8929q99U99�9�9�9�	9{9Z9)9h9�.9J=9{>9�?9qA9�F9�H9-I9{K9L9�L9HM9�N9O9�O9yV9�V9Y9Gp9Rt9vt9�t9cu9�x9��9��9f�9h�9�9��9��9Ύ9�9[�9��9L�9��9��9}�9��9#�9ɬ9;�9^�9��9�9P�9��9$�9��9�91�9��9]�9��9(�9e�9��9��9��9��9��9��9=�9f�9�9�9�9