Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00111_00000_shuffled.ds.index140 linesDownload Raw Back to root
1&v�_����2��/��I��� "`"�"�#�$�$%/%�%�&a'D)�)�+,x.�.kE.m�p|r�r�t�vwpw�y~�6�΃��!�?�r�׍��Q���ژ��٦�������_����P�>�����C�����:�{�Q���k��F+�,<->.�4�69v9=*=�=�>�CJ=KmO�Q�Q6R�S�SU�U/VYW�X�X�ZH]`'`�a�}M~���o�D���&��!��M�͍6�v����W����� �T�t�(���`�9���n�����E�E	�|�w�"	Z3��L�B���ܵ��ĸʹ$�������d���9�_������������q�4�T�������W�Y����Z	�	05Q6r�2�3q5A�ABBE,L[L�LVTUYe[`b2c�d�f�hAi�illm�np=q,v8x�xy/y�|�}ɐސK���{�ۖI�T���:���_�ƥl�����m�'�d�6�[�k�������?�ϸ[�G�ȼ����.�v���4��������������D���,�����f����1a�u	�h�/kS����la��!{!J#�*�*�+e-�-�.K02�2�2V:>pB�G�K�L	NO�QAT�T�U7\e^!`�`Ta�d7g�h��D�f���I���y������͔�����7�j��N�	����W�1����C���	�B���7�]�M�,�K�^�u[�/�~j�]�F �*�!�!�/�14N78�;�;�;j=�AnB�G�G�H�J�W�X�Z)[�eVf)g�g�l�Ʊ^�d���,�G�����R�������{������R���a�����+ b �!�'�(,�,�,�1�2�356�7�9�9�:�:+>�>DM�NJQzR�SU�_�~Y����8�P�Œ�����ڑ���J��S�����>����ΰ�	���>���������1�����y�f����l���d�^�1�����?�����R�����5�
�k�G�����A	�8	b	�			�	�		�!	$$	i$	�$	�'	A(	�(	v@	�A	�D	�G	&H	oH	ZO	�O	�O	LP	�P	�Q	�Q	�T	aU	qY	Qe	�f	�h	�|	�|	Q	ր	�	X�	[�	v�	��	ř	��	��	m�	p�	|�	��	+�	ۦ	C�	��	��	3�	��	�	.�	ջ	"�	��	(�	��	��	)9o10�11�	12�
13�
14t15�1617�18�19�20�21� 22�!23K#24�#25'26�(27�)28�729<830�;316>32�@33fC34�D35E36�E37�E38&F39M40�N41�P42|R43I^44�^45�^46!a47Ff48�n49�p50�q51�s52�s53�w54�w55y56oy57�y58�y59}}60Q~61�~62e�631�64ɂ65�66�67��68:�69b�70��71Ǔ72��73��74��75�76Ϡ77M�78n�79�80K�81�82�83^�84%�85�86ߴ87ع88�89;�90;�91��92�939�94��95��96��97��982�99#�100m�101��102��103��104O�105��106��107j�108��109-�110�111?�112��113��114��115g�116�117��118��119W�120��1211�122��123;3��~x
�
���#Y�b�J>�)(*p-J.�7�8�:MN�R#SASUT�UZ^Zjb�b�q@r	sds\t�tDu\u�uv�vxqx�z�{m|�~�����4�ˊ��-�z�������Z�ܯ������ز�3�d�����������J���������C���i�r���2�����	�	9H��qa�hJj�k�nxp8sGtv%wQw�yz�z;{�|X}����L��� �j�}����������Ҷ��`���R��Z�������|�(�g���u����RZ�"#�#�$�$S(?-�-#.�/�1t2)7]:=<D=X>z>�F�HIhIdJ�J�LBMxMiP�S#T�T�W�^�^{_ `.qo��v�L�ˑ�T�"������ЙL�Ѡ
�{�D��r�������ήƱ����+�2�g�@��)�����W�r���V��������P�V��������
�V�|�EO��� D�`�Č��124�O�����5����'���0�X�ʺ��7�Ⱦ��������W�D�C��������������R�}��������j�����1���_�
9���� �!
"�)R���������M��ʷ�=��������)���Z��_�����)�����0��$�t�������C�$���7�������������Oxm�
���A}t��'�(;)a+2.�.P1�1�5�6�Q�������125�9�U����֠y�����126��C�ֽ0�i�����������������\�����N�w����C���2�	�	�%
�
1�c)+�0�2f3�3A4k5�5�;/=1C�D�E�G�H�HANO�PlZ�[t_�a�i�o-pmp�pDv�y�{-�����=������������ůE�V��������ɽ���x�����v�����,�g��a�G��������������~�C�1�X�\�}�0�R������9�%�S���'�j���Ҝ��s�נӡ��D�i���/��`��c�����&�����������	2127�k���e���!h>�>|J�K�y���t��������u�B��}���0�������������������~��128V�4|5�:E>@�@�@A�A�F�LO�PdSkT[b�bNc�d�f�h�l�m`p�pKq�v�x�~��]������O�������ذc�ڴy�A�'������Z���]���]���9�C���t���Y�o�_����3�:�����v�,�e���D���V�����s	�	�	E����c�e����b � }!#T#�(hI@Q�QS�V�YMZ�\a	c�e	ggi�i$�h����υ͆f����f�ԓΖ����������Y�8����� �s�зx�}�|�5����������F����&��������_���!�	����9� �Z���u�������������
+gH'_���#t1u23�4N8�8X:Q;�;2<M>w>VrVXXg\ ]<_~a�b�cEd!~y���=���Ӊ>�������t�����L�˙ޚ��^�ߩ�/�Q�ݬv�E���5�1�^�ƻ̽����8�����I���!���O�����r����x��������������L�1�z�38F��	"7��<y�"�#����"o&�'.(J(�;�G*KtK6W�n�x�yzLz�{}�}ۃ�Ћi������X�=���;�z�����Z���g�z��������������e�����0����i����$�U(!^+�,]-�-:16z6�8A�BfC�CtEF)IQCUnU�Y>\`�`�a�a�b�c�dUe�e.h�h`iYj�k�kd!!�!�!l!^!�!�#!t'!�)!�+!�+!_E!-F!`H!�I!PL!�L!�O!�U!�V!�X!I_!�_!�h!j!�r!�|!�~!�!ʌ! �!��!>�!e�!��!��!�!129�!��!p�!<�!�!6�!��!+�!Ѷ!�!+�!��!A�!��!D�!��!�!w�!�!p�!}�!��!��!��!130�!P�!��!��!(�!��!q�!�!D�!��!�!��!��!]�!��!�"p"�""�"i	"�"
","�'"�'"�("�*"�-"0"c5"�9"�9"�:"�;"#<"m<"f>"C"?P"XQ"�Q"�x"G|"�|"}"a}"#~"Z"&�"��"��"z�"��".�"��"f�"��"��"=�"�"h�"��"��"��"��"(�"��"��"��"��"��"��"��"��"M�"��"'�"�D#F#�F#�G#7H#�J#K#�N#*T#�T#-U#�U#TV#9`#jb#�b#2d#ne#�e#�i#�l#�m#Qo#�o#Bp#�p#�r#js#�s#st#�v#�w#Dx#�x#�#ф#�#��#4�#��#>�#�#
�#a�#2�#�#P�#Ȱ#}�#�#r�#�#��#��#��#��#��#H�#��#L�#��#��#��#��#6�#�#t�#�#��#��#U�#��#��#9�#��#x�#��#�#��#|�#�$L$`$�$�$$1$Q$I$$�$D$d$&$�$� $�%$Y&$�&$3($O1$�5$i6$�6$f7$8$8$�9$W:$�:$e?$�?$A$�C$�C$�E$	F$RG$�I$�K$�L$aN$oQ$131S$tT$�T$�T$�W$�W$HX$�X$�Z$X[$�^$q_$`$�`$�c$�c$�e$�q$�t$5~$�~$�$�$.�$'�$��$݊$�$H�$��$:�$R�$�$3�$��$í$4�$�$Գ$��$��$A�$E�$[i&�i&�j&�k&�k&�l&�l&m&+�&ɧ&d�&B�&b�&��&��&o�&)�&�&��&�&�&�&��&9�&�&q�&�&�&��&��&��&�&-�&9�&y�&��&�''p'	'�132'�'.'s''�'u')A'aB'S'�S'<T'(U'�U'r]'�^'c'��'��'f�'(�'�'5�'w�'��'�t(Qv(�w(�w(�x(1z(��(M�( �(��(K�(V�(͒(p�(�(��(L�(m�(�(љ(�(ך(0�(P�(��(Ҟ(��(�(b�(u�(��(��(�(��(P�(�(��(�(*�(�(��(��(��(��(��(��(�(��(��(��(�($�(T�(��(��(�(K�(��(��(-�(��(W�(�(��(�(E�(�(d�(	)3)X))?)�)7)/)133)�134)>)�
))� )� )�!)c$)%)&)�&)')�')k))�))I*)b*)�*)�/)�0)K1)G3)�3)�4)�5)7)�;)�[)�_)�b)rf)?i)��)��)d�)��))�)��)�)��)F�)m�)g�)��)��)q*�*�135*�*�
*9&*�&*'*l'*�1*�1*23*04*l4*�4*]6*_9*x;*�;*D?*m?*�H*>J*�J*CM*�N*136[*\*�e*�e*df*dh*�s*�t*Fu*�u*={*�{* |*W|*��*��*��*φ*�*�*��*ύ*ˎ*�*��*�*��*�*��*�*�*٣*�*ר*�*�*&�*��*�*u�*׼*��*��*��*��*��*��*"�*�*��*-�*��*��*��*��*��*��*��*��*��*��*��*�*��*B+�+�+�+�+9+^+� +,!+�!+�!+."+�$+�$+�%+�&+\++,+�,+s-+�-+|/+y6+�6+�<+X@+sB+$C+rE+SF+�F+�O+�Q+�R+n+_n+�o+p+�q+er+s+u+�z+s}+l+�+�+��+�+&�+K�+�+��+%�+e�+*�+��+��+��+?�+c�+ �+�8,�=,'>,9?,�?,�?,J@,5^,C_,�_,�`,�a,�b,d,�d,�e,�e,�f,ai,,p,�p,�q,�u,�x,Ӄ,'�,��,[�,|�,��,'�,�,O�,f�,�,��,��,-�,��,��,��,1�,Y�,�,��,�,�,�,3�,��,��,��,e�,'�,��,�,/�,��,��,0�,_�,��,��,��,T�,��,X�,��,t�,T�,��,^�,6�,��,��,H�,��,	�,��,�,3�,d�,��,<�,��,"�,&137-�138-@
-�-�-�-'-�-�-�-�!-z'-.)-�)-�+-h,-�.-A/-0-�0-5-y6-8-L:-�:-�;-�?-�H-�e-f-i-8n-�n-�o-�o-pp-�p-t-
w-z-y{-j|-�}-�~-�~-��-��-[�-n�-R�-�-ԏ-ۑ-Q�-֒-��-Η-Ҙ-�-7�-T�-��-�-��- �-f�-�-m�-!�-��-��-��-��-4�-�-�p.tq.�v.Pz.O{.��.Մ.��.�.�.ڊ.��.��.ܘ.G�.Й.8�.t�.�.�.��.�.�.��.p�.�.2�.��.��.��.��.Դ.��.4�.��.I�.>�.b�.��.��.r�.��.��.��.��.]�.;�.	�.O�.`�.��.*�.U�.��.�.'�.��.N�.+�.�8/h9/Z:/�:/</4=/�=/>/A/�A/�A/KB/�C/pF/YL/�O/�Q/1R/gV/	X/SY/�]/[^/�^/�_/I`/?g/^h/�/��/�/E�/��/݌/��/�/W�/�/)�/��/��/N�/v�/��/o�/��/�/>�/�/:�/!�/��/,�/��/-�/��/��/�/D�/��/h�/z�/��/��/��/��/B�/��/��/z�/��/��/��/��/��/��/�00�0�
0W0u0�0�0�0o0�0�0v 0!0g#0�#0$0^%0�&0�+0k.0]30�506908;0�;0<0�<0�=0�>0�@0�H0TI0�R0�R0LT0�T0V0tV0�W0+X0�Y0Z0�Z0�^05_0:`0`n0o0�o0�u0v0�w0�w0139x00�0��0��0G�0C�0m�0�0p�0B�0޶0Z�0ĸ0r�0�0ջ0-�0��0R�0��0��0��0m�0��0�0V�0��0��0�0��0��0<�0��0��0W�0��0W�0�1�1�1V1y11�1�11{1�1�1(1�11�1� 1m!17&1�J1L1�L1 O1'Q1�Z1i\1�\1W]1s^1�`14a1�b1c1-c1*y1�z1|1�}1i1�1o�1ď1.�1��1��1ė1�1��1C�1��1Ϥ1
�1�1�1��1��1?�1��1��1��1C�1һ1��1
�1��1R�1��1r�1�12�1��1��1��1�1]�1��11�1��1]�1��1b�1��1E�1$�1�1��1m�1�1��1��1�1�1�1a�1!�1��1y2(212&-2b-2�-2�3252�82p:2A<2{<2\>2\F2�H2�H2zI2�K2!N2iN2�Q2zW2~27�2*�2&�2��2֖2�2�2K�2��2��2Y�2Ϯ2�2��2��2��21�2��2��2�2a�2��2'�2��2��2m�2��2��2b=3�F3FG3�M3eN3�N3kU3�[3:\3l]3�]3�^3�f3pg3 l34l3Pl3>t3�v3y3�y3��3��3�3��3G�3��3�3M�3[�3�3�3z�3s�3�3X�3ҿ3D�3��3��3��31�3��3u�3 �3_�3��3��3��3��3@�3��3��3��39�3y�3��3��3{4�4�4�4�4�4�4"4�4 4�4*%4�%4'4(4�(4�)4�)4�)4m+4�14]24�?4�?4A4TQ4�U4�U4+V4�Y4Z4/]4�b4�c4�y4�z4�|4�}4�~4i4��4ڀ4Z�4��4G�4�4��4��4\�4ֽ4־4��4�4��4B�4��4��4�4\�4	�4��45�4��41�4��4,�4��4�4�4��4�4��4H�4��4�5�5�5�5n!5C%5�)5e*5�05
15�15Q25�25�35�55'65�65�=5B5�D5E5�E5�F5�F5�G5gI5�J5�K5�O5$Q5�Y50�5��5K�5�5��5��5��5��5�5�5�5Ȼ5l�5v�5��5޿5��5�5140�5I�5��5��5��5$�5��5$�5��5��5��5;�5��5��5	�5��5��5��5��5��5�55�5��5��5F6�6�	6�66866�6666�!6�#6�#6!$6V&6�&6�]6�]6�^6�_6&`6ma6*d6�d6~6�~6��6�6ʊ6&�6��6��6e�6g�6��6��6�6ٕ66�6ԗ6��6��6��6Ӝ6�6��6>�6�6ǯ6Q�62�6�6%�6�6C�6�6��6)�6��6c�6��6��6p�6�6'�6M�6�6��6