Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00114_00000_shuffled.ds.index110 linesDownload Raw Back to root
1p���^�!�/q4�4�<�<u?�G6H{K�K�LaN.OpO�R	`vf�mmt�tu[v�vp�������/���������2�A�����Q�������,���S�8�u�
�@�������i��[�`������;	r	�	/3�g�p�Q6�& e(�-N.2�23>�>�?>A�A�CvDvF�F�MSPkP�Q�U`V�Z�\�_�_0aon�n/o�o�p�rs�s�t}?~T������2���ː'��m�͔@����������s����K TkT�UvW�W0r�r�v�v�wL���܎ё �ؒ��������5����]�š:����������L�	���ѷ��۸e�J � 'w'{)�5f7/8�;�;�h�j:k�k�m����ʳ������	�����~�
������������6��G���f���i�!�n��c����@�m�f�O����G�@�b��o����gQf��1 � �!�#�(�)�0.1�LVM
Q�Q�QL]�^�d�ef�h�l@t�vxlx�z7{J�[���ԃ�؇��J�������#��R���[�7�ȝ���������m�v�?��4�K���α�����������ֿ������)�Q� ������� �����5���9���W����D�r�"%���7�y�� �"W%�&�&�(/)�.{/�/?�?�G�JK"LLM�OsQ.ST�_}bvghNixo�q�vjz�z{v|܃��	�@������Z���#��G�Ә��u�������3�c�7�_���ݮׯG�����ݵ�������A�Q�i����(�#���'����������e����:�^��������������F�����������^s�6&,�-H.A/?4�58:�:>*CEHGQH�H)J�JL�UsW�Y�YEZ�j3k�r�tgu+w؃8���z�ĊO�i���ז����V����٩���������!�����>�n�!�����������'�h�����>�����,���$	�	��
,3J[��Wq�z.�.g9[<�<]>�>�>�D�yz�|N~�~�2��y�t��1�Z�w�������������Z������g�̣X�G�����J�M�����&���u�{�V����8��1�{��^�pc 
��|5-;�;�;c<zBCTCDgDEiE�IJ�JLK#O{T�T�U�V�V�Wc�eAmOmboppp�qkr)u^v�w����ۚ��ܢ��C�������Y�W�'�Ž��d������%�������1�`�
������Y����	D	�	.		J	D	� 	� 	�#	e(	�)	�0	�:	(;	?<	c<	�O	�R	eW	�X	K]	�a	Wc	Zd	�d	,e	�m	 n	�o	et	du	�u	�v	w	�w	,z	"}	��	
�	��	�	�	=�	w�	�	h�	ܟ	*�	��	&�	��	_�	��	L�	
�	�	C�	�	z�	��	��	��	e�	y�	#�	2�	��	��	0�	w�	j�	��	��	N�	)�	{�	��	��	i�	��	H�	>�	^�	��	��	j�	2�	��	��	��	r�	��	�7�8�9 10*11p12+13�1415V16Y17�18�19?20b"21j#22�#23a(24�)25�+26�/27pJ289K29=R30�S31�a32b33�e34ki35�k36{m37rn38�n39$p40�q41�s42ct43�u44Lv45x46�47؀48*�49)�50(�51�52��53݊54/�55��56��57ʗ58Q�59��60X�61�62�63��64ڡ65��66g�67��68��69�70D�71��72�73H�74��75��76��77��78�79��80=�81��82��83;�84I�85��86��872�$%%�5�7�9e:�:�;�>GEH�M�P#S�U5VyZ�\�]�b�c^d�e@fVg�g�h�hl�np�p�pCxay�|~������]�7�8����������?�ѠU�S��������91S2t2�2�2r4�4%5F>�>�H�IVJ�R�WcZ^3_�_0`�`Pa�e�h�l|mwpet�x�z��(�ʅr��j���N���K���P���?�#�����U����r���?�X���K�N����|�������������������o���t
�
�
�
�
�
$ 
9 
n"
�(
4+
d+
�/
l0
�2
53
�5
�7
V
W
2h
gh
88i
,l
�l
x�W��R�9�����4�C�����q�6O:
�5Q�-��.$�%�2g9(=6B�CvD�O�Q�R�V�V�ab�bd_d�t�twvwQw�x�y�z�ze{�{�}(~�~�~�X���\���^�i�&����������>��b���ޯ^�ش
�s�����f�o�K�A���#���b�+����}�'���89�5��������)���l��H��k��90�91�92��8969�9Z;b@<J�L�NO5PvRLS�S-[93r�r�w.} ~!�3������P�����Ď���.�j����c���?�b�α,�[��v��8���ظ��g��BoC?D�DE#G�GHLALCNrN�N�OBYoY�Y�[@]�`�b?i6suv�wyz�,�΁����D�W�ѿ����o�����J�f�����~������������N���������������H���X�}���#�R���!u>	��E#O� |��!�"~(�6�8W9�:<,=�I�J�P�PkQS�S�_&ayaEc�rEsvKvKw�xvy�y}~��L�%��������������x��9���̯Ѱ�����������B�`����ž-�F�e�����j�������o� ���1�.�A�Y�Z�@���F�����5�J�k�b�`���,���X�a�B����.r'� M�!�!&@.�<�<2=>�?�D-GGJ�N�Q\S`T�i�kAl�moKt�t�u!yiy�zi}.��ԔL�������`�Ø94�n����í�y��������������,�o���<������%�����
�������"���&�����<&�&�(�(�)�*�-.�/1�2>3�3�495>�>�q4r�rPs�xԛ�c�*�!�Ǯ\���\�@���ݻü����N���T���T�1�������������B����=��������$�L���@���5�l�3�!�����m
�g���%�&c(u1�12�7�;�;n<�>�@�EJZJ"KMJQ�Q�W�WX^Z_[�[�\b@bkb�b�gXh{�|�}�~�ʃ؄ш!�����'�Ҡ=���l�%������q�D�������A�����������������,�A���8�������x95j��y��(�Z:&�&Y')�1G6�7:�<�=�>�>�>�R�RT�T�XZZ+^�c_d�d+e�e�ef�fgg�g�g�ik/kvr�r�w�z|��ƒ����n���b��6���N�ݚC�q�]��������v���ݼֽ��<�����R��������#��U��������z�zS|n}~�~����L�'�=���L���s�����I����5�+�3�:�[�X�:��1���"����W���96�(�V�����$���7����E��A q!"�"K%)>)�,";j;{<�=�>aK7M�MsR�R�S&VxX8Z�\_l�n�pq�q�z�{�}N�z�ބ'��Q�j���97�+�ͣԤ��������	�1���A�s�T��������E���c���5���"��t�5���N�������l���z���R�����K��D+
a�u���}% � !�#r$�$�(�35�9>:MK-L�LAN�N�O`8`g,g-�B�[�E�h��'�!�;��?���ŧJ�y�����_�����*����E��9�n�2�9�X�	w	f98u�"�#�(�3�3�79 =_=e?kT�q�|�}�$�N�����z�z�u�c�Ԗ9�����B�ž,�v���ù����~���e�g������������P�������Nw99k100�101W$�"�-<�=U?�@$A�AOB�B�B�B#NIO+Q�QR,]a>a~c�d�jtm�mdo�p�qs�s uKw�ypzH{�{%�p�d��τo�����'�t������ޒ.�h���Ҙ2��ҡs��4�y�ŧ�W�3�����������&���S�����H�{��) G4 �4 �4 �7 �7 z8 A< {< �> bA L �L �\ P^ [^ ` 9a /d �e �e �f �f ok �k �o Nq �q -t st u �u 7v �w �� �� �� ̉ ܋ �� ˍ � �� ʓ $� s� Ŗ '� Y� C� m� �� � 6� �� �� �� � �� [� �� � �� �� ϼ j� � �� W� �� (� S� -� �� �� �� �� �� �� �� �� � !R!�!Y!!0!�!�!f!�!�!�!@102!�!�!�!�!t!G!!I'!�)!*!�*!�*!u.!2!�2!�2!3!�3! 5!+5!6!I7!�8!�9!�A!B!IB!�B!�C!	F!�\!]!_!:_!�_!`!9a!�b!�f!$x!5~!��!q�!��!Ǒ!��!�!��!ߜ! �!��!|�!Ƨ!'�!`�!��!̸!�!��!��!��!W�!��!d�!��!�!�!:�!8�!�!R�!r�!j�!��!��!E�!0�!~�!d�!��!M�!��!d�!p�!a$�b$5k$�l$$m$�m$�m$8r$103s$Ls$�s$��$Q�$ɉ$s�$(�$~�$|�$�$�$��$�$Ψ$-�$t�$�$#�$��$�$��$�%�%3%~"%�"%#%�#%z$%p&%�&%�'%�,%�3%�3%4%`5%;8%�8%�8%I?%/@%�B%�D%�E%F%�H%cK%L%�M%�M%�N%jV%�V%�j%q%Sv%`x%�x%��%Ƃ%…%��%�%�%�%I�%��%n�%��%��%��%E�%��%f�%��%Y�%��%��%d�%��%��%A�%��%��%@�%��%��%��%��%$�%��%��%��%Q�%�	&?104&l105&�106&�107&w&3&Z&N&�&�&2&V,&�,&U1& �&��&ɏ&V�&ǐ&`�&P�&i�&��&.�&��&ª&ޭ&ѹ&�&]�&��&4�&U�&��&E�&z�&;�&F�&''�D'�U'�Y'�Z'*['I['�[']'^'�`'tb'�d'>e'�f'�f'�'#�'U�'��'��'�'��'g�'��'��'L�'|�'��'��'��'޽'V�'108�'1�'��'��'��'��'��'��'�'��'��'��'�'��'�'��'.�'�'��'|�'��'�'��'V�'��'N�'��',�'�(�(�(�"(#(�#(%(�&(Z)(V+(�+(�+(=,(�,(T-(;5(6(�8(M<(e>(�>(A(EF(�F(�G(WH(<L(�M(�^(X_(�`(�i(�i(j(�j(�k(�o(�p(�s(it(Yv(jw(O(�(8�('�(h�(��(	�(4�(:�(ӛ(ި(��(�(��(ͫ(Ŭ(>�(R�(ڮ(��(�(�(��(ش(�(�(^�(�(r�(�(>�(�(��(��(J�(t)�)�)�)q)�)q)>)�$)�-)z.)1)M3)�4)S5)�7)]:)z;)�;)/B)�B)�C)D)XD)�D)�E)H)]J)�S)nV)2W)Da)�a)Hc)�d)�h)Ij)�j)�k)5l)*m)�v)�z)!{)-|)<|)�)@�)��)Ԇ)109�)��)a�)Ҋ)��)C�)��)6�)Q�)9�)p�)��)ڥ)��)�)O�)̪)ʫ)j�)��)�)�)H�)U�)�)��)�)6�)��)�)��)��)��)��)��)��)R�)��)��)�)��)p�)��)��)��)��),�)t�)��)*�*�***�*�
*m***�*X*�**�*l�*̷*6�*Q�*��*.�*4�*!�*�*��*p�*�*��*O�*w�*��*�*��*L�*��*��*K�*��*z�*��*X�*U�*��*��*��*��*��*K�*�+k++K+\+Y+{+�+(++v!+�!+�"+'#+$+�)+++i-+�-+�-+�1+84+@6+7+n7+�8+�=+>+�>+$@+dB+vJ+�L+[M+aS+mX+�X+�X+�Y+^Z+�[+"\+�`+Ek+5m+�m+�o+�q+9r+ns+�s+%t+�t+�z+�z+�|+�~+o�+5�+��+��+��+��+Ď+ŏ+�+��+n�+�+^�+*�+s�+��+��+?�+й+z�+��+k�+��+�+)�+��+9�+��+U�+`�+m�+��+�+n�+�+m�+��+��+�,�	,2,",4#,`$,�$,�$,',A',�,,N.,�.,0,�1,B3,u3,�3,$7,�7,V9,�9,�<,W=,D>,?,�R,ZS,�S,4X,�Y,�[,�\,{_,@a,�s,�t,�u,Ex,p�,C�,ׄ,˅,[�,k�,��,�,:�,��,j�,�,�,ߗ,[�,��,¤,�,;�,��,*�,�,ֱ,�,-�,õ,��,��,]�,r�,��,Ƚ,q�,��,��,��,��,��,N�,A�,W�,:�,R�,�,��,q�,/�,*-0-�-�-�-8--%-G-�-/-<"-�#-$-]%-m%-U&-�(-,-m,-1100-�0-2-�5-�6-�;-�T--V-UV-�V-X-ZX-�Y-jZ-\-�l-�r-�s-�s-�t-�t-�u-?w-|w-�w-y-{-�{--~-`~-�~-	-�-��-��-T�-��-��-4�-�-E�-��-�-X�-��-��-�-U�-�-��-L�-��-��-m�-��-..J
..�.�.�.F.�.�.@".v#.�#.�0.3.O=.�>.�?.B.�E.hF.CH.I.aN.IP.�Q.�Q.'R.�R.cb.Ac.d.�d.�k.�m.	q.bs.Lt.�z.E�.=�.–.��.ȟ.
�.Ȣ.7�.l�.�.�.�/�/�/./: /I"/�"/$/�$/�$/Y)/�)/�*/"+/�+/A,/�,/,//�0/�;/�=/(>/O@/�A/#B/cC/�C/JH/�K/�M/�N/�O/iP/Q/ZV/X/?f/|f/|g/�h/3q/Ex/�x/�y/�y/�z/؎/�/�/9�/[�/Y�/��/��/��/��/��/*�/��/�/ӣ/q�/�/7�/��/��/ �/8�/γ/Y�/��/i�/ �/Y�/�/3�/��/��/#�/��/K�/��/<�/��/O�/��/�/Q�/@�/��/��/��/:�/��/\�/T�/�/ �/��/�/?�/�0�0�0i0)0�0W0�00�0F	0�0�0N0�0�0�0�0�0�0�010�09 0!0&#0�#0Q$0�$0~%0�(0�,0�,0%-0i/020�80�@0A0�B0RF0�T0�T0�T01V0?W0�W0�W0kX0�]0�b0�c0�d0+e0�e0�f0Hh0p0�p0�r0Ay0|0�~0:0�0�0X�0r�0��0��0�0e�0×0Z�0U�08�0^�0�0h�0��0I�0K�0�0�0X�0��0��0_�0��0Q�0�0��0��0��0��0p101�101�1