Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00117_00000_shuffled.ds.index121 linesDownload Raw Back to root
13,�!����	I�V�"n#�#�$�$�%U'|(T)�+�,0-2x2�3}5I7�7�:�<�<T=JAB�J�K[L������X,0�0�2l8�<�B�C�CIGcH�HJ)J�JEK�L�M4O)\�\`�`]a�cd�d�f�g�ju�ˬ����W�&�����Q�k�E�����s������������5�����%�������G����
������*� 4&�'�(;)�)�*�/�0�2�2�@RA E�EuFG<G�G�G�JK�K�K�X�Y�[]�]�^�^]_'evf�fHg�g�uv�vRy z�z�|����������U�5�Q�������W�*�L��L����b�������ð��b�ܶܽ��V�I�x�*�����M�q��������6�������]�����������<�h��������~�	�Pp:��%
'�*c+�,F- 0r23DEH#J�M�\$}p+�e��2�:����,�X����+���	�o�&��������������9���(����������$���X�V���	�;Q/u&��Bg���?��!�#v$�$�%�&,(�++,2.358<@�@�@JB�C�G�_�`�`�b}y‰t�™+���؟+�Ԡ�������������������i��������������������������-���1����L��I��U��6�`1��!!!U!�#�&�5�5�7�7|8�8�89�9�I�MAP�P�Z%[�[i\�\�a�gnbp�p9q����L�������������������8���d�̯4�@���Ա�F�����P�����2�k�����R��#�����k�;��������$��,�s
�Z�z��s"�"w#�#X$�$&N0�1�1]�]``�`�c�d�g�l�p�pUt�v8|�|
~>~{��˂�����c�������׈�׎3���E��������ة���`�+���J���X�ٵ\���:�/���=�������2�V���W����M����f���>�R�x�+����K��������d�{��	&	'
	�
	W	�		�	� 	a!	�!	�$	=%	�,	�-	J1	�1	/2	c9	Y;	�;	�;	�>	'?	X	�]	�^	�_	�}	s~		l�	r�	��	ԇ	r�	Z�	��	b�	��	A�	��	�	_�	��	
�	��	*�	m�	��	��	�	k�	��	*�	��	�	��	9�	J�	��	B�	��	��	\�	��	@�	)�	��	��	��	;5�6x7]8�910l11�12�13]14�15j16�17&18t1920�21q 22$"23�*2425+26(+27G+283,29b.30�=31>32�>33cA346G35'H36<I37�I38LJ39�K40�M41�P42[\43�\44�]45$^46t`47�a48Ed49k50l51]l52�l53Do546r55�z56{{57"|58�|59�}60�}61�62}�63U�64e�65ٕ66̜67��68#�69�70բ71��72,�73�74��75�76��77�78D�79��80X�81��82��83(�84Y�85��86��87!�88��89)�90_�91!�92�93�94C�95��96��97��987b7�@4G-N�UPV�V99W0X5YJ[t\Y]�]�]Xfnf�f��f��s�����$�]�Ҳ��ù�����;��#���J�2�.��{���s�@�u�����>�v�����������m�N���S	100�	�
&yw��l�'�-P/�0�0G1f1w4�4�6{7�9x:�CnJ�J�LxMlN�NNQ�Q�TU�U/V&X�Y�Z�\&]L]L`/b�b�i�i�j�k�l@srsdt�wYxizO{�{�}"�����9������H�3��F�[������
�9���>�������x���

�&
�&
Z'
l'
{'
�'
�*
�.
	1
M2
04
�5
�5
�9
�A
�D
�E
{F
+G
�J
�K
�P
sU
{W
wX
�Y
j\
N]
k`
a
Va
�c
�c
1h
nn
�n
�o
,q
�q
�s
�t
�u
�v
'x
px
;101�l���� �#�$�%>,�,2-�-.0�1�3�4Y��������ԑ�������Й��#�֝I�h�Ǟ��X���c���e�Ų?�v�9�u�,�\���7��������&O��q	�1020����
�4^(!.5_9�9&AtB�B7C%F�GeI�IJ�JwKL�L$OBUrVHh�i�knl�mc|��,-�/1:�:?y?�?,@�@�s�wӄW���O�m�҉H�����5�P���@���9�ԥ7����W���M��L����&���i�����u�>3?q?D@�@A�APBtD6G2H�H�HOIM	S"SU�{�{u�h�2���&�����l��H "��������	���.���x�����+��103�_j� 8!�%4+O+�./�/%7n9�9Q<l=>N@�FL�O�SUb-bFl�m2oop�q�r�s���t��������t������2����1�?�K�X��(��S�q�:�����Ʃf�r�����K�ϴH�����(�����T�������W���8�~������:���������<�@_k�	104�{�ef9�?�?c@�@lA�B�CYD�D�D]���n������ɝ�<�H�x�F�İF�]�9�l���V����o�����������������H������2��\�U�w�������5����a���F�r���K���
��� ��*4�"<$�$�$�$6&B1o1O4-5a8�8�E�F,G4H�H�JBK|KL�OTP�R�Y!^>^�`�aUc!e�ilZnr=r9t�u�w�x�x[>��ڈ)��Ռm���6�"�s����G�t�J������-����T�c�����ֺ������������������������s�����������U��������n�8�p���b���Y����v��!f"?$105&�&�5�5�7�7g89(;�ArB.D�D6E�E�F�I�JFKlKrM�Y�Y�Z][�g!h�hiVk�kl.o�oAr�t�u�v?w�w%{�}�}��%�6���ʍ'���z�����ѨH�Ϋ�x�~�����2�h��o�z�r�p�������$1$�%}5#7�<�=lA�A%B�I|J4L�T"UW�WX�XrY�[�\1]U]G`�aji�jkuo�o�p�q�s�}#�؂z�:�È9����3�����������v�i�����:�)�֨�������]�~�c������'�r��������x�������
�m�#�v���^�����U�������l�T���[�#�����)�*�*Y+u-�1i2�3�7�:S;A>�A�M�N7O�O�O�S�S�S4�j�J�*�����W�W�����Y����K�n�}����C�V��"�y�����#�>��������������������������M�����8�E�t���O��6-C106�`�107+���� � �%�:=-@�A�ADBvEiF�F�G{O�R�S:T�V�VXC\^�^�_}`�a�aebc:c�c;d�fuiMj�kTlJm�m�q�r�w�w>z&{'�����dž#�M�D���ތH������Ȥ���Ǭ ��9�L�����C�,�j�108�
�x�����B�K�t��m������q�>�����uh
��~��"�u�} �"!Q�S�S�T�T�T][�[�\�^E_a�a�a<cSc�e�fyn�r�t�u$}~�~*C���u�����=�n���t�òW���"�~�������������i�j�����o���o�������o���+����m�T�^_�;TE��!�"%�%d&�&�&�*�-�-�>?V?~?�? @�A�BF�H�J�L?M�Q�Q�[�c
�]�1�i��������'�Y��������U�dz�:���o��������E�܏אp�������t��������8�B���������dz��Ӷ&���z�*����V�3�������@�E � �? �A �G �H =I 2P eP �P �Q �R zS �T �V �V X �Z �\ �] �] �^ X_ Ma �a �a zb ?c Sg %i �l �l 5n x �x �| 3} ] k (� W� �� �� ~� � �� �� � R� &� g� �� q� V� �� �� Х �� Ѧ � ]� I� B� �� /� �� I� S� � Ļ � Q� ~� �� 5� � a� �� q� j� � X� �� �� 8� f� �� �� � �� �� �!!�!�!�!�!6!i!�A!�B!DC!�P!�P!�R!�t!Pv!w!"x!�z!}!@}!�~! �!��!ŀ!	�!x�!��!��!_�!��!2�!ƕ!�!U�!��!
�!��!��!,�!��!��!5�!��!,�!��!�!��!%�!A�!��!�!0�!��!�!�109"�"�"<","�"�"Y!"+$"�&"�'"�("~-">."/"(/"�3"a6"W7"]F"�F"HH"�I"�a"3b"d"�d"�d"�e"jo"p"�s"�v"*�"��"C�"��"L�"o�"��"}�"۔"W�"��"�"S�"ڛ"�"G�"9�"��"�"Q�"z�"2�"�"��"i�"3�"��"P�"c�"�"i�"��"��"��"��"�"`�"��"�"��"��"z�"��"n�"
#R
#Y#v##7#|#�#�#�#� #P-#L1#�2#�3#�6#�:#�;#�C#�F#BK#L#�L##N#�R#�V#�X#�X#�X# Y#Z#�d#/{#�}#�~#�#�#.�#��#b�#j�#+�#G�#�#Q�#��#��#>�#n�#�#:�#i�#/�#��#+�#-�#��#��#��#�#��#��#e�#��#a�#��#��#��#c�#��#��#A�#��#Z�#m�#��#c�#B�#��#�#v�#��#�#[�#P�#�#��#�$�$�$/-$N.$&/$�/$0$11$F3$&U$�Z$S\$�\$�b$�b$�e$�r$-}$y}$�$+�$Յ$�$K�$��$��$R�$�%�5%x6%�6%x7%<8%�:%k?%(@%
A%�A%{F%�I%2J%�K%5P%iR%>S%�S%�S%�^%�g%j%�j%�j%�k%8l%=m%yv%�w%k�%1�%�%��%V�%f�%��%<�%�%��%_�%1�%G�%��%��%��%"�%��%l�%�%�%��%��%	�%��%��%��%��%��%*�%�%T�%��%��%110�%U�%��%J�%��%��%�%��%�%&�%G&&�&9&f	&6&�
&�&V&�&U&�&o&B&�&H&+&6&�&p&:#&�*&�0&sX&�Z&?]&�a&�b&/c&sc&f&�g&�l&�m&�p&�p&�r&�r&�s&�t&Dx&�x&�z&�&��&�&�&ʈ&��&Պ&$�&I�&R�&�&+�&e�&��&��&D�&V�&��&o�&f�&ӫ&�&w�&ٱ&Ų&�&��&��&��&�&��&'�&�'�'x'>111'112'�113''_'�'9'�'�-'�.'�.'q/'�/'�0'j1'�6'=7':'<'|<'o='�T'�V'+W'�W'RX'lX'�]'`'ta'+h'Fi'm'o'Tu'zu'�u''v'{'�{'��'t�'$�'N�'��'ܑ'��'��'�'��'��'��'}�'��'p�'>�'@�'I�'��'P�'��'��'��'t�'�'��'�'��'Z�'��'%�'��'��'|�'*�'��'�'��'��'>�'��'P�'X(�(�(�(�((�$(\&(h)(�*(L+(M-(�/(K0(4(8?(�@(�F(�M(�U((W(AZ(X^(-d(Pd(�e(f(0f(Ni(�j(�j(6m(Nn(�r(�s({v(Z}(�}(d~(�~(!(�(��(g�(g�((6�(�(n�(��(՗(�(֙(,�(L�(ݛ(��(��(Ǟ()�(�(��(�(F�(��(�(ª(��(��(�(o�(��(��(�(\�(+�(��(��(��(�(��(K�(��(A�(G�([�(��(C�(g�(��(m�(x�(��(��(��(��(��(�)�)�	))�)M
)()�)~)�)�)�!)Z#)�#)�%)�&)D')�()�,)�4)�5)�:)B;)�;)�@)�B)�B)UF)�F)IH)�J)uL).U)GW)�W)�X)�X)�Y)+])^)�_)�`)ga)yd)ue)�f)�g)�j)In)�n)|r)�r)
v)x)z)5|)�|)u}))~)114�)��)��)��)�)ʼn).�)p�)C�)5�)��)�)ۓ)Ĕ)�)q�)��)�)��)��)	�)I�)߫)Q�)��)'�)]�)Ѯ)��)��)��)
�*��*K�*Ҧ*d�*�*T�* �*��*��* �*��*2�*[�*o�*��*��*��*Q+�+�+H+
+;+(+Q+�+`6+g7+'9+
;+HE+�E+�O+�P+VV+nc+��+��+��+��+;�+115�+��+w�+ά+�+y�+��+�+�+9�+��+K�+�+r�+��+_�+��+0�+��+��+��+��+�+x�+,�,e	,�	,�,�,�,*,�,�,�,I,�,,�,�,m,�,p%,Q',N(,�(,�(,�*,�+,E4,?5,j9,o:,�>,@,�@,�B,�I,DJ,kJ,�N,R,�R,�S,�T,�U,7V,CY,mY,�],q^,~a,<c,{d,�g,�g,�n,�o,�p,1q,nr,�r,�s,�u,��,��,!�,��,�,��,��,Ő,��,y�,��,��,�,��,�,��,,�,E�,d�,$�,��,��,W�,M�,I�,��,��,L�,S�,�,�,��,�,-�,6�,q�,E�,��,��,�-4116-�k-�k-6n-�n-�o-�r-.s-Eu-p|-9-y�-�-O�-��-��-v�-č-��-��-ה-��-O�-^�-V�-r�-��-w�-��-ϥ-ȴ-S�-�-�-)�-��-	�-��-l�-��-��-��-��-\�-�-��-^�-��-117�-��-N�-��-�-p�-��-��-�-��-118�-��-�.119.120.�.n.Y.(.k.3.�..�.� .�'.�(.�(.7.�=.�>.5D.2E.yH.lL.�M.�N.�O.�P.jR.yS.T.LT.�T.�V.�[.?].{a.�b.c.�e.�f.�j.�m.�o.�p.�q.�|.h1�h1�i1�i1/n1:r1�r1s1�s1v1sv1Iw1�1��1��1q�1]�13�1R�1��1��1q�1��1��1�1�1>�1w�1�1��1��1y�1��1��1N�1I�1��1�1��1�1��1��1��1l�1:�1"2<2�2�X21b2ʆ2�2�2D�2��2;�2]�2��21�2��2��2��22�2̤2&�2h�2�2��2~�2س2;�2��2L�2-�2��2�2��2��2��2�2��2�2��2�2*�2l�2��2=�2��2�3�3�3)3�3T3[3�3�
3�33i3L3�3�33�3q33T3�3�3�3%3u3�3�$3�%3{'3^(3�(3h,3�,3�,3-3'.3l.3�.3�23�23�63�83�:3};3�?3�?3@3�E3_G3�I3)J3M3dO3�P3�Q3�k3�l3vm3�o3�p3Jq3os3x3�x3{3+|3
}3O}3�}3�~3p�3��3��3�3�3��3l�3�3}�3��3��3}�3W�3v�3��3��3#�3�3�4�
4�4b41214R4%4e4�4H4�4� 4� 4`"4�$4T%45)4