Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00084_00000_shuffled.ds.index78 linesDownload Raw Back to root
1�Y�W�h�����1���{%
&,Q-�-8/�2�I�PbR�U+X�Y�[�^v�ϔ��}�ض-�����s�ѻ���E�IbKTL�L�M�M7NvNPQR#S0UfU,�2���'�����;��S���M�������b���)��>�����
�m����������x��V���7�p����{����Y���M�=�����34
����"K%w%R+�9%@�s}�1�r�������������h�z��>�j��������i��x�ƶָ����J�o��������5���� �����;�z�N�����(���[����y���W�C�m�������-�C�X���2���}���3?'�
�,naX\�F!>"�"�);*�7>�>&?�A�B�C�E�F6K�NSr\�^Q_�`�c&dn�n@������_����>��I�!�~�������4�����W���?���������>���^�f�+U
�
�������&7eL�$#b#�$�%�&�0�1�3�4�6d7�9�9�;�;@>_?�E�L8M�NjQR�U�U�WTX�XrZ�Za[\�\0^�_i`�a!f�g`h:l/mx�����1�R����Ҋ����2�U�����۫��s�%�f��������V�	�@�+�\�9�������L���V����s�������������R������������.� P*m*I,�-�.�405>�?�J�L�O�RSS�e�f3ij?j�vxRyez�z�y4�5I�)*`*+d+}3>7�7zM�M�M<P�R(XZ�\�^0bYbqb*euv�zs{�{Q|�)���o���É�`�~�w�̜��D�G���M��(�P����h���=�����0���������c���.�6����e�8���P���v���B�l����������.���J�~(wjRSB6
���+8�#q$S&�6�;:=s?}C�D�HLM�N�P)S���r�?����O�P����	�				�	�	"	�	P#	�#	]$	�$	+%	�+	�>	u?	@	�C	�E	�G	UI	�I	ZJ	L	O	?Q	S	�T	�T	�_	)a	Ya	yc	�g	�o	_	�	T�	�	R�	��	�	ό	��	I�	��	N�	��	<�	��	�	�	o�	��	��	s�	��	2�	͵	Ͷ	��	'�	^�	v�	��	T�	��	I�	��	��	j�	��	��	!�	�	1�	a�	��	��	�	&�	��	��	�	�'7�)8�,9�-10/11�/12�0131214sA15<D16�D17�D18gF19�H20(J21�K22L23�L24M25zM26P27�R28=S29>V30�[31�\32|a33�d34ge35�k36ll37�o38 q39`q40r41�w42cy43[z44��45?�46`�47�48p�49�50S�51��52V�53�54��55��56��57ڟ58$�593�60~�61������L�Z���[���e���A��=�������/

X
1
�
)	
P62
7
Y

g

2
�
k%
�'
�(
�)
,J
�V
�W
IX
Z
�[
�\
+_
�_
�c
'g
Pg
�g
h
�h
�o
�q
>r
,s
�{
�{
|
�|
��
��
��
��
��
��
��
[�
t�
��
��
��
��
d�
��
�
k�
��
r�
��
M�
��	s630
?dl��jF!�!&=�?@�@�A+D�y�z9|�~���V�f�a���D�#�e���E����թ
�ɪh�ǯ����������K��������X�`���^����'��������������ZR�����%�2ZT�3I4�4�8X9h;�=�>�r~st�t1{�|�X�N�����%�n�-�������R�s�%������dz�5�m����ȸ���.�c������k������4�����b�r����2����&�������P�|�����j��?�3�Ys�\/ I&�&>')7)�)�)�)S+�,-y-.[/0�9�9@=�=L?fB�C�D.GZH�y�	����ё����������%���`����4���r�;�c�)����+�|�����D��������������k�.r)�����Q�T�T�VY�YQZ�Z�[C\]9^�^
_9_�cf�gh_h�k�q64sgs�u�x*|t�ӄʍG�B�n�ݛ��
�'��<���֦�¨�v���[�;��G�:�9���g������(�r������)�i�#��t���5��H����������)����������<�����\�Q�����;>��b�}
�|g"C$i&�'�'()�)�*E,�,�3�4�=�=@>�>�?�A'BaB�CE2F�I�J;K*L�L�VX!Z�Z�\�c�d/f�h.iki6n�����ڋ&�����ƙ&�˝����ɢ��x��(�^����&�2�g�R�y�����V�������K�{�/�C�i���?���B�B�����C�D����
K��134O5�5�6Xr�s�sAt�w6x�x�y�z�z�s���a���J�r�4�Œ���A�����W�I���X�3������$��65���U�����'�w���D�6���4��3���zN )"�7�8�@6A�BJ�J�RaS/Y�Y�Z�[_\�^y_`�alPl{m�nCo�~�ɻ������S�����h�x�,����V���`(z=�=�=)DtD�D�D�E�F�I�O_QYS�SU]T]�]�^+d�e�e7g�jk4m�n�o2t�t�u�~��ہ�}���>�2���ϋ"��s����$�����I��e����'��66�f�f�����c�ֿO���S�����1�f�1�'���������!�4��������q�����M�b���L�����C�!>���	lr^�\R�Y"�"#:$H%�)�*�,`/\1�2�7;8�8@P�P�S�T-Yc[�_�a�b<cFfnQn�n9o�o�qLupv7y�zX{�{}y}~@�,�����������Վ������O���t���������{�,�˩����e���J�?�����4�����c�B�����.�����<�\�v�F���4���+�l�m���)�c��������67.x��%�&'�0z1�1�;�N&P QR�R�SwX9\_�`�b	cdAd�g�ham?qt�t+v��r�Å\��4���‹S�~�G���>������u�&�K�}�����{�����"�������s�����7������dz �*g+�,54�4�6�9~:u<�<=3>�>�A�D�DE7J6P;Q;S�S _�_hv�v4x�x2{Z{�|�Q�g�3�����ʉe����'��������������=����ݷ=��Ľ
�0�ʿ?�����t�������y�����x���!�E���&�]�e���w�����C�B�����	S68����!�#�$�$�%�')�*�*G+3@	D�J%L�Mi&�kzs/�twvx�x�x�z�{%|}<�r�����0��������ӹ��n��������a���*�������S�����.���0�v���������I���^�������o��������k��n��b�s�I�)	�69�Z��1�B�!�"#�#7$3%�'�(',�,P/�1�3�<p=@ R�S�U�W�X�X&Z�Zx]>^�^_�b_c�ebj!ksknYowo qrt�t�v�vȞ[���l�?�
�j�l��9�3�V����T�������	�z�����X�u�`�-�Y�����1�X�����=�϶k���N�D�P�ڽ�����@�O�����b�W�A���k���:����e^�Gc�:�;-<L<g<D�O�O~R�W�XxZ]M]�]>_bJc!g�i�lPmq�rMv�v�{�}����I�x�c���y�P�]�h���ѐ��"����Q��u�e��#�ٿ����I�%�����,�)��vD2�3�4�4�6�8�8W:�;d<�>�>�?�?E@�AC�C&FvG�H�H3I�Q�Q�TUXX>Y�YZ�[?_c��m�G�������f���h�y�X����f�
������:�/�+�>������������� = C	 �70 c
  � V C � � � �  z : ^  �  �" �' f4 �4 �4 G5 Z> �? tB �B �K �L �M T qU �o \� ߉ � H� � }� '� � �� � Ҥ 1� W� �� ٪ � �� � �� �� %� [� �� p� � !� 4� �� �� � ̸ � 2� к E� 8� 6� �� [� �� �� i� � � �� �� �� �� *� � �� %� �� *� 7!�!3
!W!�!u!�!�!I!b!!h!�!q)!-!f-!i.!Z1!�1!T2![3!�9!�9!~<!�=!>!O?!{@!�L!uT!�T!aU!"X!_!:_!�_!0d!�d!�g!�h!k!p!s!4y!3�!ō!ݎ!��!{�!f�!��!�!�!Ǧ!�!ȧ!ѩ!�!0�![�!��!�!j#%�#%�'%�+%J,%�.%:/%�/%A0%2%+2%�3%�3%7%b7%88%B%�D%�I%�J%NK%,O%aO%EU%$V%�V%e]%�]%b%*b%�b%'g%Oh%Ϊ%��%��%��%��%�%��%M�%:�%��%�%8�%G�%��%)�%y�%��%N�%��%��%��%o�%x	&q
&&=&W&&K&�&�&1&�&;&�;&>&`>&�>&A&A&B&�B&eC&�C&K&JK&L&�L&�L&�M&�M&�M&ON&)P&WP&�Q&]S&?U&�W&�a&�a&�c&3d&md&Mf&<g&�g&�m&Dn&�t&w&�w&4y&�{&��&|�&�&ۈ&U�&��&��&��&�&��&��&��&��&"�&ֺ&�&l�&�&��&F�&��&��&f�&��&��&D�&P�&��&��&��&��&<�&��&�&B�&R�&f�&#'�'`'&'�'�'U'S'71'l72'b'�'a''�'�'Z'b'�'�'N'>"'�$'�&':('o*'0'�1'Dz'�z'�{'�{'�'ڃ'N�'��'��'/�';�'��'`�'��'��'��'��'W�'��':�'��'_�'�'c�'��'��'R�'.�'��'��'��'��'��'��'��'��'"�'^�'��'��'��'5�'��'��'9(�(�((6(�(�
(6((Y("(�(�((�(�!(�"(#($(�$(�$(�'(v((/)(W(�W(WX(^[(�[(](�`(�a(?b(d(e(�e(f(%g(�k(�k(=l(an(�n(�n(�o(ks(Du(�u(2x(�x(]y(�y(�z(j|(�~(�(�(��(k�(J�(��([�(�(73�(��(>�(��(�(��(��(��(��(՟(�(�(H�(ڣ($�(ѥ(O�(��(�(��(	�(��(��(��(�(n�(�(Ѱ(�(}�(W�(�(��(�(c�(��(f�(A�(:�(�(�(��(4�(e�(u�(%�(^�(o�(��(0�()l	)�)})r)�)�)�)A))�)�)� )� )�")�()�))8,)�0)�1)�2)�3)�5):>)�>)�?)�H)�I)cK)�K)RM)xM):N)�S)�T)V)PV)�V)W)9W)�[)Mu)1)�)��)څ)Г)c�)c�)��)m�))�)}�)��)5�)��)��)��)4�)��)��)D�)|�)��)'�)��)�)��)P�)��)g�)&�)��)��)��)�)��)��)��)%�)��)��)�*�*�*~*�*i**T*�*)*,**1* #*o#*�#*0'*&**�**�+*�+*&.*�.*�7*1S*�S*p*\p*-q*Ew*��*��*��*��*��*R�*�*7�*I�*D�*��*��*s�*ǻ*��*��*�*
�*��*	�*g�*O�*�R+V�+��+=�+��+m�+��+�+x�+��+��+9�+ý+-�+��+o�+C�+��+��+��+�+	�+[�+��+9�+��+7�+3�+%�+��+��+V�+},i	,�	,�
,b,6,�,�,&,",�",�$,�&,),�),7*,�3,�3,s4,D9,^:,h;,�<,�M,4N,\N,�O,�R,�S,�U,�U,],�],�],8a,Ia,�a,=f,�g,=h,~k,?p,74r,ns,Vt,x,�y,8{,s{,8},�},Ā,G�,̂,(�,��,��,�,��,O�,3�,ɒ,��,f�,�,��,�,*�,X�,��,`�,��,��,B�,��,m�,��,��,)�,A�,��,�-	-^-�-�-�-_-v--� -�I-UK-�K-:M-3`-�`-�`-+a-�a-Rf-�g-4i-k-mk-�k-�l-Nv-Uz-�z-�-Á-�-P�-��-ۄ-e�-|�-��-	�-Ԑ-S�-��-�-��-��-�-�-��-�-)�-ư-+�-5�-R�-��-^�-��-��-S�-��-��-{�-.�-��-��-h�-��-I�-A._.n.
	.�..g.�.�.#
.5.�..S.�.H.+!.�".C&.S&.�;.�;.�?.@.�B.?U.V.gV.}].^.�_.�b.�c.�q.1u.ku.�u.�w.Ax.�z.4{.�{.�|.S�.�.�.:�.o�.g�.ō.Ǝ.�.�.��.�..�.T�.��.�._�.�.�.��.d�.��. �.��.��.�.��.ܱ.�.i�./�.G�.�./�.��.�.M�.��.K�.��.�.��.�.��.5�.��.�.6�.��.��.��.�.��.Y�.��.��.��.T�.c�.��.��.�.��.�/1/�/z/�	/75 76/E77/u/�/�/�/L/�/�/Y/�/�/�#/P%/<'/�)/ ./G//	0/�1/�2/�2/^3/�4/>8/R9/�9/�;/
J/ON/9P/�Z/[/�\/-^/lg/�h/�h/yi/�k/	m/om/hn//o/�r/Gs/�t/#{/|/}/=}/n/�/�/a�/Ӆ/܆/��/H�/��/�/ �/��/��/+�/�/��/��/��/��/4�/��/=�/T�/)�/+�/��/G�/��/��/��/��/6�/a�/*�/��/D�/��/[�/��/��/�/v�/o0�0�0/0V0�0D0�"0q#0�#0C-0�-0%.0�.0�00�00,10�10�40 50�50Y60	=0�=0f@05G0�G0G�0��0А0a�0��0��0��0��0E�0�0{�0��0�0ʰ0��0±078�0@�0
�0�0-�0[�0�0�0��0^�0л0�0��0��0��0 �0��0��07�07�0��0I�0>11�1<1�1�1�1�1�1]1�1�$1�,1*61P61�=1�>1B1�C1�E1~I1!J1�N1�W1�b1'c1�c1d1�e1�f1�f1�g1ih1�i1�k1hl1p1Kp1p1�p1?w1$1�1�1�1ƃ1�1/�1s�1��1W�1��1v�1�1A�1�1c�1��1��1�1��1�1�1�1F�1Q�1�1�1G�1��1��1?�1��1F2i2�2>2H2C2%2&2Z'2�+2t42'52�52�62M82�<2�<2