Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00028_00000_shuffled.ds.index67 linesDownload Raw Back to root
1������	�	���I4�U�B_ W#'+�-�.�.�/H0H6�6�8�=�>/?�?%CaC�C�D�F�Gvf�lLp�pWt�tGv2w�w]xJy�y�z�{3}h�k������|��4�������/�c�����I�ߵ޼�����[�����a������z���_��������I�0������lQI � N!o!�%�'(�0�3�3�5!6s6~>?AVA�C�E�N�X�X*alBm�o�xN�C�q���������&�p�������߲�I�c������v�jq>�I� O&F'-(c;�D+HI�J�MkNtO;P�P!V#W�W�X�[\w^�_�`2a�g6h�h�p�q�swu�v�y����T�n�S������ֳ����k�����������h�������2 ^ �!�$�%.&�*�*p+�+�9�<�<d?L@�@�AC�HJ�K�P�Q�QSQS�TP\O]X^_n_b�e.m�m�o�p�q�rJsbt�tvv�wjy�z�z��܁M���׃a�`�w�����������F�8�V������K�������N��y�y���y�����k�������'�����5�V�`�!b'�'L*+[+�,/2�7"8_84</>�>7@#ABF	GQI
LdLfPQ�RS�k�k�n�o�p�s(t7u$wnx	yK}m}?_��k����^�i���ɊO������S�S�5����@�ϡ���p���e�8�f������3�N�����8��3h��d��U�%�(!)�)�*�*O,-�.�0U5�<2@XGPHuN-P�PZR�ST�T�c�ehfh�i�knip4qN	�	���p�%�����Y�����	�s���;�������������V�����>�����B����
�<�������u���Fz�
Y��$�%�&''�'c(�-h/�/F3�9;�=0>s>?�?�A�B;ECF;H�I�JIK�MsVdW�Z�`a�arc�df�fgEi�ij�j"k�lm�m�n	���׎�����A�%��r�_�̥�M��.�;����N�������p���E�����]�����L	�L	�M	�P	[Q	�Q	7R	�R	DZ	q[	\	rk	%�	j�	�	j�	��	��	�	x�	n�	��	4�	r�	ī	��	�	F�	ѭ	�	z�	;�	��	�	+�	�	`�	��	�	��	P�	��	��	x�	��	Q�	��	��	��	�	`�	i�	�	��	��	��	��	N�	��	-�	��	�	��	9�	/�	��	@�	��	�	��	j4=5�6^	7�8@9|10�11�12L13�14�15W16�17a18� 19##20#'21�*22�*23�,24-25Q/26%227�528@629�630A731L?32-A33E34F35g_36�b37�c38<d39>e40�g41\h42&k43[m44�!
�#
4$
T$
�%
�(
�7
�=
?
W@
�@
XJ
�L
�N
1Q
oQ
45a
Za
�b
�k
?l
�l
0t
�t
%u
Yw
�w
S�
8�
~�
�
!�
��
�
:�
��
�
�
��
�
7�
j�
��
��
Z�
`�
b�
��
��
�
��
O�
��
�
=�
��
��
��
��
��y046LdM	�&'i()1k1]3F6�6�:zA<E�IJ�J�M�NyOP�S#zW�3��NJ!�5�y���U���_�S�����Z����<����"�q�ӳ�/�5�M���ط>��o�����#�D����9���V������`���������,����
��47�o-E.0n0y4�4,5�5
8Z9k@�A�S�T?VeY�Ywa}gvl�r7t�u,vQwvy	�t�^���Đa���ԑ48�o��)�W��5����7���;�s�غ��u������ʾ����S�N����������w�������Y�������+��;���(~)�*�*�7�7�8LA�A�B�B�F�T�VCc�c
e�m.nZn�qpx�xtyU}�~j���2t��	\��U�
+-�-�.�.0Q0�0"13~3{4&6�6�9�;�?�@�@�C�D�G�JX�XXY�Y�Z![.e_e&s�{�������������K������G�V�����y�ؿ��L�6���
���-���"���� �Y���1��<������������Z�����a�U���6����)T�����"49#%�1�3�3D4�4z7z81:KF�HDI�L�OcV_WZ�^�`�c@eof�h�i�n�qzsu�~'�P�Ɗ�5����ޞ��Ġ$���<���?�ѧ���ɫ϶������k�����v�l�����n�	�=��^����u�5�M���]����
���N��1�8c:,?�@�A~BfD�D�HdP�S�S�S�T�VTY�^�a�cQu�u�v50x}y�za}X��51�(���&�e�Ë������|�U�̬�%������Y����O�k�i�D��	����38�9�<sCuF�FMGHIqU WTX�ZF}�}�~h-���~�"�����ӎ���ӑ���–�����5���+�U�����Ϥ�������3�V�˱�۶
�U������@���Z�����X���?�R��������C�����2�>��� ��As��@���j��"�#G$�$&!+�+�-�01�56v<�=^>�GVHtN�O�P�UcV�XYnZ�Z�[ua1c�c���c%w*-.Q.u/f0�3�4m5�5Y6�7�<kE�E�F
I�I�PLQ�R
T�T^UgX�oJpYr������e���C������ߚ����m�����}���e�G�,�+w�Et����n[�0� � �%:&�:v<�<;>�>�?�@NA1C�D`Gd#e�h�h�hlYn��)�0�K�c���=����A���/��"���B�������U����1�V����)�*����\���	���#~%';'�-�.//h1�1`2�4�667�7�7�<�?�B�C�G�JmN4^�_�a�oqqv�}-~�~T����~�{�5�ƈĊ���Ɏ}��Q���h�����R��j������W���-�[���y����u���x����9���������������������������9���X�����-��8
:��n!�!C0M1i78Y:�<?`?�@�A�BCcC�C�D`H�K9L=N�N�N�O�Q�S)T52U4U�W
Y�Y�\mn�n�zP�����3�т������}�X���{���s����E�)�>�}���e�#�������Ǻ�3�������.���i�c���(����|�5���U�C�������D�M�}����,�)�N���G���e����I�:���A%�'�(�0{1�8�]�d{e�wx|~�F^H&I�IUJ*V�Y&\�^J_�mnBx�x=y7|�}�~E�f���ه�~�Ɋp���&�s�I�S��� ��ȞO����Ǻл����ڽ&�˾��4�8{:��M.lz��,��~'*>�@�@UB�C�DIOI�I����������������,�������M���-�����	���%����R�(��� ��
�<�w,!�!�#]05�67i8�9�9/BKP�Q�S\Y�n�o?t�vG}C�W���E��������]�#�)������\�C�5�p������x���ha�.n�f#�#4%m&121�12�3�6K8�8H9L?AoAsE�F3G�G�H�HKI�J�J�L9P�RWX�X�Z�[�\�]�]3^h^�_`i�idl�m�pYqVrtuv�v9x�zZ~��V������R��_�H����͛����o���d���������%��b���۬�����53���#��1�������������r���>��B��������C�"�����Y�x�/�������,���V  54 � 6 x	 k �  � ~ * � � � C? �B �E TH �J �K �R �U �] _ b �b 55f �f �g ]l n <r �s �� v� נ w� -� � �� � �� � �� R� � �� 4� �� �%!&!�&!w(!Q3!q!Wv!�x!v�!56�!9�!�!��!��!c�!ӏ!�!l�!^�!�!H�!H�!��!��!W�!�!s�!��!��!�""d%"�%"&"h&"<."�/"5"95"�5"y6"�B"fC"(I"BL"UM"�O"�P"�Q"=R"U"�Z"�Z"\"�\"�_"7`",a"�a"�c"le"�e"�n"8|"�|"�}"�~"�"5�"��"�"��"i�"`�"��"ɚ"L�"]�"D�"֟"�"��"��"B�"��"��"��"W�"��"0�"��"�"d�"p�"��"��"�"�"��"��"��"��"57�"o�"��"�"��"��"&�"��",�"��"	�"I#�#r#<#�#�#h	#�
#H##�#�.#�.#/#p0#U1#�1#�2#_7#h;#F?#�?#�A#�D#�O#�P#�P#AU#NW#X#IX#VZ#�]#�^#�_#�`#�`#a#�a#�e#df#Wh#`l#n#o##p#�q#�q#�r#�s#�s#v#�w#�z#K{##|#�|#��#5�#@�#Ӂ#��#��#�#��#��#��#�#`�#��#7�#��#��#ڡ#��#U�#��#��#�#G�#�#"�#�#n�#s�#G�#��#��# �#^�#M�#��#0�#��#|�#��#x�#��#��#�$$$�58$�$.$�$$.$;"$#$?$$q($�($)$q+$70$�2$o;$m<$@=$k=$�=$�>$�?$�@$KB$�B$2G$+I$dI$|J$�J$M$�e$�f$�z$�z$~$�$5�$с$��$@�$�$r�$��$�$܊$8�$��$�$��${�$�$.�$.�$m�$Ǔ$'�$��$-�$V�$h�$��$��$�$-�$˩$��$-�$ܬ$��$d�$��$��$��$'�$�$1�$P�$��$��$�$?�$�$2�$Y�$�$�$�$5�$��$��$T�$��$��$��$.�$��$�$��$��$\�$W�$(�$��$#�$U�$��$�$�$Y%�`%^b%�b%�c%Sk%tl%�z%|%�|%�~%x%��%�%t�%I�%W�%G�%]�%<�%\�%��%T�%��%��%<�%�%��%9�%Ȣ%ͤ%�%'�%T�%+�%'�%��%��%��%G�%h�%��%�%��%��%��%�%�%59�%��%��%E�%v�%D�%�%��%Q�%�&�&�&/&�&6&j&�&�&�&/%&�%&�&&F(&Y)&�,&n/&�/&3&�3&�5&J6&�6&�;&�<&wC&�C&�E&�E&Xj'�j'"l'{m'�m'sr'Bs'�t'�u'Rw'y'�'��'��'È'�'؉'r�'f�'^�'y�'��'~�'�'a�')�'��'ژ'��'ʙ'o�'˛'s�'О'�'��'��'a�'H�'��'�'�'��'��'��'��'�'`�'��']�'W�'��'�'I�'��'��'@�'v�'��'��'��'��'J�'��'�((�60(,(�(�(4(�(�((�(�(O("(�(�(l(�(O%(Y&(�&(!'(�*(x,(�,(�.(/(&0(�0(x<(�<(D=(�=(�=(�>(�@(bA(nC(�C(�D(~E(BF(�G(�I(�I(L(rL(4N(gO(�W(�X(Y(RZ([(�](�s(x(�y(�(�(�(:�(q�(.�(N�(�(L�(��($�(��(��(��(��(��(�(B�(w�(&�(��(�(��(�(��(��(��(L�(��(��(��(��(�(��(��(�(��(/�(.�(m�(��(��(�61)u)�)�)+)�)�))�)�-)x.)�.)@)�A)�S)�T)W)�W)�X)�`)ja)�b)Dc)r)Is)Zu)ז)�)��)k�)?�)�)�)��)Q�)��)��)h�)J�)ը)�)��)î)v�)4�)��)8�)V�)��)�)D�)g�)��)��)��)��)��)e�)C�)��)��)
�)p�)��)��)�)#�)*�)D�)��)��)�)8�)+�)��)v**v*�*�*�*1	*62*r*-
*�
*\*(*X*�*�*�*^%*0**y+*�+*y,*F-*1*41*�?*OA*}A*�E*�K*�K*�L*&S*;T*NU*~U*l\*�]*Ia*�a*�l*om*�q*$r*u*bw*�w*�x*Qy*�{*F�*z�*q�*��*Ǐ*�*��*��*s�*�*C�*�*C�*�*q�*��*̶*�*�*H�*��*R�*��*��*k�*i�*��*��*(�*n�*��*Y�*�*��*c�*r�*2�*��*,�*T�*q�*7+�++�+�+:+�+�+�+�
+&+q+/+�+(+�+?+#+�#+&$+�$+�%+�%+r)+V*+.++:,+�,+�-+�9+�;+�<+�=+�A+�B+aD+KE+fE+�F+�G+�H+�H+�L+O+�O+�O+�P+R+�h+j+Gj+8k+0m+�q+�s+�u+|w+�w+Dy+d}+[~+ы+�+ޏ+2�+�+]�+�+K�+��+�+T�+}�+��+��+f�+m�+��+��+��+��+�+��+.�+�+��+o�+��+��+�,�,�,]63,�,�
,�,v,�,�,,�,�,,4,Y#,�%,�&,S',�4,�4,�5,6,j6,�6,I7,�I,�I,�K,�M,$N,xN,fO,lO,�O,U,�Y,�[,\,�\,�\,�^,,`,�`,;c,}e,�e,Mf,�g,Oi,j,Yj,m,Vm,@n,�n,to,�p,��,��,>�,a�,\�,�,��,7�,�,��,��,ެ,<�,��,�,»,��,��,N�,��,R�,��,�,P�,��,��,��,h�,��,'�,��,<�,T�,`--�-�-	 -[ -� -b#-�=-�G-_Y-�Y-�Z-�[-:\-�^-4_-�_-�a-�c-*d-�d-?e-�e-�e-�f-5j-Vj-yj-k-�k-o-�p-Dr-�r-�r-�u-Fv-�y-B{-}-g}-6~-�~-��-�-��-��-�-��-%�-a�-ŝ-d�-�-"�-��-~�-�-�-��-m�-��-��-��-��-��-�.�.K.�.h.�.�./.�.�._ .� .�$.N%.}%.U).&*.9/.�/.�1./4.V4.�M.&N.�N.�h.l.Xl.�l.�m.�m.0p.�p.$q.hq.�r.�s.%w.�w.4x.s�.��.��.�.�2/�4/B;/:@/A/�A/�B/vG/�G/+H/�H/8I/�I/WJ/�K/�K/�O/P/sQ/�Q/�U/Y/+Y/�o/�o/�p/r/�{/�|/�}/�~/��/��/��/,�/�/�/`�/��/<�/��/�/]�/�/�/��/7�/��/�/*�/��/D�/��/��/��/��/{�/��/O�/��/7�/|�/��/��/��/��/��/�/��/U0�0�0/0%0�0�0&640B650�660�670W0�
0y00]0�0�0�0�0^0�00O0w0�0 0� 0�"0�$0�%0�&0�(0))0!+0�80�90=0�=0�C0�E0�F0GG0�V0�Y09c0�c0Gd08e0�i0�j0nk0l0�l0�m0�o0"p0�p0�p0H�0��0��0�0��0N�0��0��0��0,�0=�0��0��0��0�0s�0ϲ0ܹ0��0ƻ0