Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00070_00000_shuffled.ds.index103 linesDownload Raw Back to root
1�I��2^&�E�(�
u�"�Z�[�\�f�gi�jk7lmqm�m�m%p0q�qgx�y�y5{�{}�}���O�	���I�����{�y���4���:���r� ������������a�K�������{�����2!*'j'h(J)/�12x24`569;9�:t<�=F�F�F�KqL�M�N@R�T+U�X�Y-Z6[�[{\�f����������8	�	�3���e�!#�-�>M?�?[A�B	JiJ�L�M�XZY�YQZ�Z�q�s<v�v$z|�K�Ņ��L�t�E�Ԋ�ԏa�>����9�ћɜ���T�����I������i���~������������/�~����j�������8�#�����$�cw4=no���� � �"�$w'\(t-34!7�7�7d>?�C�D�FFG!L�u+v{�}~�����g�����8�۔-�\��������������i����Y���7�J�����j���M���R�/�#�%�����_������n�S���l�������&�5�J��k~W�w��>	.�2H3�56>6i67�:�;�<�=�O�O:Q�R�S?U�[ ]M]_;f�fMhi�l'mCm�m?o�pJ����'�������w�9�����x�m�-���Xz���-	e	p6�7!lc�
<�v�!#)�0�9�9:�<f=�=?V@�@�A�B�CD�Q�R�WZxZ�Z�]�a�e�h�i|klrm&nXq�q�r�t�u�y�|�|=}�~/�����������N���M��X[�[E]�_�bKd�hni�k=l&�ǂ��|������V����������=��w�����?�c������Z�����R�?�z���
�k�o	N�v���Y  �"S$�)Q+�-.D.�.�.t0h1�1�<�?�@�@�C�C%M�NO�OPR S�^_3`b�c�c(jlKmn>oko{p�q�t[v�y�|~?~�N�~��3�h�b���l�����/�����6���Q�ئ��%�����
�M�c����������/�Q������2;���	�8�
���@#�TU6W�WzX�Y	Z�^�_9e�,�����T�q�����/���Ƨ���ƫ����H�����������}��������=�y�����������T���d����������j��	y)	�-	>/	�0	1	i1	q3	9=	b>	�@	\S	U	�U	MW	�W	Y_	�`	�`	�a	�b	�c	�c	�l	P�	��	Q�	��	#�	ΐ	��	v�	V�	�	C�	��	b�	��	M�	p�	��	��	��	l�	��	��	��	��	��	�10�11�12g13!	14�	15�	1617 18 19I20 21�22j23�24`#25�)26S-27�728�829�930F;31%<32�<33�=34A35iA36E37gE38F39�G40yL41 N42�N43;P44�[45�\46Pb47�c48�d49�e50�f51*g52�j53�m54�o55p56�p57�q58v59�x60��61�62u�63�64(�65��66l�67-�68�69ί70Z�71��72�73}�74I�75��76�77��78��79ֽ80��81q�82��83c�84��85T�86v�87�88E�89�CwD�K�K�MRN)OHQU�W�Y7ZQ[{^h�h�i�j�k�l�o�p�rs�sx^xy����R��i���ƋH�����}�	�@�y�0�����"�_����ף�� ���6�����P��п����Q���`����r�W���_���������L������������C�a���v����������L�m�6�!���:��/
�7!�!18�8#=CC�C�H�M$N�N�O\R�R�X9ZYZE\�\o_�h�h�j�l�m�skv%{�{U|�}ʔ֕����t���ǦL�x���)����]���ɹ%�Ļg�ξ����M�����p�)�Y�����R���r�����p�/�i��@���-����7�v��
�
�
<
W
�
F
�
^
�
�

�
'
P


-
�
2
#
�
�
�
 
� 
!
!
E#
p4
�5
26
O6
|6
`7
�8
9
X?
!@
�@
�@
�R
�S
�T
�U
V
�X
Y
�Y
Z
+\
�_
�b
g
�g

j
k
:m
�p
�q
9u
v

x
�
�
��
n�
�
q�
��
c�
)�
�
3�
W�
��
D�
k�
��
��
��
*�
F�
�
�
��
��
!�
c�
}�
��
�
��
#�
��
��
��
��
g�
��
��
/�
��
��
'�
��
5�
��
:�
O�
��
��
J�90z��Z
��'�'�'�(�*�+�0(2+3X5�5�:�AfB�B}G)IvI,JkK�Q�R>Z�]�^�^:_�`^a�giJilDl�nDp#q�qws�t+v�x������ގ(����ۓ���B�˙c������� ���y�ϣj�]����l���p������u���3�b���a���'���F�����������9
��~��"K�!�"�'z)�)�*�*�5�6�8�?�@`A�A
B�B�D�F�G�H�I?O�P�U�V_X�XbZ\�^R`�iol�{�{�~
5���e����X���������W���A���s�C���H������)4*7�7�:k;�>�@�@/BJCF�IOK{Z[�_u`Mf�fwg(j�j3m[nfy�y-��g�ߐ���n����¿��w�v���J�������3�7�1�o��$�D�P���*8/=4�4�5�9�9:;�SUX�X�oipPt�u\v�x�y8z�{F}Y�R���������%���\�w���t����d���(�n��%�h���s�K�����a���'�H�\����91!
����)�.U0�4�6!�؟ʣE����Q����n���/���m���p�������Q�/���j	�	�92�(�)3,207[7S8�9�F�LT�T�V�W�W*Z�]�]�]p�p�rv[wR����a������i���X����f���^�ú���������������2��o��'�w�����8�����.��������!����MU��DUG�G�L'MkM�O�W�W�Xa	c�gCm�n6o�o�omr�r�s�tu�u�u=v�w�x�yT�b�����.���A�P�ݥŭ#�I�c�;�����Զx�Y����]�����A���������k������W�������`�f�s������]�����%�w�q�����m���N�G� C!�!#�#$%�%`+�+�,�/1e1�67iA�AB�EVFWG[L�LFNcT�XP�y����d��������/���H�����I������&�|���p�<���]���-�[�������l�����g��	���$� �!�" #�#g$4%�%�%	&�'(Q)O*_B8CHD�DFFF�F�G�GNH�H�H8L�MS�T�XMZ�ef�k�m�p�qurx�y8z�|s}�~~������$��c
�E���H�L���kz��]&�'�'!(�(s)�.
B�BEC{	}~�ڀa�s���ˇ'�Ք�l�ͫݶT89�>�U�W�Z�^�_�sUtUu_v�}G~�~��v�g���߃�А|�֑o�0���˔e���R���h���J�����_�$�����'�������$���T�8�N���U�t�/�x�����	93494Jx�8/b�$�%�&��,����H�Y�%����?�1��H�"�c���=���P�d�w������x��S�pa�+�W �%�%0&�)�*�,8�889�;T?�?@�@�@fP�P�S~UR[�^`9mݧ\�֩��X���?�u���ʺ��g������������K�,�������������j�.���������<�a��������<�~J���s�&1h2�6:�<7>+?�?@MA�AN�Y�Z�]n^z_�_�bNc�j�m�o�r�r�wx�y�}r~l�Q���݇�����R������x���������ǒ:���q���?�A���������/�����j�Ե��d��������}�n���I�����:����T�i�����v���������������c�@�.�CyEX����� .!�!�&�'�)-#1?3�7O;g>�@�CD�DE"E�L2MWN?P�P�RV�\�]�i^l�lxm�m�n�n�q�q��!�O����Ӕ ���Z��a������,���?����+����S�����]�
���2�ɾY�������o�J�O��]=�k����W��$$�$�'�5�79\<�=�>�@eN�Y'[G[�[�[�\�]E`�`�`ta�jOx}x�x�y�z4��T�7�ˋ��������֒Z�95���|�p�3���t���{�}�ݧb�6��o���b���|�˽ɾ�Կ��"������f���4�������������4�o�k�&���~���z���(���l�(
I�j*GBsB;DMEM�MN�O)PlP�P�Q�k�l{m�n�ovq�q\r?uI����������F�U�1�����0�Q���������P�A���O�.���`�r�����G�����d����~�X���s�����6 � O � > �96 = =$ �0 e2 �4 �5 �9 �= SE �H �I �V ;X ?\ �\ �` 9a �a �b g �j �l �l 3m Mm �o Mp �p s "t dx �z } ߂ <� }� �� � �� �� J� � 1� �� �� w� 1� _� � Q� S� L� � '� � �� �� �� �� �� )� �� W� {� �� �� �� �!�97!,!�!�!7!�!!�"!#!�%!�+!�@!�A!/C!LD!�D!�E!�G!6K!�K!�M!N!kO!cU! W!X!R\!�]!�^!�_!Vj!k!Sk!�m!�o!ip!Ԋ!Ɍ!�!i�!ח!ћ!C�!��!$�!(�!e�!��!(�!#�!>�!w�!��!į!'�!ñ!|�!�!&�!�!@�!��!��!��!�"�"�"2"�"5""`"c<"�="�>"F@"OH"�K"M".O"b["|\"�\"�^"�_"�`"*a"e"_i"�i"Qj".l"a�"��"�"|�"��"��"$�"��"�"u�"�"_�"B�"�"��"I�"8�"Y�"��"P�"��"��".�"9�"��"�"��"E�"W�"��"�",�"��"2�"��"X�"��"h�"��"/�"��"��"�"m�"��"��"#`#�#�#�#�#�#r#�#�
#J#�#�#.#Z#{##@0#l2#45#<6#u7#�8#<#># ?#�A#�C#T�#[�#<�#ɛ#�#W�#D�#,�#�#��#T�#�#r�#��#v�#��#޲#q�#ʴ#�#~�#O�#��#	�#J�#��#��#��#�#~�#U�#��#^�#��#��#t�#98�#}{$�|$}$�$)�$_�$ѝ$��$D�$R�$��$η$�$5�$W�$�$6�$t�$L�$#�$��$��$��$_�$,�$'�$O�$�$��$��$:�$|�$/('�-'�0'6'9'�9'J;'�<'�='�>'	A'M'TP'�R'�S'�U'V'�W'rY'�u'~w'ˢ'�'Ѥ'`�'��'��'��'k�'Y�'V�'x�'լ'�'�'ض'\�'��'�'��'�'x�'+�'��'��'}�'��'��'�'��'@�'��'&�'[�'q�'s�'��'��'��'�'N�'��'�'�(@((�(f!(�!(�"(�#(K$(�+(�-(L/(�/(
0(1(f1(�2(6(l6(�9(�;(�;(o<(=(�?(SD(�D(�D(F(WF(�F(�J(�L(-N(/V(�W(\(�f(�g(�k(>l(�l(�o(�z(�|(�}(�(��(ۉ(�(
�(c�(k�(͖(ј(�(�(�(Ӛ(`�(�(	�(��(M�(ڢ(�(�(w�(��(8�(l�(��(&�(m�(]�(6�(��(��(�(0�(=�(!�(&�(��(0�(�(g�(��(`�(��(��(�)�)`)�)Q)T)O	)*)Y))m)S)y)h)�) )� )�,)?-)=)3D),F)�J)�Q)eR)�R)�U)[)�[)?\)�\)U`)�f)Gg)|h)�j)ol)�l)�q)�r)�r)qs)�t)�y){)'|)V|)�|)S})$~)��)��)��)�)2�)��)�)�)��*!�*%�*?�*��*�+�+�"+�#+$+�$+�(+�)+P*+�*+�-+�.+�.+�0+�7+y8+�;+f<+�<+�F+3L+M+�S+Z+E_+#d+se+%f+�f+�f+�g+hn+o+�r+z+j�+Ԃ+1�+C�+:�+q�+�+s�+<�+��+��+�+,�+H�+��+�+׫+լ+p�+��+,O,�,>,�,o,< ,�%,�&,�&,(,-,�/,�/,�0,;,�>,?,:?,AD,�F,�I,9L,�M,#N,0O,�O,AP,�P,NQ,S,�S,!W,UX,�X,
Y,�\,],S`,�`,�`,b,�o,�p,6t,�t,݂,��,�,ʉ,�,$�,�,@�,��,��,��,��,E�,2�,��,"�,9�,K�,�,T�,l�,"�,��,��,��,�-99-p-�-�-y100-�101-k-;-�--K-T--T->-�-�-�-;- ;-�;-|<-�A-�C-�F-�F-@G-�G-CI-�O-�O-~P-�P-�Q-R-�R--S-�S-dT-�T-�Z-+[-�[-V\-w^-�^-�a-b-<b-�c-�f-q-zq-�r-��-�-��-��-1�-�-��-ɞ-�-��-��-��-D�-��-��-N�-m�-,�-m�-��-��--�-�-��-D�-.�-e�-��-�-��-:�-��-'�-r�-��-��-&�-��-z�-��-:�-��-��-}�-�.�.r.�.�.�.�.�.b.�.�.�!.\#.�(.#1.�C.�D.-P.S.�T.�V.^Y.�Y.�Z.0_.�a.zb.�d.�g.�m.�r.ds.6t.�v.Cx.|y..z.`z.��.x�. .Р.��.�.w�.�.��.��.Ѱ.��.�.|�.��.��.��.��.102�.��.��.)�.��.�.��.�.��.-�.*�.��.d�.��.�.�.�/�/�/�/�
/�/�/Z�/4�/��/T�/y�/B�/�/��/�/�/��/<�/��/��/��/��/�/�/��/��/��/�/k�/ �/M�/a�/N�/��/��/103�/��/��/A�/�/��/�/��/��/�00$0	0�0�0	0#060�0 0�0�$0�$0g'0�'0�*0K.0�50�70�<0@06@0�@02B0|E0�F0XG0M0�M0�N0