Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 2d agoView on Hugging Face
0likes73downloads
stack-v2-Java_00053_00000_shuffled.ds.index90 linesDownload Raw Back to root
1�	^z�
5��e��'��= !p"a%}%"&�&P',-�I-K�KFL!M�M�O2X�[>\�_`I`}`�b�dtx�xxy4����\��������d���;�c�������K������� ����	�d%[�$Y'�'�(D)*R+�+,�34�4�6w7/JJP�R�U�VY\�\lef�i�j
pq�qXr�u����"���_�4���"�����ғ�T&�&f'�FnIYT�Z�ij(l�mv�wz�{W|1}�}~�~�~�h�N���C�K�������u�������g�'���ޠt�`�âǣo��N��ê�K���ھ���]�������'�Q�y�n�4���$������������Qe�&�&5+�+�,b.�.�/�:>@_A�A BpEqF:I�J�K�K�]N_G`�cd�d�e�eQ�ê�U���h���J�ݶ�������{���(�v�.�������[�\����������i�����/���H�x��������W������#����P�	[s.�m�!�\"[$�$�&)(01�13�7�7~95:�? @[@�CMqM2O{R��g��s���)9*�*,o/�/�0934�5�8�8�9�:6;7>�O�P�TU?U	VIV%XTX^�^�`m�x�z�{�{B}�~�<�͊�o���b�V�������ʺ��������]���������q���)�����
����u��P�9���F�q��������������x��b���a	�/c�w�-(�(�*�1�3e<�<IJ�J�L_NOO�OJP�R�Y�[_c�caf�t�t�t|���������&)
$���qn���1 �";$�$^)�)�/0E1]4@;�;@Q�QlR�W�W�[�\Em�nwo�oq�r�rt5txp}y�m���یڎ��ے��������{�1�����*����E�@���	�\���T��Q�o���տC�c�G�������W�������-�����M���:�F�����G���U�]���B���	(	X	�	Y		E	w			�	_	e	N	�"	,%	�%	�%	(	�-	.	/	�0	.6	�7	�;	s@	A	FA	C	�E	�E	nH	�H	�O	Q	>S	�T	U	�U	)W	�W	NX	Z	�]	Wb	�b	�c	�e	�f	Vh	�h	�i	.m	'n	�n	�p	�u	�v	��	S�	ي	R�	L�	�	J�	Z�	��	W�	ʝ	�	�	L�	��	��	��	�	͵	7�	U�	��	�	p�	i�	��	]�	n�	��	��	��	�	�	��	F3�4�56k7�89� 10u!11$12T(13^(14�(15�)16�*17�+18u319l420W621�722G;23>24�@25�A26�H27J28XJ29�J30�Y31[32x\33x^34ia35=c36d37�e38�e39h40�h41Qi42Jl43�m44|o45�o46�o47p48j}49�~50S51
�52E�53��54{�55��56&�57D�58��59?�60��61ܧ62�63ձ640�65#�66��67�68��69a�708�71,�72��734�74n�75��76\�77���k[��78��l���)<;�;�gzh����א��@�ǒ���Ƥb�~������l���79�_���D�+���
ai��*i<q�c&_)/+�-80.�.�/%1�6�:�;�<_?�?BG�GYH�HaI�I�M5N�NO�O�QMRЮ�����/�ĴԿ�P�#������7�������X���@���Q����d�Q��������0���*��~���%����)
*
t*
�+
�/
�/
V5
7
�7
c9
�9
:
4<
�<
�?
ZC
�C
�H
�K
�L
^P
�P
UR
�S
AT
�T
fU
�X
Y
)Y
[Y
�`
�a
}b
�u
�v
cw
Yx
�x
y
6y
rz
7~
j~
m
��
a�
��
�
� �!S"�%X&�(2)�*w,�,&-#7h>�D)E:U�U�U~V>WRX�XY	^8_b8bfc�c�c*dTh i$iZr�r�s�uX|��h���C�|�U�֖ؗ6���ե5�������ҲB�p�Ļ���>�*�5�8�����������������S���������s���_&o�+@���!W#5$'�03�3�3�4Q?`M�N�NSOXP�QT>T�VH_�a�mEo�o4w�|n}e~�U�T�����(�p�9�\����9�$��������ǣ�4�v���0����8���%�[�Ի����<����������E�.���^�������`"�#1$�)*-f-!/�/f5n:"@�@�A�BD�D*EGH�HiS@V�V�YcZ�Z�[�f�g�h�kJpيD����#���(�J���ܲK�l����ӹ4��&�����u��?�H�����.�N���;�y��2�6��!E")�23*3D5<8�;�=G�I�K81R�['_F`�`�abg�osE���N�����ҍe��T�؞P���G�6��j�#�l�������2�c����0�ݹp���l�L���v���<�Y������������"�C�^����&�=�~���\�����M�q�����C���x�)��8�$XB�;.>�>�?K@�@�A�B�L�OP?Q�Q-R\RlS�S0T�T�U)YaYZ�a�dNe�e�fj�j�k>no�oqyt:u�u:v�vs�������D�����ҳG�+��<���I�{�~��B���=�������`�o�'������`������������I=6���/w!�"%'�'�(e)K*b+�+O1�1�2L3�4�8�;i<�=0B�D0IkO,PIQDT1VFW�X9Y�Y�[W\5^<i�iok�l�m�n�u}w�y�y{o�؀%����]�Ƌ�����H�G�`�x���ۜ�R�^���ͤ�8�����6�x�c�����J�S���������B�y���r�a�V�]�̏���В��0���?�s�Ѡr��������u�I����82��1���������G���*�(�N���8��0���@�o������v���
����qA{F�GoH�K�LNOP-R�b�~�����W�2�Ųc�E���]�����m�{�(�0����V�����K���K���.�f����|�������������b��
{
B��Q�171 � �34�6�A�I~K@S�SvTZ[\e5e�ghjNm�mDn�o�~�{����ކ�����W�M�Β����3����ۢ���F�����#�X�l��r���I�}���&�[��������G���������������o����.���a�83�����������	���+p3?z�{�!�"Z#�#�$f%�%�9�;�>~B�CLD�DN�OQ�QGR�S�V�W�X�X6\�\�]�]�p��x�Z����<�וC���Ǜ��Z����8������j�-�y�f�L�ӶٸƼ������x�����+�������������G���	�g���3�s�J�C�K���������G#� ),�,�6`7�<=XB�D�Q�X�a�aQb�b�b�c�de�h[m�nLo�o�q�s�w�xeyz4{|�|�}�����������?���Ֆ����/�Þ!�T����������
�.�����>�_�ٳ��a���M���޶���p�#���2���������aB'�(�)+�+�,o-'1<2455�?B�K�M�M�NGO�THY�b?c�f�i�j�j�o�o7p�t}u&w�/�������R�5�z����\��0�ܣ��'�t�̬��E�ʯS�t��b�������B�Y�84�������R�]�������X-.61b28D9�9�:�@�C[D�D�G�H+IJcL�L�O�OcSrT�Yq[�[�^Fc�j�o�o�pFq�u�vxs|}p}~~ʄ#���Ç��Z�;�h�����d�m���������:�_�q���=�R�x����x������<����w�����F�V����*����� !F!�#2$�,N-.L0y0sDEbGyH�HCK�KqL�M�R]TWW�X�Y�\�]�_�`Ha�a5bd�f}g�hBi�i�igj�j�k
lrlhn�n�ohpMv%w{.|��}�|�X���ďM���}�F����h�������ۨҩ��V�G���&�m�����g�0�
P�WLT����K��".#$c'I+2,�0R2�23�3�5?;�;
B�BICUF�J�U	V�V�W%X�YZ2ZkZ@`Wd�f=z*{�|��Z�'��̇����������4�)����6�����ɸ�`�ʹ���V���!��S�a�������4�Q���/���&�J�,���	�85^�z��"@"2#�#$�$b&Y*�*�*�9<d>�{�~��χ	�Ŋ���V������v������~����ٳ��E�<�=�F������%���F�����,�a��������������r�������Z�����hp�
��<z��6R��S!�">#�$�$)�)�+,,b-�1�1�6�:�;<�=NF:I�K�M�NZO�O�PYW�W�Y�Z�h�i]j�j�k4llm�pDq�tu�uox�x�{L|q��T�3��İر9�~�
�X�B���l����'���<�`�~���������4�K�S���|���I�C�����?�������U���
�����Z�����9�7�(�(S)G.�/D3a3�6�=�=�>�?@kA?BC^C�x�{=|~}M������%�,���N�,�\�@�����}���86�����Y���������a����������2�R�M�����Z �   #	 �	 �87  � � � q p c  |! �. �/ p0 �0 z2 �2 �3 �3 D *H `I �J �J �M �N �O rS �T UV X |[ ;\ ] �] �^ 
_ k_ d � Ŵ ׵ �� #� Ǽ � F� �� [� �� �� ~� F� �� �� \� p� �� �� �!(!f!�!�!�!!�!&!	!u88!�!:!B!$!.!(!!t"!B%!)!i+!�3!V4!�4!896!Q6!�A!�B!�C!�O!EQ!�S!HU!�U!"W!�X!�Y!�i!@j!�m!Hn!�n!4t!�u!y!L�!X�!ʄ!��!"�!"�!��!��!��!�!h�!6�!U�!d�!��!|�!��!%�!j�!��!8�!ʿ!_�!��! �!��!�!��!�!Z�!T�!��!N�!Y�!y�!��!1�!0�!��!!�!��!�!��!�!��!��!r"�"z"2"e	"v"�""k"�"�""�"{"�"�#"Y("X-"�-"a."L/"�1"�3"�3"�4"35"�;"�;"Y<"�<"2="�?"@"�@"TA"�A"SB"J"*K"�K"L"vM"�O"�P"�S"T"U"yU"Y"["i[",\"�\"�^"X_"�`"��"6�"u�"v�"Ԉ"�"B�"�"ŕ"��"��"d�")�"��"F�"�"��"��"[�"��"��"��"/�"�"b�"9�"��"i�"��"��"a�"i�"�"��"��"?�"z�"�	##�#9#_#�#�#�#"#�"#�&#u'#F(#,#�,##-#O.#S/#�/#�2#o3#�3#6#X6#.7#�7#x8#�9#�;#�=#�@#J#2K#rM#_h#m#�m#6p#�p#�t#�u#,w#vw#z#�|#�#��#��#�#��#��#��#�#ǒ#5�#��#A�#ڙ#��#��#��#�#k�#�#W�#v�#!�#��#��#��#��#��#��#ҭ#s�#n�#��#о#c�#�#0�#��#��#R�#c�#
�#��#e�#��#��#]�#^�#g�##�#9$�$c$P$0	$�$�$e$$$:$u$S$�"$#$*$$H%$�&$'$OA$�A$�T$�T$�$��$_�$�$6�$m�$L�$I�$ �$̥$r�$�$6�$��$��$m�$5�$�$^�$��$�$e�$��$��$2�$	�$:�$��$V�$�$t�$��$
�$.�$��$8�$��$V%f%�%D%e	%�
%�%�%.%f%�%H%y%�%�%�%A% %|%%�%4%�%/"%K#%�$%C&%�*%+%�+%,%�,%�>% ?%hA%�B%PC%�D%�P%bT%�T%MW%X%90Y%�[%�]%`%�`%;d%�d%co%wr%Hs%�s%x|%l[&�[&�n&-o&�v&�z&�{&�|&?�&��&��&݆&��&�&ђ&q�&��&�&*�&כ&��&g�&٢&l�&{�&�&y�&g�&z�&]�&�&+�&�&t�&�&4>'DA'�F'~G'dH'�H'#J'�J'M'�P'S'�W'
Y'[]'�l'Bm'�m'uq'�q'`{'��',�'�'/�'��'��'Y(:(�(�((�(�(�(�(�&(K/(�1(�2(4(5(�7(O9(�>(�C(D(�Z([[(�\(Z]({^(Ka(�d(Kp(�p(�v(�w(�|(w}(j�(��(܅(��(�(E�(��(��(D�(Č((��(��(��(��(8�(T�(n�(�(��(��(�(T�(и(a�(u�(��(J�(��(j�(��(�(��(}�(��()N))�)�)�)F)�)`)�)�)�+)RB)H)�P)�P)�Q)�T)=W)�W)|X)TY):[)9\)Od)&f)tf)/g);h)4k)6p)�w)Cx)�{)|)�)e�)��)ҙ)�)�)Y�)}�)̡)��)��)��)��)��)<�)�)^�)��)��)��)��)��)��)��)O�)S�)9�){�)��)=�)s�)�)m�)��)��)��)��)n�)x�)m�)��)W�)��)�)7�)��)�*�*�*�	**]*�
*�*;*�*�*7*w&*'*(*�H*N*�O*�R*�W*qY*bZ*�Z*xd*qe*vl*�l*�m*�m*�n*t�*��*A�*(�*ω*Ԋ*��* �*��*`�*K�*��*��*�*�*̮*�*+�*��*�*��*��*��*��*��*��*��*&�*��*��*��*��*Q�*��*f�*��*��*�*<+�=+B+�E+�F+`G+�G+H+\I+zI+ J+T+�T+�T+Z+�[+o+?p+~q+�t+.u+�v+Vw+�w+~+�+��+��+.�+&�+U�+ƞ+��+�+��+	�+2�+��+��+F�+��+�+��+խ+��+�+�+��+