Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00038_00000_shuffled.ds.index107 linesDownload Raw Back to root
1���	(2�3Jgq`�"W#/$t-�.�@_H�H�J>M=NOeS�U�Z�Z�_^c`d�e\g�g�i�n�qir�r�s�tdv�w�w2yhyy3{�{��������Y�Ϯ��h���ȳ@�q�D�l�����j������G�F��������F����},Q�n"`�#�*�+u,/.�.�0�1k4�5�6�8�:�@DA�C&G�J�K@W2X5Y�YZZ�[D\F`�`�o���o����	�K�^�����9�ǡ)�R�����O�Ǩۯ�����ָ���a�r�Q����������O���u���%�������������X�d���{�����������>�F��J�7�8���#�(+)�)Z*�*�3D=K�Ksrt�uQ�|��N��8�L�{���Г�����c�/�Ǡ�W�[�0������D�m�~��+��������ƶ<�������8������N���������2�1������Z������g�������ٗ٘��ʚ�������B�Ʈ��/���������[���������)�X�����������m����/�#�@�������<�h�������������J��������J2��	{F!�+�,;./p1'7�<"=�>�?4BLB�E�F�H�I�J Lcc�c�p����F�e����.���������������}�����¹�������/�y�=��5&JdHVp#�#X$�%�%&h&�&�'U+�+�-�26O8�9�=&>�@�CEpF8G�G�H<IAJK�K�K�N�P�Q�T�T�T�VW�W5XLY�Z�]5_�`NaabcHk�w)x#y�y�y���҃˅?�������ǎ]�����Ξ|�ݡ=���Ǣ�q���w����\���K��S�����u�Ÿ�k����E�ݿ��n���B��������!�����!�f�����L�����3���>�2���+�]���������B~
��%T��5!'"MN$\�b�ij�u�v�vYw�Գ.����˵��й�ݻ��Ͼ0�)���D���w���������u�����Y�Tm8��'6)b,V.c/�0m12�4/6d6`:�:�<>�BCE�M�UV�V�W�b�b�c�defgh8h�n�o�q�v�w�w�{W|N���(�r���P���ƍR�����Аҕ�6�����[��5�9�ǻV�	�^�ٽ7�����������+�;���m���������w�������$��?��8���AC��"$##l,�.�/�01]1;3p4�;<S?U@{A!C/DrHI{I>K0M�SU�UViX}[&`�e�g�j kYm�o.vO�����p�֗����*������m������D�:�"�6�V���پU���F���h���-�n�����9�O�����F������]�z	�	
	�!	<"	�*	7+	�+	E0	;8	[9	�9	�:	:;	K=	�>	�A	�C	�E	<F	�G	I	J	�J	N	�N	O	8S	;V	�Y	�_	va	}b	�e	�e	bf	�g	>h	�i	Sj	ej	�j	k	%r	cr	9t	Hu	�	/�	I�	-�	\�	��	�	ن	ˇ	��	j�	�	]�	;�	��	ѝ	�	)�	ݠ	S�	?�	s�	բ	ۧ	�	=�	��	�	��	�	'�	��	�	��	��	t�	��	��	��	�	��	��	��	��	�	��		�	a�	��	e�	i�	��	M�	��	`�	��	\�	T�	�	��	��	��	b�	��	�	f�	��	��	J910�	11�	12�
136141516�17�18�!19	#20C$21�$22C&234'24�(25�)26R*27�-28�-29.30H.31)/32@133�234�435`536u637:38r:39�<40n=41H>42|>43O?44�?45�C46rE47�E48YF49XI50�J51�K52LN53�S54nX552Z56)[57�[58�[59U\60�a61�a620b63�g64kn65Rq66�r67�s68�t69Du70�z71�z72�z73�|74$}75D}76 77j�78�79`�80�81��823�83�84��85ߒ86�87=�88Y�89��90/�91��92�93��94��95�96�97-������!	m-�f �$�'D(!1�1^2+6�8.9�9:0<[>�>�A{F+G�K?L�L>M4Q�R%SCX�X�[,�d�������$�������r���Ԧ��O�������:����ŷ%��s�K�*����&���������<�|���R�J��J�u��r�0�������w�<�X���\
����u��� m#s%H-�/�0�021�1�1>3�3k4j7�<H=x=�=�>M?]CG�K�LLM�Q]R�U�Xw�wx�����7��η
��I���[��~��������,�y����
98
<99
�

�
N
/"
Y"
�"
U)
�*
�*
)+
�/
�1
�1
Z3
�3
�4
y5
�5
%6
rN
P
�P
?T
�T
�V
�Z
�[
�]
P^
�_
Xh
j
Vp
qq
�q
�v
�x
�
/�
��
G�
P�
�
�
D�
��
�
)�
��
�
͑
��
�
#�
N�
9�
��
f�
��
ޞ
M�
ʠ
d�
�
]�
�
��
��
ҭ
$�
ϯ
�
��
2�
��
�
�
H�
s�
W�
��
��
��
��
m�
��
P�
�
��
.	��v�W)4�4�57�7�7�9�<�=?W�W�[5\�\]-`z`�`�aTbe�em�m�n)op4rvvi|�}��(������O���������������
�����y�4��)����&�������������`�U�U����������b��	=��Ws�'�F��!5"e"$'*�*�*v+-.%/P>u?0A�AB�LQ]T�UVXcXYcb�no^o4pRqs@t�v9yxyz�z�z&~�8�������� � l!�!�"@$�(�(�*�+|-^3�4U637�7S8�8gF}G�G�L�M�OWnW�W5\G\f\"]�`�f>g�i�i{jTl}lm�m8n�n�p�r�s�vnwxRx�x�}��+�ԃ100���̔�Ƥq�����\�M�����1��ʾA����������������������2���C��������������h����@�p�@�%)&$*�*�+3,�-�-b.�00E�HbIKVK/M}M NAOS/ShS�S�T�Z�Z�[q]W^_101f�g�{�{
|�~E��v�Ë��Տ����)����~��w��ì����1��к^��S���3�=�����.�p���=�f��9�:�(��6-�g)�-�-.C/�0NM$O�T�U�V�V�Z[w[z]u^#`�a#b�bAd�fwhckFn�n�n�o�q�r0v�z�{E|�}�~��������3����D����5�k�$������1���l�:���]������2���������h�3�������V�/�<�i�����5�����R�)(0m	�	�
�
��FDr!<�>zZh\�^a*crn�o�������.�a�0�Z�R��V����/�ؼq�Ž��P���102�f�������V � �"�3�4r5�7g8�9b:;b;�;A�A~BC�E�H{J�K�K�N(P�T8U�U�Y�`-a~f�g<hxik�m�mPn�nq�uBv�w�x	ymy��2�n���#�������/�ΰA�8�z�y���L�ӿu���C���$�����z������4���������E�*������d��P����������C\�l�W W"�")�O�\�]H^N_�f	j�kl�m�oy�����O�R����s�?��ݶ����	���C�Q���H�a�7������7�k���������A���C����a��i���%�Y���_���6��������.l
�I���F��*V��RUS�VW#W�Y�Z�\�]�]<^mcLf|g@i�i0|�}�}g�w���=�e��s�a�����|�o�X����`�P�����P� ������:��+���N	]
~
o]{@��u � h#e$%�%<&�'103)+A,�6m8V9�<~>
?�A�HJ.K$RLR�SIT�Uk]�^j`�`�b)ehe�e�f�iXk�l�n�npr�r�y�y�z{{�~<����<�ރ������6�2���֛{�Ɲ �������ޣM�Χy���a����òj����������-���E !�#($m)�*�*�+�,�0t2�2b������[�������d�u�I�0�S�n�{�������q���\�������	e����0
�;P��:������d�ʜ������7�%�����h�ūϮ��ư"�7���s� �P�K���N���z����&���	�n�����������������C��K����C���������2�d���s���5�����������]�$��p � �!x"G�HNO�O�O`R�T�ZP[�_&`�bcrcKdxd�d(f�hnj�j�k�k�q�r�;������w��ň�̊Nj��Y�	�B������a����@�GH�H,NfOWTPV5\�]�^
_�_a�aFb�b�c\e�e�ei�i&j�l�mn�oKq@rsHs�tRx��(�d��]���l��K���3�a�V����'�|�����@�˝s�Y���y���9�}�8��޻:�m���������k���;�w���!�m����������i����������.�i�����������u�#�yT��5c���6�r�!^!�"3%&�/M3::�>?B?�?�@AF�FG~G�G�OgPPR<X�X�X�[�]�c�d�f*g�g�g�g�h�xUz����+�$�
S�"x �"$%3.6�8�8�D�HPOP�P�P�Q�U�W�X[T[�[c`�`}bCcMe�f�gyi�n�r�s�u[wpx�y�z~{����v����a�~�;� �}������p����|�ۥ(���C��ÿ������`�]�	�Q������E�M ) � 104 � � � e �  o' �) D* + �, �, �- . �1 4 >: 	< �A �L WN OP �S V �d �e �i �j Hk �k �r �s �t 3u Nv Fw �w �{ �| 7} ց � ɜ (� �� Q� �� q� � 1� ۧ ƭ �� \� �� S� 3� �� ڳ (� Ҵ �� x� 2� �� �� e!�!!!J"!�"!e&!�&!�)!�,!@/!Z0!�4!�6!!:!�=!�>!cC!�Y!}\!�\!]!'z!�! �!v�!غ!d�!ξ!Y�!,�!��!^�!��!F�!#�!\�!��!��!|�!��!%�!�!�!3�!��!�!?�!M�!�!��!�""�"3"�""�"�
"a"�"�'"�'"<("Z)"(:"�:"�<"�="�="DA"�B"�C"�D"�J"QN"1O"3R"�T"W"�\"D_"�`">b"�d"	e"He"�i"j"Rj"�l"/m"vm"<o"Or"�s",|"�}"Ԁ"܁"��"�"��";�"��"�"4�"K�"�"�"Ւ"��"��"J�"105�"t�"K�"��"g�"d�"o�"~�"�"ѿ".�"��"��"��"=�"@�"��"�"3�"�I#�K#�L#_T#�U#�V#�W#�Y#�Z#)[#a[#5\#y\#�\#%]#�m#sn#�p#7s#�x#�y#9{#|�#��#��#��#�#��#�#�#~�#�#ԙ#��#��#��#˞#2�#��#��#
�#�#��#ѯ#��#��#��#	�#�#=�#$�#��#\�#��#,�#��#?!$w%$�%$-'$?'$�'$G($k+$�+$�-$�/$<6$�;$jJ$�R$�U$�U$W$"q$�r$ay$�y$�~$L$��$��$�$��$�$?�$a�$�$/�$��$a�$8�$]�$��$��$��$0�$h�$��$��$:�$�$J�$�$5�$]�$k�$��$`�$��$g�$�$��$�$��$��$~�$��$��$��$�%%�%�	%�106%�
%/%�%%� %i!%�"%b#%�#%�&%%'%�'%5z%�z%|�%�%	�%��%�%�%��%��%Í%�%��%�%Ɠ%��%��%��%~�%̱%�%��%f�%��%��%�%8�%��%"�%g�%�%7�%��%��%M�%��%��%��%�%��%��%�%��%|�%��%��%��%��%��%&�&&u&&�&�&�&�*&Q+&J.&�0&1&$3&G3&�3&*4&U6&�>&�>&K@&�H&�I&�I&�I&�K&�L&'Q&BQ&�Q&�S&4V&`X&�X&GY&�a&�a&$g&C}&'~&z&�&%�&&�&��&.�&�&E�&��&�&��&��&Ց&I�&ך&,�&Ҝ&ş&Z�&�&3�&�&�&�&��&Ǻ&M�&=�&��&��&��&��&��&��&_�&,�&}�&��&F�&W�&E�&?�&��&��&T�&��&�'�107'�0'1'�1'�2'8'�<'A'cB'�D'gE'SG'�G'UK'�K'LM'�M'�R'�R'�T'�U'Mm'�n'�o'�q'��'��'H�'?�'p�'��'X�'D�'ұ'Y�'��'��'��' �':�'��'��'��'>�'&�'t�'R�'��'�'��'��'L�'w�'��'k�'��'��'1�'[�'��'��'4(V(3((�(�(}(�(4$(�$(�'(�*(+(|+(.(].(�P(�Q(PR(uR(�T(W(^(u_(6a(b(�m(n(<�(��(�(߁(��(�(��(=�(;�(�(a�(;�(3�(��(i�(�(�(ݞ(џ(Ρ(�(J�(ݩ(ت(��(۳(�(>�(�(S�(��(�(y�(S�(@�(��(�(��(@�(��(��(��(�(��(.�(w�(��(9�(��(�(��(s�(:�(��(7�(��(6�(M)�):)�)X)T)n))�)P#)$)�$)Q%)u')<()�))�6)�7)*>)c>)�>)�a)�a)ib)�b)�c)[f)eh)i)�i))k)kl)�u)5v)�y)�})�~)S)�)Z�) �)0�)��)ʈ)2�)�)��)@�)�)K�)��)��)�)^�)H�)��)��)��)�)9�)e�){�)��)_�)-�)
�)E�)�)��)\�)5�)l�)4�)��)��)*�)��)��)��)��)9�)b�)n�)��)��)��)��)��)��)��)r�)��)�)�*R*�*�*#*g9*�<*=*�=*�=*�?*k@*�B*�C*�E*�F*1K*sK*�M*�N*�O*LP*fQ*�R*�R*4S*�S*`T*�T*�U*QV*LW*d`*ru*!v*x*�|*�~*!�*�*