Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00108_00000_shuffled.ds.index69 linesDownload Raw Back to root
1_@�{�	2�
>��>0\1<�=(>�>3?\@|@LDcD�DE2LQwQ�Z�]3ab0cWc�c�z�{&�����X�ۖ����|���������r�����e�.�j������K��+Q.�ef�gch�h=i�ij<j$k�kmpm�oaqVrpr�r�tJu�w�w�|�|�}
�h��%�W���N���0�F�(�Ց����e�*�������ܥn���q�B�T���K���o�y�i�:���"���'�I����u���I��!�E���x����������|!�)�,H-�0�3�4.6�;�B�C�C*DW�W�[6]�_�`�`��֡Ţ;�M�Ǥ,�(�������Ķ����e���ѺػQ���p�x������%�P�������4���t�M���G�x��������E�W4';(](�*�*�+_-@_�`i�nRp#r�r�s�tNx�yOz�~��[��K�ۈB�����?�5�{�y��ǗZ���"�V�s�
�,�l�ĨҪ��l������� �i��y���f�e���y���X�S�j�j�K���q�R���4�����%�s����������������������;I���"����K Y"p"�6�9>�>�@�A�CE�K�L�N�OTP[U�V;W<ZJ][d΃c�ń��+��ѓK�X��m���؟��Үųe�,�M�b�P���������P���������I�������C����������������9���:�t4��l5����1 2}2(6�7@8�8;�<@-BC�CxD�G_JK�K�L�L.M�M�N�O�X]�^�^L`Jjlp�y�y~{S}�}�~S������U�Ҥx���٦�f����"���5�{��v�*�����6�J�H�3�9�e���F���=���o�_������;<,<Y<pA�D F�OP�P�Q;R�RRU�Xb,d�d�e�fXw������C�'�U�'���_��ߓ�-�����<�������)������'�d�<�³}��W�����Z�����������x���C�y�����~�o�_����<�����7�������� ���(�W���3�&u7[��C� ��Z]� $C$~$E%�%/*�*+�-Z0�0�091i67�:5<,@�C�C^E�F�GH�J-K�K�N�Q�^d�h�k�s�uKwb�%������¥�����{�ɲ����Y���p���]��d�����u�f����� �g�k�����T�"	x	�	�	�	>	y	)	�	`	�		k	�	 	9"	�#	�$	�%	R&	X*	.	�2	�3	�3	F8	�8	U:	2;	1=	:B	�D	\F	\d	�d	�e	_g	�h	4i	�{	�}	��	��	��	*�	��	u�	�	H�	r�	��	G�	��	]�	'�	+�	ɰ	ز	��	U�	��	�	��	m�	d�	��	3�	��	��	�	��	��	��	v�	��	3�	b�	�8g910�11'12:13�14�15�"16<#17�(18V+19<520�5216622�623<24?=25�=26>27G28XG29�G30(K316K32O33�T34CW35�W36�X37
e38�e39�f40�f41po42�p43�r4445s46ȅ47�48(�49��50�51��52Y�53�54��55�56�UW57X�YV\{]C^�`eHg�g�i9jkk�mbo�o�o�vx�x�z�zf{�}������R�8�-���3� �����C���o�Ś����Ǟ���ۥ�E�d����
�l������������G��{���7�k�2�}�d�t�g�58�!�p���G�y�v����9�&��

�
�
�

q
r
�
�
x	
C59
�
�
�
q
r

�
<*
�,
j.
'/
j0
1
�2
�5
6
�7
�@
�A
�A
#B
:B
�B
=E
�F
oG
�G
LI
�I
^M
�M
N
_N
�S
�^
�^
�`
�`
�a
�b
�i
	j
"j
Pj
�j
`l
�n
8o
Fp
�p
�r
�s
�s
t
�v
�w
�w
�x
�z
$|
>~
�~
O�
Ƃ
�
y�
�
i�
�
.�
q�
P�
��
�
��
κ
��
Q�
��
��
}�
��
��
!�
p�
��
��
��
��������;�>�>b@�@�@�FRI�I1J}M*O�OMR�RY�Z�pu)u�u�|�|H�%�+��P�	�S���%�ܱ�����������p������T����.��O� q+�+�-
0�0�2�3(4�4�5�6�;�<�G�I�JXM'N�O}RSIToU�XzY�Z�Z�[�x�z7{v{,|-~�~y�ׂӃ�+���׋ˌ֍���o�g�!�9�����ά�}�Զι^���8�y�ɽ ���#��t��������P�P�T������d�������)������s�F���	�60
$4�v#�#$�%6&�(R8�8�9�:�;�<=�>�?)@�@BC�F�FHbI�L�R�S�U�V�W_Z\^\]h`�`�e�e.o�o�y�z���8��b���v���؈����q�:��������߶(���!�^�ƽ��������9�E���b��o�d�I�n�������������A*[+01)2?34�;F<x<|=�=>>�>�?%ByBDJK�N�S7V�V�W�i�ٍ�{������������Q6���^�M�n$"x#]&�()*?*o,�,/S/	2�2V6�8}=�><A�LCM.O�O�U�U�X[^_�`La�glm\w�x�z�}�~�Հ��1�7�=�3�-�e��?�Ɵ��j�ܭ:���|�!�i�Իּ$l�l�m�p3r�r�t�t��ޮ��ʯ��p�Q�H�v���7�����������z�����6�(����x��������������a�����b���!
��]I�61��2��� � �'�(�,�,\-�.�.q2"45�5 6S7K8>2?�?
A`A�F6HKN�R�SwT�T�UsX�^�tՁ��{���]��]���n�q�q������c���������
�
!.Q���� ~ t!�D_Q�Q�Rd�q�r������G�3���W��]���k�ڝ�{�0�y���;�����Я7������R����������0�'���~���;���+�����w����c�������{���������62m
�
���Y�,�������0���)���5����#���9�O����L��;�t�s�b��.�����W���,��l�b�Y��6�7A�DEhE�H�H_IJ�M�^c�d�d�f�k_l�m�n�x�{�{}d~�������"�z�Ɣ������������|���פ�j���ת����ү�����8��d�,��
�����P8�h!�%�&#/S0)3%4L5�9D=�@8A;B8D�D�D�H=I�K�L3O�O�PBQFRaT�T`U4V�Vg�hPitlUq�q�t�z{{�|�|'~��Ƃ����X�ۧ���������������o�����j�>�u���������X������������D���m����������V�63yQ$(")�,�-.M/�1w23F:�:�>�>�?L@DQ�Q]T�WlX}Y\�]$a�gshiDi�ik:n�uv�v�x�|�����������Ӕ�]���O���ܫ���%&i*+�+].r/�/r0�3%6z8V9�9;�;�=�V=W�\g]C_�c�e�h�n�xT�ڡc�v�%�2���x�����)����!���������[�K�������}�>�h�T�����q���^�1�X�������K�x�7���<�<oA�BFuG+IjK�WYsYd]cg�z�}�}}~�~��B�m�U�a����~���l�`�6�V�}��]���������X�g�s�M�n�"���������T��������I�,�����u���i6�7�8�8/DD�DFnG�P*R"S�URV�V�XyY[r[]Af�y�{�{|����Y�a����L�T����v�ɓg��p�o�,��L��ʢ,��"��A�Q��޼۾>�����%�������T������J��������6�;�4�^�l�����\�~���D�
����������$c��%X%4&�,�/�7�8�9N:�=�>2?!A�BSC�C�HsJR�SY�Y�c�c#dlv{{�|�|F}������64���q� �˒ՙ��K�~�`�տ��l�^�5���i���&���}���o�*����m�����K���^�����f����Q�c��0Z�&� !�>�@FBNBzC�C�DEF�GH�H�I�K�L�L�M�N!O"P�PlS�T�_paec
d�dmg�g�kKn�q)sHt{vmx��z����������k�T����R�Ȳr�����]����1���'���a�E�������%[g	.
Q��w-���( !�"K$�%�-�.�/�/'0�0V1L23�5�5�6�:4;�;%<�=�?�A-C�C_EWFG|G�H\IyJ�K�NP$S]V�V�V�WKX�\�\�]'^�hi�jel�l�qRt4x�x�y�y�zK{�|m���%�����[�����B�����*���� � + v / �   `# Y$ �% 1 �2 H4 �5 6 M> vC BE F >F ZI �J �J 3K <P �P oR S &T 5V �V !Z �\ �\ /^ �^ a_ �c g �h i �i j �v �} � U� ^� �� 9� �� �� ܆ {� �  � � � i� ߐ _� �� �� �� ˚ �� q� � v� ,� S� �� �� �� � �� �� � �� p� �� o� �� �� �� �� �� � T� x� �� �� �� u� �� �!�!C!�!�!}%!�&!�3!4!D5!_8!v8!)>!|>!U@!8A!MB!F!2H!vI!�M!SN!�O!lX!�X!�Z!�[!�_!�a!�a!rc!�d!�i!Hk!7o!�o!t!;u!z!G{!~}!5�!��!,�!�!0�!�!Y�!H�!��![�!��!��!|�!��!�!�!v�!��!\�!r�!��!Q�!��!��!��!8�!��!�!��!{�!��#�#($�$�$�$v$_$	$Y	$�	$q$�$�$�$n $"$Y"$�"$&$�'$�/$0$�0$d2$�9$":$9<$�<$�>$�?$e@$E$6F$}G$O$vY$�Z$Eg$�g$h$�i$
j$�m$s$�}$��$��$��$�$>�$0�$c�$n�$ŗ$��$7�$�$2�$�$ۼ$��$#�$�$M�$d�$�$*�$��$��$��$>�$��$��$/�$��$��$)�$��$��$��$��$��$�%+%�%�%�%_%B %
#%�/%�4%�:%@B%{D%�D%qG%zH%�I%�J%��%��%�%�%x�%��%��%��%��%��%a�%.�%J�%��%��%��%��%U�%��%��%��%��%>�%�&�&�&�&&�	&g&H&�&p&�&b&
&�&	#&U#&�#&�#&H$&0&q0&�0&�3&R6&�6&�8&;&�;&8<&c<&c=&�>&_?&�B&HC&�G&�J&Q&vZ&�Z&�Z&C[&65\&6]&�_&�_&Ca&�a&�{&	|&�|&�}&J�&�&��&�&l�&��&��&��&Ũ&��&z�&ʮ&�&�&�&
�&66�&��&͸&d�&��&�&��&��&2�&H�&��&��&�&Y�&3�&��&��&�&o�&��&7�&%�&��&��&��&^'�'T'�&'k''�*'�+'.'�.'�1'/6'�9'�:'{;'�>'OR'�R'�S'NT'�W'QX'�Y'�Y'+Z'b['(\'K]'d'Nd'�d'�d'�e'&f'�f'Ah'�h'Wj'��'?�'͎'B�'3�'ߑ'7�'��'j�'�'=�'��'ʥ'�'��'��'��'�'<�']�'�'h�'�'(�'5�'ܼ'��'ý'��'�'�'��'��'��'H�'$�'^�'W�'��':�'j�'��'��'��'��'3�'1�'�'��'��'q�'��'Y�'�(((�(�(�(�(U(�(G(�(�(�(�((()(�)(�)(�+(9-(�-(_.(09(�;(�;(HJ(;L(�L(<P(R(S(�V(dX(OY(~[(�e(�f(Ng(�l(A|(%}(�~(l(=�(c�(խ(�(��(��(ӽ(.�(��($�(�(��(��(��(��(��(w�(�(�$)�&)�*)�+)aB)�F)
H)I)"Q)0Q)�f)Xg)�i)�i)3j)ck)�k)�r)�)��)��)W�)3�)��)�)Ϭ),�)I�)��)�)ش)e�)ù)_�)%�)Q�)f�)q�)y�)��)��)�)f�)��)Q�)��)��)i�)��)��)��)��)��)5�)��)C�)��)��)��)��)�)��)�)��)>�)��)��)�*�*>*N*�*�***67*�)*�,*�-*>/**0*�0*;3*j3*+7*�7**=*�?*�A*=E*%G*�G*2Q*;S*�T*U*<X*�X*xY*�s*�u*w*;x*�x*�y*Fz*t{*�{*�*!�*'�*��*ɒ*<�*�*�*�*�*��*�*0�*�*��*�*!�*Z�*��*�*I�*|�*3�*��*@�*��*~�*��*7�*E�*�*�+9+_+�+�+5++x+�+-2+y5+�5+�6+�7+a9+�;+�=+�@+>A+�A+�E+'H+jH+�H+{L+�+�+A�+��+K�+I�+Ə+�+�+ę+�+�+m�+��+a�+&�+�+i�+6�+��+��+��+q�+�+^�+�+S�+��+��+V�+��+��+��+F�+{�+��+1�+��+%�+��+��+`�+��+]�+��+b�+<,/,c,y,�;,@,�A,�B,yE,Wg-�h-xi-9s-t-Ot-u-�u-v-9x-�x-oy-xz-68{-A~-�~-�-"�-3�-7�-e�-$�-��-��-t�-��-2..�.$	.�..[.	.�.�.�.#.�#..%.�%.!).�*.B,.�,.-.�-.5..t..�1.!3.�3.�3.4.|4.�4.;5.�5.�7.7L.�[.�d.�e.vf.Bi.�i.k.��.�.G�.��.a�.�.��.��.��.�.g�.��.��.3�.u�.l�.��.��.��.=@/�A/�C/�L/S/CT/�i/�q/�q/�s/Zt/=�/;�/��/��/�/N�/R�/�/=�/ڬ/ԭ/^�/��/4�/��/��/��/��/;�/��/�/�/��/��/��/��/\0�0�0�00#0f0�0!0�&0'0�'0�(0�,0~/0�/0Y40�60A0pA0�C0rG0DJ0�K0�K0�L0De0f0Mf0h0�h04i0(j0�l0o0�o0�s0�u0�v0��0��0�0��01~1�691*1�1v1�121b1101d1>#1�51�61&71t91�91�;1�=1-?1�C1�D1�E1H1