Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00032_00000_shuffled.ds.index118 linesDownload Raw Back to root
1~2D0�T�X=Y�Z�^$a�z�{h�R������L�Œ��{���k�N���v�e�����κ�(�	�����������l�J���Y����e�`�����?���}���������S��?����j�O��')T<�=�>�B�CFJO QgT�T�T\W�]�a(dvd��:�Z��]�����&����Ē����y��@�y�������H�v���٫���q�#���(���b�v�%����R+|E��C	��e��} �!�"�#$j&�&�(�*/+�,./�<�=�?n@_E�EaF�F�J�K4L�QST6U�U5X3ZVZp_�_�_�`bfb{b�k3l?l�l3m�n�o6t�vqz<{�{�}U~�~E������z���3�f�U�,�h���)����cR	�4lv��V/�B*�*�*T+?-&./t/�:kE�G}HAJ�J�L�PR�R�U�UGYX[�\O^!a.f�f�fh�h�k�k���i�M������E�|�(���6�D�x���?���ȩ���ȫ��|���n������ʵF���E�F��ͽ��)����P�����z���K�4�����.���"�������������7I8r9�@�@SE}F^JBKgK[L�W�[2\�^�^�`�c�d�f,kl�l�orPr�r&s�tuqy�y'��g�5����X����5�_���ȩ�v����D�#�%���P�����o�����\��8�w�����r����q���X���0s �!D$S$=%U&K+�+j-^.s/20H1�2�3%4�:�<U=�>�@mC�D/_�`Xb�dnp�{7}�}�~������������9�ӘV�ř&�ߜ�ڠ'���Z�̹��ݽ�7������8�L�������,�������6�e��J��>�EF�Q*Ug\�\{^f_�_dDd}p�s�s�t�v�xhy�z�|f}�Ё6�Պ���Z�������I����x�5�/���þ���G�����I�,�����
�����}�������������>���������������3�
����� w%�'|,z/92g4�4]�_�b$cbeLf�l]m�nwq�sgtu1u�u@v�vTw`|}y~+���	�֋ތE������Q����K���ޞٟ)��������%���Y�����e�������)�u�S�m�T�`� �*� ���g�,�R����������/�Z���_��^�	�	��	p�	Y�	��	D�	c�	�7�8f9�	1011�12�13�14�15�16K 17l!18�!19"20u$21�$22H'23l/24z025326T327u328&429W430�431b;32�A33NE34yE35JG36�G37sH38wL39�R40�R41�S420U43�U44DV45�V46X47vZ48�Z49�Z50]51<m5253t54��55��56ʙ57]�58n�59L�60c�61Ȩ62��63��64�65a�66��67t�68+�69��70l�71�72��73��74x�75��76��77'�78#�79k�80��81o�82C�83��84��85 �864�87p�88I�89��90G�91�923�93h�94��95s�96�5)<?_��0Z2�43697�;�;XNZRT V�V>Y:\�\�]N`�`.aFp�pWs�y{H���y�ׂ!�c����݄E�\�
�0�K��������������#���e�F���������5��������	�97Bc���[!�#�%Z&4'�'4(�(*�,�,n.�1�3�35v6�6�<�<�?�G�GKeLoXlb�c�f_kFlYm�no�opqpuq�q�r�u1}g}�}�~����Q���4�ş����������4��������N�*���Y���(�H�C���
/


$
W
�
�
�
z;
�A
cE
|F
UH
bU
�U
�X
�Z
/[
�[
�\
k_
�e
�
f�
98�
J�
��
�
�
&�
�
l�
�
J�
��
��
i�
&�
��
��
7�
��
��
��
p�
��
M�
{�
��
��
��
��
��
F�
��
��
v�
S�
��
��
��
?�
��
��
99�
�
��
3��>��{100�
�A�BkD/FbK*O�RaS�SCTYDY\Y�Z�[i\�\�`�h�h�i�n�s#tu3u�u�v�wx�x{`~�D�ʼn	�ۋ=�o�؍?�v��ѝ�p���A�K����6�¨��$�������>��޸���9�D�վ����q�K��������i�����I���]�����S���������101�D�����C��lOq
X�$G��$�!�!�"�"�#�+�,2.�/u0�0�3L4+6h6c7�79�;d?�DF�G�H�J�K�K*V�WX`X�+����n�؝������c��1�v�����f�����T�2����0������l��^&ln[	a��3Rh�� @"~#�#�$�&s'�(M*�*�*�-�/;2v2�2u4�:@;102G�G�H�I�K}L9MnN*O^Q�Q$R�R�RyS1T�UpV�Vuhhij�jFl&mC�����_�������^����ڟ@�;�*��)�ѵf����3�b�����2��������K�����q�r�����	����1���@�x�g�����/H�� "#-#*$(Y,�-/�/40d0�0�159Ѯ���a�K��H�$�������������������������R���X���z�!���1��,����1������,�R���1	�-lH��n#�./4E7�<B�B�EdH�J103K�N6O�U�V�VTY�c�c�e�e�e3i:l�n�n7p�r�sKt	u�v#w&xy{�|A�ن������	�g��R�}�����βC�d��e�m��������Q����K���b�������C������Y�����^��(���
^�6A�y<��(�)t,�,�,3J�K�LRQ�RpSDT�ViXZ][�\V]_�_�j$l<l�mCp�r�r�{}���w���^���������T���ΕҖ#�!�h����˛S�������P�����B<�������$�� � !"6#�#�)>*I+�/�2n3�;�=�?LA�A2J�Q�Q?SVT�XG[�\5^�^#d�de�j:l�l�m+n�p�rFs�sKt~v$y܈��104�������K�����\���U�߮�V�ΰ=���-�p�*������H�������������(���-�����C����v�����@�c������������\�����p�����Vy����	�	�
�
�*�-�-l0�04|4�4�5t8s9�9�;f<�<>�DERFH<Q�S�W�X�[�\X]�`�a�b~fgh�m�m�n}o�q�r\|}/}�}~bڌ����ў\���
�B���Q��������+���Z����N����6�������(�!�p������hVLYZ]I^d_Ǝ��K�x����!���y��������������s�8�h�5�����m�(�b���������e�O���*����+`/�
A����u���;�$J&-[-�01b2z3
7�`=c.e�f�j�j�l�lfo&ror�s	v�v�v�m�����-sMm
���@���!�#OI�N�P�S105T�VX[%\D\106^@^|_�`&aky�|�}������ĉ��g��/�R����=�Ȳ���a�K�����������w�C��Ry�H
�V�]�^b�b;dydmi�j�j�U�Ȏ���{�Ӣ�G�+��������z��÷.��������+�������j�8�!�������������{���R������	����s�t�v�vsy�y+�l�Ջ���������ޜ��a����ϥϪ������7�����������9�����i���c���M�@�8�m���	���/�!�&\,-�-n.'1]47'78�9�:�;*=8=�=�?=@:A�A�ASB(Qqc2g�g$h�i�k�n�oq�s|u��͕9�ʙܙ������àȣ�F�a�Y���}�u�n�������R�����������%S(�)d+U-F�G�H�L)NOmR&S~TCU/WC����> 	�
107�EsG�G�T�V�X�\�\��E�Ӂ�������ҏ��Œm�5��o��K�j�.������Ŧ����>���g���������������U���90	�1089
�
�kE���1�$ �#$$l&�&Y(2r21097�7�A�Bggh�j�m�m?o�olr�rdt�v�w�{Ê:����l���R����b���<�;�����ԗۘ<�Z���G�����Φɧd���.��ůZ�����T��������O�d����
�������Z��8�����y�'����������a���������F�����!�(�JPK O�Z:\M]�]_E_�`�a�a�bXc�dTe�e�i�k�k�k�l�n�op_pdq�qMs8t�t|x�x�x�|��n���نg��������� �ڙ2�j�=�]��>�h����R���1���	�7�����F�����?�.���p���,�� � l110 � � E  ) W   �  �! 5# �$ k% �% �& u' �' L) �0 c2 7 �< g= 7E �E �F xG �H �� �� � .� �� &� [� d� �� � b� Ѽ 7� �� �� M� M� �� �� �� �� t� �� d� �� :� 111� �� �� p� %� z� s� �� �� �� b� �!�!3!�%!�&!�'!+!�+!�,!.!?/!f0!�4!C7!�7!�8!;!a<!�L!-O!�Q!=R!�S!>T!`V!+a!�a!b!�l!�z!و!!�!Z�!��!�!č!�!T�!�!”!Ɨ!ޚ!��!�!��!��!�!2�!��!��!�!Ӱ!+�!;�!m�!ǵ!e�!�!(�!��!��!4�!ӻ!�!��!��!��!7�!$�!��!,�!��!��!!�!)�!~�!�!��!��!��!��!��!�!2�!��!��!�!c�!��!��!J�!�!
�!S�!7�!��!��!��!�!~"�""�"6"�"�"T"�"j"U"�112"�"6"�""�#"D$"�)"0/"z>"��$��$X�$ϭ$̮$5�$'�$��$��$��$��$��$=�$q�$\�$p�$��$��$�$-�$�$�$"�$8�$��$m�$��$�%%�%�%Q%N%�%*%�*%�+%�-%!/%�/%70%�2%X4%�4%5%B5%36%`9%o:%;%�A%�E%'G%HG%�H%�I%
J%`K%vL%�L%�M%8O%W%�X%�\%O]%�_%�b%&c%�c%-e%ze%�f%�g%i%'j%�p%�s%~t%�u%�v%w%�w%�{%�~% %Z�%9�%Q�%�%��%�%��%	�%��%>�%9�%��%t�%0�%�%��%��%�%�%ʵ%��%�%��%��%��%=�%�%��%��%�%4�%y�%��%��%��%��%��%��%�%��% �%&�&\&�&#&�&�&�
&�&�&�&&�&-&�&B&r&f&�&�#&<$&�$&�%&-&&f&&@3&�4&�7&Q9&p9&i:&;&*=&�I&M&�M&�P&�P&YS&=T&]V&`&k`&�`&ba&�a&�a&~c&�e&�f&^i&0n&�n&�q&s&�x&�x&ay&�z&S{&|&�&&�&��&�&x�&��&��&��&�&<�&��&�&��&"�&{�&��&
�&��&��&��&�&E�&l�&ξ&��&��&=�&B�&��&��&��& �&��&��&b�&��&-�&r�&��&�&��&<�&��&��&d�&��&n�&��&=�&113�&0�&��&;�&R�&��&��&��&��&d�&114�&C�&u�&H�&�&��&��&��&��&��&9�&��&='�'�'v'�	'4115'&'�'1''['':''�#'6%'�%'�%'&'.'�6'�6'�7'9'C'�C'uG'I'�I'pK'�M'�M'CO'�O'�Q'�S'3T'rT'�T'CU'�U'W'�W'RY'�\'R^'c'�c'�d'`e'Y|'-~'�'��'��'��'@�'h�'��'��'��'��'�'�'R�'�'�'�'�'��'�'��'��'��'p�'��'��'>�'��'a�'��')�'��'��'3�''�'��'�'%�'>�'��'l�'��';�'��'Z(�(�116(J((�
(�((e(E(�((a(�(�((�(.(�(�(2(�(�"(�'(�*(/,(�-(�.(�0(�1(�1(Q7(�7(J(�K(HL(�M(�R(NS(�T(�](Da(d(�d(�e(wg(4i(j(0k(Cn(p(Pp(t(�t(	z(4z(z(�z(�{(��(Z�(܈(j�(I�(��(��(��(��(,�(q�(��(�(�( (��(q�(ת(�(N�(�(�(��(�(��(P�(v�(��(��(4�(��(��(z�(��(+�(��(��(��(��(��(��(��(n�(��(�(v�(��(��(�)g)�)�117)
)�)
)RU)�V)�V)�[)#^)�_)�_)�_)�a)�i)xj)�j)ul)�m),n)@o)�p)Nq)r)wt)u)[u)"w)�~)�)��)F�)��)��)V�)��)X�)��)S�)o�)q�)P�)��)��)��)-�)��)��)��)J�)��),�)��)^�)��)�)b�)��)��)v�)E�)��)��)��)��)��)��)��)�)3�)��)r�)��)��)M�)��)�)M�)6�)��)�*118*
*�
**&*`*=*F*�*F*Z*�*9*c*�**B*�!*�"**#*�#*�$*''*}6*�8*�8*;<*q<*1>*�I*~Q*�S*�T*VV*�V*;Z*�[*�`*�e*Zi*�l*�n*�o*�v*�I+K+L+�M+�O+�P++Q+�Q+�Y+�^+rb+/e+�i+Bj+�j+l+�n+0�+��+�+��+B�+_�+[�+��+Ҝ+A�+��+�+=�+i�+0�+}�+8�+Ѷ+��+u�+c�+f�+��+��+5�+��+��+��+��+i�+3�+��+��+��+��+_�+��+k�+p�+P�+��+��+��+��+��+(,�,�,�,�,�,�,$,R,[,x,�,�,�,�,V,�,�,,�,h,?,v ,�#,�#,�$,�$,0),W,,-,/,0,�1,2,��-�-{�-�-_�-��-R.�.�.�..|.r.s..�.�.%.�%.'.�).]*.O+.�+.�,.(-.�@.B.1B.�B.C.0J.�J.�K.