Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00066_00000_shuffled.ds.index110 linesDownload Raw Back to root
1��N�3#�#'$A%�%�&�&�'�'�(�/�4�6�9�:�>�?#E�G`H�ItJPg�g�km�nTo�o�p�q`x�y�zD{�|�}U~�~f�نb�������I���ߗޘ����� �ɟأX���ܦǬt���g�����)����c�}�������/�
��G���V��Q�B���J':�o� �!9"�"+#!%#&�&_((3),w0�0�1b2�4{517�:N;�@%A�CDbD�EF)K�KyL�M�Y2Z�ZZ[�[�[�_|`Aascgd*e�hi�k�kLmHn1tx}�}[�=�����Ǐ<�ږ�9�1�y�
�k���ާ��v���������q�1����f�~���������A�K���I��w����c�����D�6���uF-)0h0�175_=:?`W�Y�~t���2�߄;�х�·d��� �K����L��
��b�_�L��������#l��K*k,/�����B��������6�	l��O���"<'�(i,0h1476�7L8{9:K>�>i?iAjB�B�IJ;K�T<UV>W�Y[jVlco�oMux�y�{�}.~F���ۂ�s�s��d��;�.���$������p����������z���7�6�b�i�%�x���Ҭz��N��h����J�����:�������f��(��T�9�T!�!k#R%C.�0�JP�QbS<T�T�U�W6XYdZ�[�\�\�^w`�ab�c{f�i�k piqrt�t�vG}�~��ކ͇��!���/���Φ�n�ư{�ϴ6�ƺ@�j����U����P���m������������������h������|��&2�3��4�+��=h��6�� �#/$�'�)(+�+�,_5�6�70;�=�>�J�KLP=QRT�b�bc�d�h�i�m߃������f�	��	4�5.6�7l8�!9�#10�$11�&12'13NA14�A15jF16G171G18L19�L20N21uP22�S23_W24/Z25c\26�\27p^28�^29�^30T_31e`32�a33b34(c35�c36Sj37^k38 l39�o40u41/u42�43*�44^�45?�46��47ۏ485�49��50��517�52ӝ53C�54��55�56/�57Ԯ58��59��60S�61�62U�63��64��65ƶ66P�67ҷ68Z�69K�70V�71h�72l�73��74��75��76��77E�78��79��80>�81,�82��83��84��85$�86��87w�88����R��U�c u"�#�#�$j*/�0�2�2�3�4j5-6C7�7qIIPiP?V�WzX[�[)�����4�T��R��C��)������6�#��4�U��C�غ������Q���������,����r���@�g�{�������>���������������9�����M�% �#B$�$�-�.�.t0�04
6�:w<�=�?�A�C�C\D�H�I�J�S�ghnjvq�qv�{�{W����������z��������c��B�"�������������4�M�����������Y�������P�����	�:�g�v���v���K���m�������{
D
�
�89
901
P1
b6
�7
B
{B
�C
�E
�G
.H
rH
�K
�L
�N
P
ZQ
�a
c
Bc
�c
7j
sn
�o
�p
r
�t
�u
v
�v
�x
�y
�~
�
��
�
c�
F�
q�
ə
�
��
��
��
��
"�
�
!�
Ƭ
�
ԯ
.�
U�
1�
ܵ
&�
j�
(�
h�
��
��
5�
w�
��
h�
��
	�
�
��
3�
��
I�
�
6�
�
V�
Bm�aI$�$-);./;12d2�45GB91E~E�F�H�HZL�P�S@Zx[j\�^_�_Ma9n_pTw�wx�x�y(zc�m�	���r�����������ܡբף֤��������ӱ*�L������F�h�B���U�����p���.�����I�?�e�m��������������.���$�|���<#�,.�0�0�3�4p56GE�PTpT]`�`�b�g�g�h5kRk�k�r8s.t�t-ubxZy,{^{G|�|P���`����ͭy�z��92�6��93�o���m�ڿ������b�����2����p����|��'�\���T������������'�?G����h��"�h����I�K�K�N�Z�[�e�f�gap�w�w����I��n��j��`�%�d���5����0���}��c��������@�����ر϶~��h���
���	�(�F������	�C�D���f7	94���2�|�D�X�%&Z)k+�0899DFKS�S�VW�WhY ]�]�^�_�f�m95r�s[���c���p�����>�ԓx���\�r�e���O�k�?��I���7������*�<������������6�R���������J�r�����1����Y���T�7�
o����b��� �346]I-J�p�q�x�{�{�|h}6��;��������%�����/�����>�֫�3���۽������U����'�L�����"���U���R���)-�/0�4f5A6d7�<t@�A�J�JK�L�L�M�N�P�PSQ�QlR�R�T'UPU�W�X�[�[�]�^[_�_�`d:gWi�i`j�l�m�q�rVtOw�xcy�ynz���̃�c�����ԑ����P�'���c�k���=�~���#�����������x�������D�3�~����!�Z��96L�8��D"9&d&�&�(�,�143�3�4�5u<d=UD�EGR�SKT�Zn]�]�]g^�^�kUlo�o;p�rsFu�v�xs~���m����k�I�[�Ԡ��K�]�)�P�T���-���}����� G

�(Z�������N �"�%�&�'	/]0�0�1f6G;�;I?�AD�GVL�NP�ZL[S]�^_bjl�m�n�o�p�s�w�xxyfzv����ݕW���;�؜��;�������ئ�����<��޴	���F�������m�����{X�Y�\:_�_�_`�`<a�a�b-c/dfi�o�q�q:v\v�v�w�x�ykz�zI|��j�b�����<��~����p��֙����œC�W�!������ʴ �s�˸̾ؾ��=�\�C���0�����������3���P��r�D�"�����g�����|���
*��)�)�-/17�:;�;-B(��g�����F�a�>
�
�'A��b�Y�� !97#�$�'d(�(4*�2�58s8�;�<>=!KLvL�L�P�Q�RHU�WvX�Z�[\�_5b�c`eaf�m�qtHvTw�wz*z]{�{�~�h�����a���4���X�����E�p�������[�ׯ������.������d���3�����X�O���������+�g�����J�F������������1�I%�c�KU�!v"%*)O) ,�,�-�/��	�����#�"�����������&�����d\�98�#d$�$�+�,43�5�6�7o;O>/HI�a�f�g�i�ixj�j�jgkzlm�n�r?s�tyyc����W�5�����99�����ùi�i���(���-���6���)�����I�����������M���7��S�v��^������ �!�#u%�5�EPRkT�X^Yg[�b�d?fh�jGk�kjl�lmPpq�r�s9t�t�W���������m����d���ΒÕ��P�U��q�	��$�I���)�!�B�n�u�8�ܻ��������J�k�)���&���B���"�G�.����p���_�����hH	�	�	�v��"� �"�$�%h&{'+�,?-�-Y/�/�3�wtx�x�xdy)|t}�}`~���i�W�100���
����`�p�������[�ݧݫ��e�ս�����J�~����������������F������@����������p���������'���Z���	��������)����"?$�$o67�8�8J:�:�;<9>�@iB�BcC�L�M�MN?P}P�P+Q�W[Z_[�[�` qrztxTy���`���ԛd���2���a��,�T���������	������"�0������
{]�%�;�	!y"�"�+�0�JBK�K^LM�MN^NsPQ}Q:`7u>x�x�z���^� ��|��������P��֣��E�B�Ĩ6�Ʃζ#���Ը#�S���0���վu�f�����0������������u�����W�����������i���]�101 102 � �
 � C � � Z  ! �  x � ^ 7  ~  0" �" m# g1 �4 e7 �7 <8 �: j? �B D P �U �U <h �q �s v _v !w x �x � H� � �� ֈ V� ̉ �� � � h� �� 4� �� ڟ D� U� v� %� |� �� :� �� 2� �� � 7� 1� � � !� �� �� |� � �� �� �!b!Q!�!A!!�$!E%!�(!�)!<4!5!�5!,9!C!MC!�C!�D!NE!�J!�J!fK!cL!�L!oN!�R!-W!KW!�W!�X!�X!Y!yY!�Z![!�h!2i!�i!~j![l!�l!Qm!�m!zn!�n!^r!]t!�w!��#��#��#��#��#��#�#x�#�#��#��#��#`�#��#+�#��#8�#��#�#�$b$Z$�$�
$A$�$�$�$�$�$�$�$� $-#$'$&*$�+$.$�.$�0$�2$d:$&;$�;$(C$uC$tx%iz%��%��%�%��(�(f�(ه(�(�(]�(w�(`�(”(��(p�(��(�(q�(��(�(�(ߡ(ʨ(d�(	�(��(��(1�({�(��(��(�(?�(�(k�(�(103�(,�(2�(|�(��(�(��(=�(<�(��(f�(+�()E)�)w)�)�)�)�
)�
))�)V)�)T,)�,)!5)`5)�5)6)�8)�@)eB)4C)D)�E)I)�P)�T)TV)��)��)g�)��)D�)j�)�)r�)��)�)M�)��)�)��)�)1�)��)>�)c�)a�)��)R�)u�)�)}�)6�)N�)��)F�)��)��)E�)��)�*5*E
*�
*-*w*O*�*�*@**t*�*/ *�#*�#*�%*O&*Q'*�+*!.*�.*�5*R6*G>*?*�?*�I*K*�K*yL*�L*dP*�P*T*�T*�X*R\*U`*�f*Uh*�h*�j*�m*bt*�w*�x*(z*?�*��*$�*s�*+�*8�*�*6�*�*�*��*Ȗ*�*�*�*|�*��*��*��*��*��*��*
�*��*�*W�*)�*��*�*v�*��*x�*��*9�*��*d�*�*+�*��*n�*��*3�*|�*��*��*T�*��*104�*�+�+1++%+�++�+)105+q#+�#+d$+�$+�$+�%+&+�'+J*+D,+�-+-.+�/+�<+�>+�>+�E+�I+:M+�O+Q+[Q+zR+�R+�U+�Y+ih+zi+�}+�~+R�+��+��+��+��+r�+T�+�+��+�+1�+�+!�+ɵ+L�+�+��+��+��+��+��+��+�+D�+��+p�+j�+=�+��+A�+��+l�+�+J�+��+N�+�B,%C,�C,WD,�D,F,Lp,qr,s,Ds,1u,�u,"y,Ry,�{,v|,��,Q�,i�,F�,*�,0�,ڏ,�,��,ii0�k0�n0�q0�r0+u0ku0v0�v0��0�0�0ȝ0�0֡0�0�0Ϧ0��0�0��0��0�0l�0��0ܼ0s�0��0W�0��0Y�0��0+�0l�0c�0/�0�0��0`�0��0��0b�0��0h�0h�0�0/�0��0�0L�0��0��0X1�1h1}	1�	11061_11�1?11d1�(1)1+1"01^11G41@7181�:1107;1-;1z;1�A1108B1�D1DG1�G1+I1�I1&J1EJ1KL1hM1{Q1�S1�S1!T1sT1�X1bY1>`1�a1k1�r1^s1�s1y|1?~1�1��1�1�1r�1��1��1��1j�1��17�1V�1R�1�1+�1�1�1�1��1��1G�1p�1��1I�1��1!�1.2�2�2�22*2_ 2� 2�"2$2s&2�'2)2�)2c+2�72�92�92|:2�:2�=2�>2I2kJ2K2�K2L2wL2�L2NU2zU2�X2�Y2M]2�]2�^21_2�p2�t2�{2�|2�~2��2��2܄2�2��2��2W�2Ǝ2ϝ2��2E�2��2��2;�2ͩ2��2�2,�2��2�2�27�2p�2��2�2�2��2M�2��2|�2W�2��2��2K�2�3w3$+3c+3W,3�,3B/3P13�53C3VC30D3�D3+E3�O3�P3ZT3�U3�W3$b3rb3c3�d3e3�e3�g3�p3Rs3�u3�w3�w3߉3Ɗ3ޏ3"�33ڒ3��3��31�3e�3��3��3�3O�3��3��3:�3�3��3R�3��3�4_4�4#4	4
4b
4�
4b4�4�4#4�+48G4<I4�N4�N4�O4�O4�P4�R4�S4q4r4r4d�4�4�4e�4T�4�4p�4�M5+P5P5�R5�S5T5�T5qU5FX5�Z5]51^5�_5�_5�`5,a5�a5�d5wg5�m5n5-o5�o5�|5{}5�}5~5��5�52�5��5O�5Ԗ5/�5Y�5ߡ5��51�5��5}�5��5>�5��5d�5K�5��5@�5w�5��5�5��5|�5��5%�5:�5�6�
6�
6�6C6�66�66T6�6w6�l6m6|m6wn6!o6"�6:�6B�6i�6��66�6��6��6�6j�6־6@�63�6y�6��6`�6j�6��6��6��6��6��6i�6��6^�6�6V�6t�67�6��6%�6��6�	7�7�77�7�7�7�&77(7+7�27�37�47�6777187�97E<7.?7bF7�G7H7�H7�K7�K7�N7P7~P7�R7�[7�`7�d7�e7Pf71g7�h7�h7�r7-t7Tt7ou7Kx7�z7�z7�{7�}7y~7S�70�7̅7{�7��7:�7߿7@�7�7��7��7109�7A�7��7�7r�7��7q�7��7�7��7�7X�7F�7��7C�7z�7110�7$�7[�7��7��7��7��7�7��7 �7��7��7��7&8�8b888�8�88T8= 8x"8#8�5878�88b98}:8E;8�;8�>8?8�H8uJ8iP8�S8ZT8V8�Z8�8��8{�8߬8J�8��8M�8˯8
�8>�89�8/�8�8��8�8��8@�8��87�8��8\�8��8��8��8��8��8�8�9�"9�"9�(9�)9k.9�0929R�9��9�9g�9	�9��9r�9��9�9I�9