Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00089_00000_shuffled.ds.index103 linesDownload Raw Back to root
1>�������n� �q�U���(�U�^�`�����g�����p����R���|�������G�0	�2�3@
�
���
-(6�6�8�A5B�C@DEoERFJH�HnI�IlNIP+R}S:U�V�V�W�YUZ&^`�`;a�a�eIf�f�f������ʌ��3�����i���h�����_���������^�����\�����B�'���o����\���m�
�5�>�����G���a��������G�^�j�U�����!�#�$>%N')�;�<sG�L+SsS�����~���D���������2�������
�����.���W���9���7	]��htm�n�n1o;p�vzO��g��Ն�����M�Ó��p�!�
�ڜ��������Цm�S���ɰ��������}����A�����i�h�����>q��.Z�t�dOj�jNk�nqoBp�r?u�w4xpx{L{��ɋ�����P����=�ĝ�?�o��r�4���ƿ.�o�%��X���p���,�o����=�)�~���������r��)�*�+�-�3�=H>&?�A�A�A�BCD#EKH�H�MT�XBZ[�\�^c_�doe�f�j�m�o0p|�z������!���P���ҏ��ϑ�g�x�������<�L���+���g���F�
�����5�e����J�ܹ����,�Q�A�������Y���?��������M����M�n1��"-&]&�'(�()�)�+�/2U7�7:
>e?}@D�D�F�FtG�I�IGJ5K�K
LM�MP"Q�SKU.W[WqX�YZ[i\�_�`jd�e[fh����D���9�C��G�*����I�3�g���Q�.�P�ú�������������o��x�J�q�	�)$�$#,<.�/ 0�0�0H1�6�L�L8O�P$STCT�Y�Z�[�_la�dg�g�nvp�x6~�~���s�!�A���e������Өb�6���U���O�h�������p�����[���������x�T����t���������A��Y7(�h-�()q)*�+�,l9�9P;�<�>�A.CgN*QdT�UnV�V`^Na�bNere�f�v�w�xRy�y�zu|}K}��t���+�w������Z���ę��L���h�ʢ�*�դ��I�5�����!������������	J
	�	F	�	�	7 	�!	�#	$	i$	%	�&	T'	�'	�(	6)	2*	�1	32	�5	��	N�	l�	��	��	O�	��	��	N�	p�	L�	��	N�	c�	K�	��	��	d�	�	:�	c�	��	Q8�910M11�12�13W14�15�16�17^%18�)19T*20+21+22�+23I,24�-25026H>27�E28F]29�^30ta31�c32Uh33i34�k35(l36om37�n38�p39�r40mt41�w42{43}|44�45��46՜47I�48�49B�50Y�51��52d�53��54=�55��56?�57��58�59��60P�61�62|�63��644�65��66��67��68v�69��70E�71��72��73F�74*�75��76�77��78G�79�80�81��82��83�N+���$�[]�^L_�f>p9qsqw��@�զ=�X�Ưc���`�W���޼��)�����a������*�����7�0���_�1��������#n�4���hh�6x<\g� L!q!D"�"�#�%�&�'.s2(:�=	?�?�@�@BuB�B�E2G�HKWK�OTQ�R�WkZ
[�[5^�_/dg�g�g�i�k�qu6|�|!��:�ل��k���:���������@��ζQ���5�>���c�Q���D���|��^�-��w���.���[���8������
:
	


m
h

_
�

T
�
�
�
�!
,1
a1
�4
5
56
Q9
�<
$?
�?
�@
EA
eB
uD
�G
�H
�N
n]
�]
�]
�_
�o
�p
q
�r
�r
�s
Qt
�t
#u
V|
�~
�
ρ
��
9�
��
7�
�
@�
j�
P�
�
^�
�
5�
��
��
s�
��
��
l�
���84�p�"6&�)$-�6M7�7|<=EAvA85DrE�HnI+M6N}NO�VW�\8]�]`J`�`?ab�d[gig�ghFh�j�l�n�q�q's�uVw�y�݀���u���y�86���Ȓ��P���͜*�t�i����:�q�ϩv�������K���e�����(�G���N����9���^���P�����:�f��	�87���4-�-�/�/�0L1�1t;�<=]=�=hC�CkIbW�X�Z]_�`�rsuu?vy5}3~�ր/�v��Ä,����������2���u����L�Ѯn�����������2�&����`�_���������5���{�����W���
���
��L��4�bI�Fg���!�!"�$(�-f.�4$5L6(8X8�;<a@�@�@}C:D�D@G�H�H�NP!R[R�RS�TJZ�^_�_tiojn}`}��V�K�ѧF��������ñ�����d���z�+�q�l�%������m�����=�����d�R�	c<j��2��	` � j#V�(���}�S��R�i���88�z�M������q�.�i�9�޾�̿����i�x�������n���#������6��O�����p�)�a���y���;��89���G90�79�9�:>=�=>@2@e@�@�A�C@DNO�O�OPoQ�Q+R&T/X�Z:\�_�i�jkPk�k�oTp�ps�~]�
�Q�����a�����.�H�N���%��7�g���J�j��֪8���G�_�(�W�Ⱥ��Z���e�������#�2�?B�G�JuP�Q?R�S^YKZD[�]�_�atd��e�i�҈p���Ȍ�������5����Z?a�a�dg91i�j�lovo92pKpq93u;{(�e�w�_���g�n�q��K���&���)�|�D��M�����������\������­-�����~�i�����p�+�A�o�'���������p�F������%����{�*�����C�!*�,���-����ħ�������\�����c����=��������M���$����*��������������������
K�a��^��*X� #$�$X&�&�(P9�92B�F�G�I�I�L�MXX�X�YBf�i�n|x�xpy�~�T���������֯��ֳ���úμ�y�U���_�I����������M�~����+����a��������!�!$2&�'(h-:0R052�34�4�SmT�U�Ux\�\�\@j�jnlgoCqqt�t�wx#x{xw��0���׌�L���ސ���"������*�������P�Q������o��Щ�B��R�������?�����q�o�0���W�*�������N����������Q�pj������AS� z!�!�"^#�#�&}'�(�)�/�1�5{7:�<[=�>O?�?o@aJ�LRNZO1Qbc�eRihj�jUk�k�l�lyn3oDo�o�o�p)svly{�|�}���Ɉj�s�������+���,�	���׵�P���3�:�d����9�z���X�j���{����*�V�y���P�i���F������O
���o,t*-"%�-�-�2�2�3�3�4W=�=�H�a�b|c�d�jek�l�l�n�op{pvr��'�����͘ ������Z��ץw���Y���״
��i�h���#����f����������4�����A�����~�/�P��������
�Z�������v������OrQ�Q�UoWZ]I]�]0^fel�ly�}?�<�`����̄d�������2��K���:�}�H�������ܣ��[���Ѯ������>�|�o���8��=���1�S�j�����7�e�M���C�������U���o���y�f���`>�m`����� W!#/%�)�*�*�.�2t3�4�5�8=>=C+CGC�F�L?O�P�P-Q�Q�QR�SjT�`�a.f�gJh�h�o�odqqrls�u�w{�|}r����P�܅>���������6�����җ�x���Ǻ����v�����������������9�1�s���O�%�~����C�:����q�_����E�������F�����1�����x�r394_95���j�o�!M-U.�.m04�5�7>8�9�A�F!GH_IsJ]U�]�a�c1dgVk�k�l�n�nlsVtv:{��ّa��e���������O���β��D������@���	���ؾʿ.�����������@�������b�������/�2�������?������$���F����@����+96�
��#3&~*,K,�-�-A0�3�<q=�="?�?�?�CtD�D�D!H�HTI�IFK|KRL
N.RYSh=j�j�o�oYq�qHr�r�s97t�t�t�wey*zbz{A}�~I���ρ�̄c����͚	�*�D�����@���F���n����|��n���u�s�+�u�*���k������|������k�.�R�J������/�,�I>�98�99xD�u>�X�T��!\"�"+$�$�%�'
(�(w+�,�6�7x8�9�>�O�O�Q�R�RWXWX�X�Y�_za�a�cKd�d�eeg9h�l�|,�����/�Æu��������������*�I�����o�������������(�J�k�#����S��<����)%�g���;5�y!�!G#�#[%�%3W�$��Y�΋������ƞ��Ψ˩d���ѫk�w���A��������*�#�^���Z���m���*���N�o���~�+���������������&���f�"� �  		 F	 �	 �100 � q � �  � � � B q7 �G XH [I �I QS T bT 7U ,V ~[ X] :^ �^ �c �d �e �� 8� ^� [� $� � �� �� � R� � � y� ޻ �� � �� �� F� f� �� 101� �� �� �� h� f� C$$�$�$�$L$Z${$� $7$�8$p9$�;$�<$�=$U>$?$.?$8Z$^]$.a$�c$�g$Ui$k$Mk$o$�o$�s$Gt$�{$�}$�}$i~$�~$ɀ$R�$	�$N�$��$��$�$��$�$�$å$��$��$�$��${�$��$�$��$�$"�$S�$��$��$��$z�$��$�$<�$k�$}�$��$��$��$.�$��$��$�$0�$F�$��$M�$��$��$-�$��$��$102�$�%�	%�%�%%�%W(%R)%�*%�+%�.%�.%�/%G0%�0%�2%�2%�3%�3%�4%�5%*7%�7%�9%�<%=%G=%x=%7?%�@%A%�A%�`%�g%]h%2n%�t%`u%�v%z%�{%W|%9�%��%A�%��%�%�%��%˗%A�%��%י%Ϛ%1�%��%ӡ%:�%�%٨%�%��%.�%�%��%H�%��%ʽ%k�%�%��%�%F�%��%��%r�%�%��%��%��%^�%��%��%X�%_�%��%��%)�%��%��%b
&e&=&�&�&{&d'�d'ak'�k'Am'jm'�u'�u'[v'�v'�x'�y'jz'�'<�'ă'�'3�'�'@�'�'G�'��'�'L�'��')�'�'
�'B�'J�'U�'Ø'�'��'�'��'�'�'��';�'��'a�'��'��'3�'��'	�'=�'x�'��'�(x(�(G(�(�(�(�(()((�(C(� (� (�!(~"(�#(�%(�&(:'(t'(�'(�)(:-(<.( 2(�3(]4(�6(H:(+<(z<(=(G>(m@(FA(5G(�N(@e(hi(�i(�i(Tj(|k(Rl(#n(�p(5q(�s(103t(�t(�}(��(��(‰(�(��(%�([�("�(,�(�(�(��(ۼ(̽(�(~�(��(>�(R�(��(x�(a�(��(��(�(�(��(�(�(Z�(��(S�(o�(�(��(��(�(��(��(�)�+)O,)*9)�>)�?)A)	K)�L)�l)_m)�t)u)9u)kw)�w)y)�z)�{)O~)��)��)��)(�)-�)��)&�)H�)��)4�)%�)��)��)��)1�)`�))�)��)��)��)��)R�)V�)��)��)�)�)��)>�)��)��)X�)��)��)<�)�	*�*�*A#*�$*�-*�.*_/*�1*?3*�3* 4*�9*7<*�A*dB*�B*R*?�*��*G�*E�*��*��*��*w�*��*��*D�*��*��*��*A�*��*!�*��*��*d�*��*c�*��*��*��*��*T�+f�+�+Q�+��+�+¥+?�+ׯ+f�+�+��+]�+`�+R�+��+�+�+L�+�+��+��+#�+G�+E�+��+A�+��+��+��+'�+��+��+��+�+q�+,�,1,�,M,�,&
,,�,,�:,5>,�B,*D,�E,:F,)I,NI,�I,�R,�T,�\,`^,u,�u,�u,?w,Rx,v�,�,�,l�,��,Q�,�,l�,�,��,5�,�,�,R�,��,��,�,d�,��,�,c�,L�,��,��,��,��,@�,`�,,�,��,��,{�,'�,;�,�-[-�-'-Y-�-t-�-�#-:$-�&-�&-�'-8(-�)-S*-6,-�,-2-Z3-;4-5-�5-�7-�8-9-�=-@-�A-<J-gM-N-wO-YP-Q-�R-$V-�V-�[-�[-�[- \-�`-&a-�a-%c-�d-�m-6n-Jo-�t-�v--y-�y-;{-�{--�-8�-K�-f�-��-/�-�-I�-H�-��-d�-��-Ԗ-s�-��-J�-�-&�-\�-.�-r�-S�-E�-��-D�-��-:�-�-ܿ-��-��-��-I�-p�->�-!�-�-s�-��-��-��-`�-��-N�-�-��-t�-��-$..}.�.�..�.$.�.l.�..�.�.b.�.?.�.� .� .l!.6%.�0. 8.�8.�;.C<.�>.�@.�A.B.sB.DC.�D.}E.�E..G.�L.%S.eT.7W.}W.�W.*X.