Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00016_00000_shuffled.ds.index118 linesDownload Raw Back to root
1��W�q�����z]!�p!{";%�Q�R%U5Yj[w\i]0^�^1_`Ic�h��!��ōՐ2�͜5����Χ�����x�,�l����,�	��z�~'#�2�8�s�������6�l����`�p��#����y�ʛ ��S�f�������7���#�h�������g��	�	N�Y��6I�v�0�456y@�A4DeFrT�T�WhYA\�\�_a�b�b3c�f�gi�iGk�n�o�ppqkr�t{u�x}�s�2�֍�����(�x���H�����.�D���2��"�ٹf��d�?��� �W������u�����������-�s���Y�����>������W���`�������.�3�Ha�s � >$`$`%#2�4{6�6q<�<�>?%L�MNgR�RdT�VW�XZ�]~^%`d�d0e|�|~�����?����ʒz���ޕ�@��y���}���ͣ+�߫IJ%���������Z���x�����n��q�����N�������8�H���X���#���4s\�Z
�
�
��J��,#�#�%�%�&�)i1�1�276�9wD�H�I�I!KS�S2XiX�X2a�c%dgen�n+oio�o�o5qrxs"���p�����+�J�ӳ.�U�@��1�s�d������������I�������r.8�>�?K@~B�B�E�H�JLK�K�LKM�Q�XJYiYaZL[�aEc�xT{�}�}�~��Y���Վј��w�-���9�ɴ<���e�8���|����� ���f��+�����S�L�������
�B�����,�Q��V��� ���>.�/J4�6a7�<�>�> ?�@�@�A+B�BqCE�F�GZJ�O�O)P�S�S�VsW_Y�Y�]%^>c*dln}n�n�n�q��G�-�k�E�����{�����#�����F����M����Y�����\���%��	�6YC�4���/52�2e4�4�6�8l;<�@�CsH|K�O�W?X�X_�_�bFc�d�deh�inin�nMo�wΧΨ�����"�C�r������U����x���"�������J�
�g\
�lR�!�#6$g$�$�)�+�+002K2�23�8:�:o;�;�?E@�A�D�EjF�MwN�P�W�X�ZTc�e�uCv�y��������9�����Q���ˍ}�����d�T��^�����y�������������x�����&������v���d���>�������e�����{�`		S	�	�	�	�	b	�	�	|		�	�	t	i	�	� 	�"	1%	s)	-	/	�/	�3	8	t;	%>	{F	tI	J	�J	�N	�O	�P	iS	�S	�U	?W	rW	X	\	�d	�l	*m	$n	o	�o	�r	ws	�s	�x	8y	7�	��	��	��	�	C�	��	�	��	 �	��	�	�	��	��	��	��	��	m�	��	��	s�	P�	��	]�	��	C�	��	5�	��	D�	l�	��	��	.�	%8�9?10�1112131415167!17S"18�"19=.20|5214722�823�8249925�926�927�D28�F29�G30�H31
N32�O33�P34JQ35*W36O[37�[38�\39.]40�d41Lo42�o43Dr44tr45�s46�t47P�48i�49��50|�51T�52�53�54��55ŕ56�57��58�59#�60&�61o�62�63�64��65��66��67��68j�69̭70��71��72ճ73�74ʹ75ȵ76Ļ77ͻ788�79��80��81P�82��83��84��85M�86R�87��88<�89��90��91�92��93'�94��95��96��97��98��99d�100��1014�Z	102i103�
�
8M��v��4L����&K'�'�'�-�-/.�/�0�6�>R@�AQCD�DlK�L�LAR�������h�D�؍F���ؐ�K���r�S���
�����������X�������`����#���CxS>��	���)k*.�.p0�8�;n<�=S>�B�B�CE�K�M=P�PR,T3U�U�U.V�V�V�VRY$^a�aUc�eh�h�j�j�n�o�s�teu�v:�ق����(����G�B�`���L�����������G���T��d�����[�U�����C�P�����������
�
�
�104
�
�
�
�
�
1
�

�
�
I
�(
�+
,
L,
�,
f-
�;
b=
~?
@
eA
�A
�B
�H
�H
I
KK
�K
M
JN
�P
�g
<h
�j
�j
!v
�v
Tw
�x
by
Ђ
��
ǩ
ت
t�
��
ܿ
��
��
<�
g�
z�
�
��
��
��
��
}�
m�
��
��
��
�$��X.�105���ce��p�� �!d$�=�>wO�Q�T�U�V�W�X�Z7[SdidTe�e4f�i�j#k�k�lnn/n'otDtht�t3W
���<���ˆ�b��q�Ə�
��Ȝ�3��R���ߪ�$�ŵ�s���]�l���*���������f�"�A�{	�f���;���!�%�1�20<Z=�=�>	?�?�IAJ�O-Q<UW}[\o\b�bdd	�ڂ��P�c���љ�țw�ȟݟF�Ħ_��G����^� �!�'�(�*�+�-J.`0�1s3�3�3�op���'�V�Պ����������֘T����̩^���p���1�g�O����8���i��s�Y�}������x�m���$�����1���D���)�W��Xy5�"q������106�a i?�o � �!p3f=�F-HOQ�Y�Z�`�`�c�d9k�k�lnouoZphq����L�����P�e�[���p�Z�	�#�D�U�������!��\���Z���������J*�*:+�,?-�.�.�/�0V1�13�9);I<�<�?"A�AiBEvEJ�JK�L3M�M�Z�]�_�`Me�g�gi�i�o�r�t�x�yyz�{������B�՗������U�M��]���7���W�ϻ2���y�U�H����f��������������"��������#�����������P�z���������v�0$`102�2$5�7�79;�=LM^M�N�[(d|d�f�gph noNo�p�p�q8r��o�r�Öy�˝x�������k���%���P���R��e��+�L���Y���[�c���0�R���C�Q��	�qZ��y)�*�,�/1�1I3�67~;P=�=�=@>cIPK9L�NP\PQ�R�T�W�Y�Y'Z[K[�b!cZc;dhf�izj�jjv�v�wy�z�|�~��͗#��K�������i��9�b�~�U�c���9�a�����c�����n�;�N��V	�107*
`��Hw�-Y�� �!�(108,�.P/�2i3�3�AlFO�P�R�U�X�Y�Z)[�_a�d�j�sYtxwox�{�}�~x��������;������t���\�çk�������p�r������E����4���1�J�����l�r���������i����z������i�����k)_��ul����E�(z+�+�-1,2�2a;�;�=^?c@z@�A109ByE�F%GwT�Yb]�_�ps�v�w8x�x;z�z�z�{��͔���i���	�
��¹����\���������7�*���F�������Y�N�����:�c����=����]���q���i��!�D���k�F"�"�#�$9&�&'@-�0d6�6,7i7�>�?�?u@H-MmO�P&Q�U�U} }L\���v���"����ÕO�r���:�6���110���ɮ�����²���X������������M��������������.�a�������Z�4��j����4�A�|�	S�"	P	7�2Z~�@�@7AB�BC�F�H�H�I�M�N7OmQ�R!U�d�vy7yBz�z�{p�ԉ����i�+��F���%������� �<�u����4�111������������X�^�����������������x	�	D1122f�k��J� F!�$%�,y-<1�2�3D4t4�61139L9;+>tCGNGJ�JOK�K�L�L�R�Ua�b?c{j;l�l0pQpsMt�vZy�{�|B}��X�Ρ4�ǥ��n���������%�/���������2���!�;�����*�9����7�a����������������v����P)_A��(�*�*�+m0Q5�5�<=�>�A�B�CDKEBF�FG�G�HYJL�L�RrSpT�b)d�d�h�h�lim�p%q�v�������ψB��@�a!�#�*G�G-J�KJLLQ�QRTyU�U�Z�ZP\�\]*^1_�_��2����5���1�|��4���y�J������B�Шժ���Ҹ���C���� ������/���~�������Q�������k���	114��]�2�I�h%�$�%&�(�*T,�/�/�1(4�8�;>AG�I�N2QRWTWXbnd�mUn7�$�3����*�����X�:�c�����a�����_��������i�	�)�
��9���K/�0�01Q3�4�5�6�<�D�G�J�KLS'TU:U�X�ZN[�\B]p^�^,aea9b�c$l<t��y������V�b��K�����+���ͣ7�8������\���L������Cr		Q	��4i�)�)�*}576u6�6$R�R=SWS�S�T�V�Y�[tj�l�m�n�o!qrq�r�u�݀�5�)�A�ϊ��љߛ.��<�����@�تQ�l�Ka�~�_�Z�F���!�h�>�j���������_�����V8 �> ? QA �F H *H �M #O #S 'W �Y �Z ]\ �\ Z] �^ �_ a` "a �a (b �b c ^c �� j� � y� �� <� A� Ջ Y� ِ �� Г � (� #� s� �� �� �� � ,� O� T� )� ּ � `� y� �� A� �� �� �� �� �� � <� P� �� �� �� �� �� �� *� :� �!I!�!�!�!�!�!Z!�!++!u+!�+!�-!�.!/!N2!2!]3!�4!;!i;!�C!ED!�E!$F!�H!�H!�H!J!�J!DK!L!�M!�M!�M!�N!@P!�P!#Q!�Q!�S!�U!�U!�W!�Z!O]!F^!�^!�_!`![`!�b!�d!Lp!�q!Ws!�s!t!�t!<u!r}!�}!/�!�!�!c�!�!�!x�!K�!ۈ!>�!��!t�!�!�!��!Y�!�!d�!x�!��!�!�!X�!��!I�!�!J�!S�!��!��!��!S�!0�!��!�!V�!z�!b�!��!��!d�!=�!��!��!��!n�!@�!8�!�!��!��!��!D�!�!��!��!v�!2�!��!�!��!��!�"�"#!"Z!"�!"�#"�%"[&"'"[)"@+"�:"�;"5C"�C"YG"I"J"�J"\N"�O"�T"KV"�Y"�Y"�Z"�["a"?a"}a"�b"Fh"�j"9k"�l"�t"�t"�v"�w"�}"f~"��"�"�"%�"r�"��"�"֙"7�"{�"�"q�"ӟ";�"_�"��"�"-�"��"d�"V�"��"j�"L�"t�"�"��"�"/�"�"��"��"��"�"y�"��"=�"\�"&�"N�"��"��"��"��"��"��"��"��"��"��"��"A#I#�#h##	#�	#115#r116#�#h#�#�#�#�#W%#�%#&##(#T2#e@#�@#�A#qC#�D#P#�d#&f#�i#k#l#�l#Hm#�m#p#�p#�q#|#M~#{#F�#~�#)�#9�#_�#��#��#�#r�#��#ET$�Y$�[$E\$8]$�]$_$`_$�`$�a$e$^g$h$|i$�p$[w$x${y$�y$�z$�z$M�$Ň$�$�$ǔ$)�$�$<�$a�$i�$��$�$�$ƣ$��$	�$,�$s�$%�$��$��$��$E�$��$��$z�$��$\�$z�$p�$��$��$��$��$r�$��$��$�$��$b�$��$'�$r�$��$��$�$��$�$�117%�%�
%O%%�%{%%^%%�%F%�%�"%�"%�#%~&%d/%u6%�8%�:%�:%+;%�;%-<%�=%"@%�C%�D%�D%H%�J%�O%�P%Q%[Q%�S%5T%�U%�W%�b%Td%�e%5f%��%$�%0�%��%�%��%��%�%��%�%T�%��%D�%w�%��%E�%��%�%��%N�%��%�%��%��%c�%�&�&�&�&#&�&&�'&@+&�+&,&.&�1&�3&�5&8&@&A&{K&:N&�N&�Q&�R& S&�S&�S&;U&_U&CV&+W&kW&�[&_\&Yt&2z&/{&�~&��&�&&�&M�&��&�&ό&�&ϒ&��&D�&�&
�&i�&��&,�&N�&�&�&@�&}�&��&B�&��&��&�&^�&��&��&��&I�&��&s�&#�&q�&��&��&��&�&��&��&>�&��&B�&��&p�&�'�118'N'�'T'�
'@'
'�'I'\'VC'�C'uD'�K'AL'�L'�N'�T'�Y'�Z'�['�\'T`'vf'Ch'�h'�s'^x'qy'�y'�']�'��'ˉ'�'y�'E�'T�'��'?�'"�'��'Y�'��'��'��'-�'ۼ'ɽ'y�'��'��'u�'��'?�'��'=�'J�'(�(�(�'(�1(�3(�4(<(>(
B(�B(�E(G(>I(�J(3L(�O({P(~U(�W(FX(�X(lc(Pd(te(�e(�e(jf(�g(rh(mk(�k(%r(Vt(�u(<z(�|(�}(c�(��(c�(r�(�(a�(��(�(֞(a�(�(Ԥ(�('�(��(K�(��(��(�(��(ر(.�(�(#�(��(��(��(*�("�(��(�(��(��(��(��(y�(E�(%�(D�(�(��(7�(��(y�(��(��(��(�(��(m�(�(��(��(*	)�	)�)N)�) )�)D)P)#)�)�)�).)�)}!)�!)#.)c1)]2)�6)�7)H>)@)�A)�A)wC))D)�D)G)�H)M�)��)D�)-�)ď)I�)��)�) �)'�)Y�)П),�)�)٩)[�)3�)ɱ)��)Ӵ)L�)��)�) �)��)��)��)��)L�)��)�)v�)��)��)o�)X�)��)5*X)*,+*�-*�.*l1*�9*~;*�<*�>*�F*