Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00110_00000_shuffled.ds.index105 linesDownload Raw Back to root
1��(I�����NY�u�#%/&�&�'�*�+�,h./?0699c;?>{>�>�?Jr�s)t�w�z2|~�~������h��)�>�\�{���~���=���Ҽͽ���;�#�G�����b���������������H���c�k���T�����	���a�x=3�,
6b8�8L>?d?.C�GpM�O>P�RS[�\]�j�k�l�l�n2p�r�st�v�x1{�{���O�ы}��T�=��Ԙb���؝�C������Q��������n�����W���u�B�������e����<�[������F�2����7 �"�$%Z&.)7*_+�-�1�3u4�4�<�=�=3>^E�F4G�OET|U�U W�X^Y�_�uv�z}vu��^�g�%���f�����9���Œ֠-����(���k��-�q���̻h���*�5� �p���h�����������_�h��H������������u����H�1����y3�3�4x57�8:�:\;�;�?6@�BBCbD�DrH�QiT�TU�V\W4YZ�]�`Abj�ybzC�b����`�J�������ܗ��Q��ֻt������	�I�����m�e�����9���S��������	E3�4�
K
a�"�#:)�)�-E`F�L>M�]�_	b'c�i�i�iok�sJt�y?|�|���k���������)�����Ğ����Ƞ}����lrpmz~~�����f����2�u�L��������5�z���F�p�����$�Q�����N�;���g�����������������>�7������������[����wt5�6_�����0�G|l� �"M$�&-�-/�1-6�6�:q=S>�?@�@�DyEsF�F�J�LN�N�NT�T7W�W�Y.\�]~^[a�f#g�gUmyv+wb|b���������������a�ّ�:�����#����Q���ΜE�ϝɞ?�A�6�������/�����8������!�"�#�%W&N)m)�*�-*.[a|bcc�e�f�ik,lInqu�u�u�x:y�}�(���
�c��������7�+��
��0�����B�c�ү�����4�o�`�
������T���@���.�������)���
���Z�z	G		�7	�8	+	$	�	�4	<	[<	D	�D	E	AH	xK	1L	sM	WN	�P	R	U	:U	V	L[	\	f^	Aa	�a	�b	Cc	�c	�d	�g	Pi	�l	9n	�n	�q	r	�r	�x	�y	�z	V{	�{	D}	��	&�	��	�	�	�	Џ	V�	�	G�	�	-�	��	�	(�	w�	��	6�	=�	��	�	9�	*�	��	��	b�	��	M�	��	��	��	��	z�	��	��	n�	$�	Z�	��	��	B�	�9Y10�11�12�13,1415+16�17H18�19�207!21A"22�"23�'24�=25@26G27>J28kJ29K30�K31�K32�L33�M34�M35�N36�O37�R38|S39�Z40?_41�b42�d43e44&i45�j46Fk47Dm48Ot4950u51u52+~53�~54�~5556>�57΄58�59ц60�618�62,�63Q�64N�65U�66w�67�68��69��70�71��728�73@�74��75��76N�77"�78 �79��80��81�82��83��840�85��86&�87�0
E�b���#�$r*�*�+�+,�3�4�@�@�A-D�DH�J�NWYXXZ[�\�_-d4e�f�g�k�m�vy����@�����8���ђY���o�I���`�e�m�0��������3���ܷ�����S���4��?�������)����<�����j���O�����	�O����������[���~[x�t���88�NX
/M�\O��'�*Q,�,R-�/81�23J3�3�4�4�;�<�<=��b�������:���h�����������V��

S
b
�
�
�
�
�
�
N 
;%
�%
&
�&
�'
�'
[)
�*
,
�,
s0
<1
e1
W2
P6
�7
8
jQ
�Q
X
F�
��
�
�
��
��
��
��
e�
}�
Ƶ
P�
�
��
�
��
'�
�
<@w@�@�A-CzE�HVK!^�mBq�|�~/҈��`������#��Ȓ�J���g���W�A���n��s��o�ο��z�+�������z�������@�(�������F�R�s�������XA).,1d2W9�9H<?j@�@�B�C�E�E�F�L�M�U�W~X5\�]�b|h�o�pZz�z�z|a|Dž�����(�g���X�B�����?���e�ϡ��2���B�0�õ���?����~�������	�����.�������\�;&Y��5#�%K&(>(�+v0�0�1892X2234�9H;j=�>O?�?�CMD�SU�V�W�?����'��*�����4��J�]���7�����&��������k�7���T���������������4
e�#()�0C1�1�2�2�3�5909h:�;�>�A�A�A�D91F�FGjH@U�W�W3c;e�f�h'n\{����F�z��ג�D��<�}�͗Иb������şb�!���ҥT���S�S�'�H�����ѷ>�|���92�h��������a��X�H6KCLHM!N�N�Q�V�W�^�_�`�aCb�g�iQt�t�wx�xz�}%	�b�|���ш^����ؒ/�(���P�c���'�ʟ����ͭ|�W�ݵշ��2�{��������>�O����������� ��(�4�v����������N�.K�|F	�	e[R���`�������,3$x& +-Q-�-.�.�1
2�2�;>/K{X{@}�}�}�~?�E���a�Ѝ��Q�p�����љ���������T���9�I��q���������Xr�t�w�y�|�|�}�}~�~.93���>�����m�‘ƒF���#�r�	�n���x�����\���
��u]��� L �'f2�26A7n8�8�B�BHI�I�J�L�L�O�U%W�W;Y�]P^�``aDo{owpNyw݀U����Z�������a���͈"���Z������)�*���Ԧ@�����0���e�g�8���D�0���o���M�����u���YZ�[]9]�cne�eXg�g�mLn
pbqs�s�}�~9���A���v�Ϗ���ĕ����6���.���Л���ʡ����h���Z���W����?����������ܵ���Z���`�J�_����D�N�����94�X���5x&Y)�*a-�-�.�1(2�2;3�3�5�7*9�9�9>wAlGJ�JGKUQ|S�X�Z�[�]7^y^�_Gd�g�g�i�nH}+�d��c����������)�r�A)T)�)�*[+y,�01-1�2w3c689�:�:�<W=�=3DRE�F�G�H�J�L�L�N�O�PuQ4R�R]X�Zn[p\�\M`gSg`gVhei�i�j�l�p�qss�sAt:|�.�V;�;<t<�=�N�O�P�P�RS T�VWWYLd�g�ijzj�jmpm�mdn�q�rhs`uzuQ|\������H���_���9�:���H�7��S�a�Q�����w���9�������5�����d��%�E�����"R$�$�(�)8*0�0�0�3�4SE�EfF�I�K�K�L�YGZ�_�`bTc~e�e�h>klJl�l|ou�vwzi��b����>�������+{_�c�c���+�+�+v-�-�]]g9h�i;j�ku{u�y?�j��ߏ�Б�&��ϛN���Ǟw�F�£��5�z�6�ƺo���\���9�h�����������)���+�@�����X�����)���������{�$���l�mCop�p|ruz�zW{�~��O��Ӈ�����4���������l������(��N�.���������X�S���v�����x���@��a���|�D���95��B�/HRu��M �!�!5"n$�)+�+.7L7�7	8�8�:C�C�D�EiHI�IUL�MFNNp���`��͞��O�����P���L���Z�-�M�����(�������4�T���d�������
�����*�@�����e��C �'�(L-|./S/�/1lcPg�hpi�i�l�mxt�x��O�|���n
�u*�8+9�;^=L@�@_B&C�x{y�|�}�~ r���|���N�o�>�C�)�_���T�96�'�R������=���C� � � 
 � � �  �% �% �( �) @- �- N. �1 ,4 4 x8 ): Z: �> �? �D R NR �S �U `f i �w x Uz ΁ D� � $� v� �� M� � �� �� |� 	� 8� � �� Ӷ � n� �� E� ,� ?� �� N� �� 97� �� R� �� �� e� $� (� W� 6� [� :� �� i� i� �� �� (� v� � V� L� t� �� �� T!�!z!98!�99!�100!�!�
!.!�!�!�!�!!�!"!o"!&!�(!o)!�*!@+!�+!>,!p.!�.!�/!0!�4!B6!h=!�>!?!u?!�E![F!_H!�H!Pw!�x!�y!�|!H~!{�!��!܉!�!Y�!��!Ϥ!P�!�!k�!��!f�!=�!�!��!��!��!]�!��!��!<�!|�!��!d�!��!��$�$��$@�$z�$��$b�$�$N�$��$��$f�$;�$��$K�$��$~�$��$��$�$!�$]�$��$!�$S�$��${�$��$��$�%�%k%_%�%�D%yE%�H%4J%�M%O%Q%�R%�R%�V%:W%\%�]%B_%�_%�a%}l%�l%qm%�m%101n%�%��%�%c�%l�%��%ۻ%�%��%��%��%}�%��%F�%�%j�%�&(&{&&�&o &"&�"&3$&&&�&&�(&�)&),&�:&B;&5@&PA&�O&�Q&�Q&�T&�u&0v&Kw&$x&j~&�&3�&q�&ߍ&#�&!�&��&��&֙&�&�&Ɵ&��&١&C�&X�&�&��&)�&J�&��&��&�&�&Ѹ&��&��&ֻ&`�&L�&̾&!�&s�&��&6�&��&*�&��&��&�&p�&r�&��&�&� '�%'�('�)'"-'k.'E2'$4'`8'�8':'�<'x@'�@'	C'�D'�F'�K'�X'�X'�]'�_'�l'p'�q'.r'�z'�}'''�'J�'��'��'��'2�'�'t�'�'��'�'z�'�'D�'۠'m�'�'�'��'��'h�'פ'��'_�'x�'��'[	(�	(�(#(#!(Z"(�"(�$(w%(�.(v0(�2(�3(S4(�9(L:(�:(=(�C(�E(F(]L(�M(�`(Dc(~c(�f(h(�h(~k(�l(Q�(�(
�(~�(��(�(��('�(ϕ(@�(H�(y�(��(x�(��(Ԡ(��(W�(�(��(�(V�(�(N�(�))H)D102)))�)�)F))b7)�7)
:)�:)g;)�A)B)�E)|G)H)�H)�K)�L)tM)�U)�V)�W)!)[)�)�)��)ʇ)�)��)s�)�)�)7�)�)�)��)M�)��)8�)ݱ)R�)�)��),�)��),�);�)��)��)��)�	*�*�***-
*�%*S(*�(*.*�.*�.*/*N1*�1*6*1D*jN*yO*�O*�O*�Q*X*�X*>\*]*k*`k*l*�q*�r*>s*yu*�y*Gz*�z*{*9}*s}*�}*~*\�*��*ň*��*W�*ڌ*��*č*��*�*z�*S�*��*��*X�*.�*��*J�*��*W�*��*n�*��*G�*_�*��*Ϲ*�*ƽ*�*��*$�*��*��*X�*9�*�*��*U�*��*I�*s�*��*��*3�*d�*O�*��*��*�*>�*��*H+�+7+�7+�7+"8+~8+sD+�F+6L+�V+�X+�Y+�Y+@Z+�Z+�Z++[+�[+�[+�^+�^+�`+�b+ o+Uq+�v+yw+�y+v|+��+X�+��+��+��+*�+?�+k�+��+��+1�+%�+l�+��+m�+'�+:�+�+͹+�$,H&,�&,D(,�(,�1,x2,�:,>;,R,-S,7V,�Y,� -�!-#-�#-�%-R&-*-�*-�--�--.-L/-�1-d2-�2-M3-5-�9-�:-�:-�A-AC-�C-�D-xH-�H-�I-�J-�M-aN-O-�Q-�S-xT-�U-�V-X-Y-�Y-�Z-�]-_-�b-9d-f-�g-m-�m-o-_o-p-tp-�t-Mw-yw-�-�-Â-^�-��-��-��-�-�-��-x�-��-ڔ-	�-��-�-�-C�-G�-ڣ-�-�-��-�-�-Ҭ-I�-ѳ-��-�-V�-��-��-�-=�-M�-V�-5�-��-�-e�-��-�-�-7�-��-��-��-I�-��-�-��-u�-��-�-+�-��-��-Q�-a�-��-��-��-)�.��.��.��.�	/
/*
/�//�/t%/	&/�D/>E/F/2F/>G/JO/�P/�Q/R/.X/�^/�_/�`/.b/�b/xc/7g/ag/Ak/�k/�/��/4�/�/l�/��/H�/i�/͞/�/�/O�/�/��/�/Υ/�/��/��/9�/ر/I�/c�/��/j�/t�/Y�/��/��/��/��/$�/�/�/I�/��/,�/��/��/uN2O2mO2�O2vQ2�Q2�R2�S2�V2RW2�X2Y20\2�_2"`2b`2ub2�b2�b2_c2`e2�g2Mh2�p2 q2r2xE3�G3	U3XU3Z3�[3�\3v^3�c3Od3�d3�k3�n3�o3p3�p3u�3��3�3i�3�3A�3��3�3��3ߖ3�3X�3��3��3ܦ3�3�3��3103�3ԭ3�30�3,�3IJ3b�3��3�37�3q�3Է3�3j�3��3��35�3��3��3��3��3X�3��3��3��3&�3C�3��3M�3��3��3�4G44W#4�#4�$4�%4~&444�54�54T84�84j94�94�:4�:4�?4A4?A4�C4�D4�E4aF41G4kG4�H4�J4QM4`N4�O4B[4�]4w�4܁4��44�4߂4��4�4܈4V�4�4y�4A�48�4`�4L�4��4͗4�4��4e�4ѡ4$�4�4�4��4��4�4i�4��4��4B�4̥5��5�5)�5W�5��5��5��5��5�5��5�5
�5T�5��58�5+�5�5��5��5��5��5p�5 �56�6�66�6V	6e10466'6�6(6�(6�.6�/6�66776�:6;6�<61>6�>64?6oC6?G6�X6�Z6R`6�`6�b6wc6�c6Bd6�e62g6�g6�h6&k6�k6�k6�m6Tn6Ao6$q6$r6�r6 s6�s6�t6�u6�w6�y6�{6�|6D}6-~6I�6A�6U�6b�6f�6(�6b�6x�6��6G�6�6:�6��6��6"�6��6�6��6��6��6��6�6e�6C�64�6�6H�6105�6