Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00021_00000_shuffled.ds.index105 linesDownload Raw Back to root
1������\�i1jOkmqRx8y�~߀C�B�������7�Y�(����K��w���L�y�����	���8��d��*\+-.3�3&797A;XE�EFjF2ToT�V�XY�Y~Z�\�\Sd�i�{�{��ں�������W����^�=���
�������t��_���@�������k���<�����7���%�7�#��	e��!�"�"	#�#�1KFK�K�K�L(MaN~`La�b�gUhoh�i0j�j�kLlmOs�s>u�u�v�wVy�y�{�{<|��E����R����������~��<����a���s��\�׹0���*���*���"�g�����E��?�(�������l�r�����~���U��!�*�+�-�.�.3249�:�:j<�?BqB�CDDSF�L�T�W�`cxd3e�jEn�n�n7o�s�s�s�t
uw\w�y�|�}~2��r�߈S�[�w�l�Q�l����������R���0t#�$�'�(a)0w2W5�7x?�?�A�CE�F�G
MiM�M����@���1������Z�z�ڈ,�ܬR����ʴ�f���������������Y�M�N�O�P�P.Q�Q�R�^_m_�g?h�i�jw�y��k�C���1�2�0�Ҕ3�)�����;�D���d���x����������y�N�:�,�J���>�������~�3�A�lGB�� |8�:�>�@xA�B[C�D�E%G�H�K�TV{X�^Pab�coef�gPh�kBl�{K~���{�������Л���ͨ�����~��ҼX�`�3�g�R���6�j�������������Y�V�F����h����O���X���������C���S���W�����*}F,3	�	�t6�$/����� "S&s&V*�*F,,�/<3�3�3<587:5>�@qA�A�A�CDrH�R0��Y�q�k�-��b�o����ەʖb����_�'�s�˯ �!�f�S������o�g���t���/���������������,�D����4�U�����M�[�;���|�*���O���� �F�7��'b%�%�T�WLZ[Cgtg�h�h?z�������͟b�b�b	�	c	<	�	%	�	�	�	m&	)	;)	�)	�*	�+	O-	j.	�/	�0	�5	x6	z7	-8	�;	�;	y?	�A	@B	C	wJ	yK	�L	�M	�M	FN	�N	;T	�T	�U	8V	cV	�V	�x	�y	e|	�}	8~	<�	4�	-�	�	�	(�	u�	��	S�	§	��	��	Щ	4�	x�	׳	u�	��	�	3�	0�	��	�	(�	�	��	X�	��	��	8�	��	!�	��	0�	��	��	��	��	��	R�	��	��	s�	�4�56m7�8�9�10�11�B12E13L14�L150N16O17�Q18�U19�\20%]21�c224d23�p24�s25�u26�u27ww28W�29_�30�31�32Ȍ33�34�35׎36-�37��38�39��4041�42O�43m�44�45�46��47V�48ۮ49��50�51�52M�53Q�54{�55��56��57��58T�59��60+�61��62��63��64��65P�66C�67:�68��69��70��71��72��73f�74��75s�76��77��78��79��80x�81��82��83��84��85X�%P6��%���Q�� �)�)�*�.���������^�_���I���e�o�1�����g�������=�m������*�	��

U�u	 i����� !�$�$%'+�+�,>2N4H7E9�9\;�;�<FaH,ONPV�V�[�[�]^9_g�jho�pPrdras�t�vxw�wx	���̌O��@�
���ȡl�w�.�*�P�������Ի������v�����h�q�������:���h�Q���{�^�n����0�;����p.�	�	F�9�;�=,>k?�?�C7E�F�W�^He�e�i@maq�q^r�u҂5�L����Z��M�ŗəޚx��Q�p���a�բ3�5�����ֵY����Է�&�ú��7���ԽV�۾���������������.�%�����,�N�������������3�������u����K���8����P�w���J��(�86�����	bL!t!�!�!�"%&�&T(w+%,�-1P899,?A4A�B�C�C�D�tYy�z,{�{�~f���߆n���ڈ��֌��8���!�x��k�������~��{�L�x�i�ѩƫM�Z�r�����Ҳ�@��շF�s�S�6�������*�~�y�o�����1�\� ��`�g����G	i�7
�=u�� �"�#�-�<=w@YA�AiHOI�JtOQ��c���ɖ��|���������*�k�?�M���I�P�J���*��-�0�y��u���R���3��P������	������9���87�88&&�PvS8��X�!{���"N#>%&�&W(/+�3*4�46�7;�>g@�A�C�E[F�TU�X�Y�]^_|_�aRc�e3f�g�lrm�	���Ȏr����;���9������|���.�˱��)��o����V��
��l�2&3�3�6[7-8�</=<B�B%CDL�L�PVQGScS�TqV�VW@X�X?Z����D)��89H�0N)�� � Q%i%(Z*�+�,|7v<�>B�CYhY�Z<[�\�]{_d�fsm	n;n(r�z�|m}��W�w������
�������әY���}��������#�����y����j�90�dJ���l��Q G"�#�(�(�)�-�.�.�57@�B�BD�E�OYU�U1Z�Z][ a�a�b�i�j k�kl�nVo�u�vWwny�zo|�����[	�91T%$)�)�*"+�+,�,�,P-�01�1M4f7j=�>B	NiP�STU�U@VW�X-ZMb�np�prFr�rl|�g�ˋ��u�Ý����A�g�D�����Q�A�۰ó��������0���������t�����}�6������<�\�-0	�92��
� 6-�/?3�3�3�;�;a=�F�F�U7V�eTg�k�lns/v�v�v]x�{d���9���T���ʏD�ˑ���y�ǚ8�G����������ȣ'�C�A�X���u�0�|��H�y�	���S���F���D�{�#�K�c�����C����?���\���K�t��������	U93J5'r'�(�(()V)^/�2e354�5�5�B�FPHiH�HIIRI�M�MO�OPuRsW�\cd�fnVq
r�s�t�tփ����~�����̡�%��)�c������94��L�D��� �;���������������Z�����%�*�e�	��
V=,�=!�%�,�-0�>qT�U<V�[;\�g�jm�m�naoTp�t#u�|W��B���ψϊ���ˎ��f���{��˸ܹk�]�ü�K�g�|���p��������F�����R�������������`�G�V�{���P���'����� ������N�����������j%Q/&�'�=">�?S�S�S�TDUX
ZA]�^�_�d�h?m}m�nDodp�pgr�r s_t�wx�x��%����`������"�<�����������H���
�A�۫׷��B�q�1�l�N���6�xM� ` &�&N)�)*M+,�-f.#///�/L2�3�7�8�>3?�?@5AeA�BjE�H8I�KINnNZT�T5U%g�h$i�im�q�rct�tBu���������������D���o���y���o�.���u���L����	 �
 �  O � h p � C `2 4 �6 �8 �: �: BL �M �N �N �Q hS .U IW �W &X A\ j �k Sl �l �n �n ao !s w �w #x �x {~ �� |� z� � � 8� � �� K� �� 1� �� #� Z� � �� � Ŝ x� �� 
� �� J� Ҧ �� '� i� �� �� ͫ a� �� � n� � ߹ 8� �� T� �� i� V� �� }� �� �� �� �� �� N� �� �� �� �� 0� �� w� �� K� �� �� �� �� �� t� �� ,� 9� X� � �� D!v!G!�!�!I	!A!�!�!T!�!�!H!�!V$!t$!�%!*&!�&!�&!'!6*!�*!/1!�2!�2!4!c8!�8!�;!�<!�=!h>!�B!�E!�F!�F!�J!�N!�O!�P!T!�Y!;Z!�Z!�[!^!�d!e!Ke!�g!�h!�j!Uk!�k!m!
n!"n!Bn!�o!�p!�w!C|!,~!T~!|~!�!�!�!�!ؑ!ړ!�!��!S�!9�!��!��!��!�!�!s�!W�!��!O�!��!p�!��!��!}�!��!��!��!�!��!��!��!��!]�!��!&�!��!�!d�!�!��!~�!
�!z�#�#�#��#+�#h�#��#'�#}�#��#J�#�#z�#��#��#��#��#�#��#��#��#�#A�#��#�#E�#F�#��#i�#i�#��#�$�$A$�$�$�$'
$D$�$�$�$H$q$�$M$$%$�)$�*$92$�2$>4$f4$5$�7$�<$�<$�>$eA$C$F$�$��$��$�$��$�$�$�$y�$�$�$��$��$��$/�$��$i�$&�$��$��$��$��$��$��$z�$��$95�$P�$��$h�$
�$��$��$>�$=�$�$�%�%�%8%�%q%�%�#%W$%�$%�&%�'%.)%�-%�/%F2%�2%IM%UN%]P%S%�S%GW%&X%�g%=h%j%�k%mr%s%jz%�}%��%�%��%��%n�%&�%z�%��%�%ʠ%�%K�%�%��%7�%,�%��%ް%a�%��%��%��%:�%��%��%��%O�%/�%_�%0�%P�%s�%��%Q�%��%��%��%��%$�%D�%�&i&�&,&�&�&�&�&�&P&�&=& &� &~#&"$&/&�/&O1&3&4&�4&:5&�5&6&GA&�A&E&E&�N&�O&SP&�P&�U&�U&0W&�W&#Z&�Z&�^&`&\`&�a&_c&�c&xd&�d&�d&�h&�h&�l&pv&z&X}&&�&�&߉&5�&��&I�&2�&��&-�&q�&'�&ϙ&��&�&��&�&G�&ѡ&96�&=�&��&\�&��&E�&?�&"�&��&@�&J�&.�&-�&*�&��&��&��&��&��&P�&t�&��&��&��&��&C�&��&��&�&��&��&e�&I�&<�&5�&F�&��&��&6�&��&��&$�&i�&:�&9�&��&@�&�&N''�'�R'�S'1X'�X'$Y'JZ'�Z'v['�a'Rb'c'�c'�d'�o'"p'�p'cq'ks'w'�w'}x'y'��'��'��'Z�'��'��'׎'w�'��'w�'��'d�'��'q�'�'��'ſ'��'k�'.�'J�'��'��'��'�'+�'��'�'<�'��'�(#(�(�	(b(�(?(�(�#(1(2(U3(�4(�5(�6(�;(@(�P(�R(�T(�T(�T(-_(d(�d([m(Pn(�q(u(�v(�w(�x(�z(�}(*~(�(��(#�(
�(R�(�(��(o�(A�(o�(��(�(�(��(�(��(ϧ(��(�(e�(ͮ(3�(�(�(��(6�(��(�(n�(��(.�(<�(��(��(k�(��(�(��(��(�)�)�)�)�97)$)�)�
)�)�)t)0)E))�)�)�)@)�)	")G#)b$)%)%)c')6))v/)}1)+A)3B)?D)�D)�G)FL)UM)P)�R)�S)bT)�T)�W)	X)[Y)�Z)�\)a])_)�a)b)�b)4d)�d){e)�e)�g)nh)l)m)�m)+o)�s)�v)�y)lz)�{))��)��)߅)�)Q�)��+��+��+V�+��+%�+~�+��+q�+��+W�+��+��+z,'	,�,,@,�,g,,� ,�",n%,$&,$',�',$(,\),�),�,,�,,�/,p0,�0,�1,p4,�4,06,�6,�8,i<,=,V>,�@,LB,�J,�P,Q,�Q,PR,�Y,�Y,],�`,n,9n,o,�q,�q,�t,&u,{,�},	~,�~,U�,98�,4�,�,O�,)�,�,q�,��,��,C�,��,p�,,�,��,�,��,K�,��,��,خ,E�,,�,ι,.�, �,��,��,ܾ,��,��,��,�,��,��,��,K�,�,�,��,��,m�,��,��,��,1�,{�,
�,��,��,[�,��,Q�,��,��,�,#�,4�,��,��,-�-
-�-�-�-�-<-�-�--x-@-}--4--�-o -G%-2-�2-�3-r6-�6- 8-�9-:-	<-�<-I>-w?-V@-�A-�D-�D-F-�G-"H-P-�P-Q-�R-�S-�S-�T-]U-?^-�^-�{-�-Ӆ-D�-Y�-�-��-6�-�-	�-��-U�-�-��-ӻ-8�-��-��-P�-�-��-��-��-��-��-��-�-��-$�-D�-��-��-S�-k�-��-��-�..�.
.e.�.C.�..H.�.=.�.�!.�*.F+.C8.$:.�;.�=.R?.�P.Q.BU.W.)X.Y.�f.u�.�.��.C�.�.%�.99�.<�.�.2�.?�.�.r�.�.*�.	�.��.�.[�.�.��.ֿ.��.��.��.�.r�.W�.`�.-�.��.��. �.��.^�.Z�.�/O	/F100/�101/�/I/� /#//#/]#/�,/�-/.//1/�</�>/eA/�B/KK/�K/VL/T/&�/j�/�/��/��/~�/
�/Z�/��/��/�/d�/j�/�/�/��/v�/��/h�/y�/]�/��/��/�/h�/�/��/��/�/��/��/��//�/X�/�/�00�0�0�1020�0U0�0`0� 0�!0�#0'%04'0?'0�(0�+0]-0�>0_@0�A0[B00I0�I0;J0zJ0K0�K0�N0�[0�\0d]0Mr0wr0�u0c}0
~0�~0�0$�0��0.�0�0!�0��0�0<�0�0��0��0��0O�0��0��0��05�0�0��0z�0��0��0b�0��0��0@�0z�0޿0��0��0��0^�0��0��0��0��0:�0,�0x�0��0��0�0��0��0�0e�0��0�0b�0��02�0��02�08�0c�0L�0t�0��0��02�0�0F�0103�0�1�1b1�11�1�
11�1u1�1�1�1B1�1C1�1�11P1M1!1Z!1Z#1�$1&1x+1h/1�01!11+51?61c61}=1�=1�>1>@1SB1C1�G1�G1HH11I1�I1�O1�Q1S1%S1�S1�W1RZ1\1t^1�_1d`1�`1�a1Re1�e1�h1j1;k1��1��1/�1S�1W�1��1B�14�1
�1^�1��1�1-�1i22z2�2E2x2�22�2B1042�1052W2D22�2�2�2�2W2�2%#2�#2>42�42�82�>2�>2^?2�?2@2�C2UE2�E2nF2�H2�J2�K2�K2�N2�N2LO2Q2�S2NZ2�Z2i^2�^25*5S5:5�!5