Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00092_00000_shuffled.ds.index87 linesDownload Raw Back to root
1�F�v�7H8�;|<�=�BLH�H�J�JK Y�Z�\8]o]�^_�_c�c�dLe[e�e�j�kcl�l�n*�q���їҘ�G�9�|�Ğ��У٥���ƪѬ��Y���=����˲������~�j�P������S�����U�����}�3�\�����������"�^��2��7
�������=�$�E�PyS�S�T?V�X�XzY�Y@]�^qa�a+e�e(fIhhh�kyl�o�p<��i���U��3w-6.�01�3�7"8~8�8v<�<�<C=�@xBuCQG�G<H|K�KHM?U�V2W`X�\8]���4�)�������w�������c�/��õ���ٸ��!��!����M���������u����|�=�u���O�������������K���&<'m-�-�-�-./~/�3�QV\^}_c�k.t�t�v�xiy:z3{�{C|�}�}Ł�����#�[�����h����w������9���k�R���*�L�L���i���?���/�������A�3�E�a�h���:�m�����v�����Z���>�L\�	o�B�!�#$��O��	0�0R�#���ex��(X*�*u,.�./=2�ICM�M	N3NX�X�Y�Y�YTZ�^8aEfpg�h�h j�k�l{m�mt�x"z{�{%|y|�|�}����'����5�$���Й?�Ʋ����Z�������������o�v���4�������"�`���z�_����g�������U	�	�5TO
�
F���6#l%�%&=)PE0LxOVPVGWsW�W�Y�\�`�g�gi6i�j�k,ll�l�yjzH�d����4������f����Ŏ�ߓ"���,�L�_�K���_���U�"�L�l������Y���`�������)�H���
���G���� !�$�%?-�-�/�1o3586�6o<=>�>�C�FG�HI�J�K�MBN�U�_ncpd�����G��ǬP���������I���������Q����3��=���h�,�{�����]����^^����'�-�-�1&3n3�3�6u8�8�89�:�;�=>7@�BAD�F�H�L�M<OU3U(WMX�Z�Z�[p_�b�cVjk�}`���N�R������I�]�j�ә���5�������u�=���������������W�W�%�_�����������V��	>	2	(		W	�
		;0	�0	�2	�5	�7	wB	�D	E	#F	]H	>L	�L	�L	�L	R	�R	�R	�V	{W	_	�`	�`	�a	b	�b	�b	�c	�f	Fg	9h	i	�i	uw	��	$�	s�	V�	��	�	��	��	��	��	3�	'�	��	��	9�	7�	��	�	(�	\�	V�	��	��	��	��	[�	��	��	��	��	Z�	��	m8�9�10 11� 12
!13J"1415#16$17\$18�&19�'20Q-21v02223224�=25�?26�@27�A28SB29�C30GD315E32F33SF34�I35@L36jL37�L38KM39�S401W41�W42Y43�]44W^45y_46*`47R`48�`49�d50Lf51�g52��538�54,�55��56��57n�58��59B�60�611�62�63��^6��$ W���V � �"�"f#Z$�%�%�+�,.1.�.�5�@�k�k#l�l64n�s�w�wlx��4�ʙU�ħ������Ѱ
�±s������m�+�>�����������W�&���<���+�n����X�������65���M���D�����m�������	��	��
��=o����d��0"�"Y$�$�$%�%*�+�D�E�F=R�R�T�X�^�r7s}syu�vNwvy{{�{ |�}�}I���ʊ��������V�(�$�����������b
r

�$
%%
�(
�*
f+
�,
i0
M1
T4
-:
�:
�G
�U
Q^
�_
�b
�c
Hd
�d
Vf
�g
�k
�l
�l
7m
�n
fq
�q
ʄ
��
T�
��
��
�
Q�
��
s�
��
�
�
W�
�
�
Y�
+�
u�
��
�
�
�
�
��
�
Z�
!�
��
}�
h�
�
R�
��
F�
Y�
�
��
j�
��
�
%�
A�
��
66�
��
q�
��
[�
��
��
p�d�'KG�"�67��>m��(L,p-d.�23�3�3B4979�9�?�E%FxFLM�iUjey�{�|�}��u�
�i�|��
_*H]�z���$�&�&�(1*�*+�+�+N,-�BWD:F�GVH�H�HfIJ@K8L�L�N�NWO"S�U,WxXZP^8_�_xb`fuh�h�jdlvlUo�u>v�~��؀ɁQ�ȃ;�'�(����f�Ę�Ġ����68�m�̮��Ͱ&���/�ҺQ�|�������D���<�i���3�-�s�b�������`�������6��������� 669��J,z�z�}������U�y�����������������P�i�Q��b���wPx�x�zy{g|�|}���&�������
���F�H�'�����b�0�{�]2��	�
w.�12p2�2?8d8�9(<�<>�@�B)C�CGhG?L�M�uvlw�w�w�xYy�zsU�����µP�f�׷9�������������/�L�7�����������z�������u�Q���w���������>����R����
&o����! 0/u/*1�:�;#=�D)F�GPM.N�PRRuTV�V6]�]�]	^�^l`�`�aZc�c*f�fh_h�i=s�|�~F��6�=�j������������`���G�Ԝ������y��Ա`�G��Y�Y�����=���%�O�70�����������������>������R�����������[�X��������i�I���71Z�":;U�i!�#A%*&'E)�)�*�+X,!0y0�;R<v<,=0AmA�E�F�GHNHN�N�NBXV^�^�`9b�k�m�n'rts�u�{}`}}~�*�݁����Љ)�P���g���F��ض-�·$�g�y�̹��]�8����r�O�����+�K�����y���r���	�a�������d����1�h���@���>!|��60�R}C Y!^"�"Y%�%�(�)'8x8�=�OTP�PWRS�TDY�_`�n8~��]�����Z�����ŏҒM�������W�L� �ͪB���72�DZ*�س:�����������������v�4���i���\�|��I�������G�73�����n�9�6���!"["�"#�#�%&J'n()P*�-�.	7=8�8OrP�PhQS&W�W3Y_]�^a�b�d�d?h�hj�r�u�u�y;zo{b�}���c������g��1�̗���{�-���{�L����74�D�D�3�ܽ�8�j�������k���h�L�������U�T���V���h�l��i�����4���;�75�������h���G���Rl !�'�*�efTrNu{v|1~s~�~��׎���ː����әl���u�<�����d��%���<������������C�����'���������o�$E#76d�%H&�)�,`.s/�2q4&6�6�6�7%E�^�^�_I`aRb�b�hym:nLpZt�t&�l��g�����2�b�֦������U�K�����6�����������6�f�6�����,�h������2�b�������9���.�������b�`�*�'���p����.-W�n�a,<�77!1!�0-12Q2�25-8�>�>�@�G"H�HNI+L�L�M�N�Qh`�`�a0b�c&o�|������ܘ��l�[�%���������]����L�Y����s����x/K}�R|�Zf /}?nH�H-I�N�O�[U\�]�`�d�e�fg&hej�l�m�tmu�vxLy#|�|�~i�؃�������;��H�����ޜ	��������������%��������5����O�w�/�i���
��������.���G�������K���I�%�����������Z�����J�%�����B��7�����������������h834�c�J�<8��K N#�%�,�3'48z:�<eO�QsS�S�UV{]	^<`a�a�bAfsf�f�g�pru?uow�wcy�y/|
}F~��ނ�}�ۅ7������R�X�|���M���%�g���R�\��}�l���w���+���������r�����<�)�Q����U���p�L���5�N���1���?�����:�	�78g�����L"u�V�$�/�0d152
7^:y<)=�=R>\>FA�CE�I[J.KeP�Q%U\�]\_�cIk�m�o�qr�r�s>t�t�v^w�w�{,|0}?~��·������0���a�@�A���[�Ϩe��*�������Ҹ��s������5�����e���I���9������3�(�^�������d����������T��U��'��
J��d>��!y!�"�%�*2+?+3.@0f7<<=�>�L�LlMBO�OP{S[TU]�]�^�f�g(hCi�i�j�k�m�o�r�u�vuw)��Ќ���(�-�h��(�T�����t�����)�����G�o�w�	���>�������<�x�C����������������������Z����������
w�����79�"D��5�N0 � 2"�"O#�$�,j.�0,6B7�7�9�<>&A>B�E�G}HlJ�JL�TY�\c]_�{�}~Ȁ��a������1�e�ח]�Κ�M���x���Z��D���&���9���80�e�����o�������<�i��������	 I	 �	 �81  � � � � ! � � \ ! 5 f �  "  �  -" �" �$ 6% �& �& �( �* �, e- :/ �/ 0 �0 �2 C4 �5 [7 \8 8 �9 �9 ; o; �; = �= �@ B .I cI SK mL �L �O U lY Z �Z �[ =e �r s �u y  z Lz � � G� �� �� և � �� ۑ � �� �� n� S� �� 0� i� � �� ٢ 5� �� R� 2� K� �� �� Z� �� � �� �� 0� �� � 8!�8!K9!:!L<!S>!5?!=@!�@!�A!eC!MG!�G!>I!�J!�K!�M!�M!�[!82\!�\!C]!^!�^!�`!�a!�q!�t!w!�|!P!��!��!B�!Ї!$�!Í!�!�!	�!M�!͕!��!��!��!��!|�!��!f�!Q�!��!��!�1">4"8"�:"R�"&�"w�"��"W�"h�"j�"��"��"��"��"��"8�"�"c�"��"83�"��">�"��"��"��"��"��"b�"%�",�"8�"��"C�"��"�#�84##�#)#�#�# #�#*##�#4#�#
#�#8#� #� #"#�"###$##'#�'#�'#�(#�6#8#	;#�;#�<#�=#a>#�@#}M#�M#FO#*S#XS#�[#�\#�^#Em#�m#�n#�o#p#@p#�r#�s#@u#�u#Aw#M|#^�#��#�#x�#V�#B�#ݕ#7�#��#i�#̥#P�#Ч#8�#��#˩#d�#9�#�#K�#G�#վ#��#��#��#5�#��#(�#j�#g�#($�$385$\$�$�$�$$Y$�$�$�o$Vp$pt$�x$�y$Uz$�z$�{$-~$x$݃$��$�$��$׆$Ԉ$�$j�$�$g�$��$s�$�$d�$C�$��$В$��$��$ �$ҙ$�$X�$��$k�$B�$��$٥$*�$��$G�$�$~�$��$��$��$��$��$+�$Y�$]�$\�$�$i�$��$�`%�c%�e%Yl%�l%hn%p%/q%�r%Ms%�s%�z%^�%͏%�%��%ݚ%(�%�%B�%٤%@�%��%Ҧ%�%��%��%g�%��%&�%�%9&�&=&f&q&�&;"&h"&�'&�)&6*&1-&�-&�.&J/&*0&'5&�5&�5&�6&d8&9&B:&<&�@&�A&�F&{G&�I&4J&eJ&�L&�L&,M&�M&�P&?R&�R&�S&�S&XT&�T&�X& Z&[&�_&�a&an&o&�p&�p&�q&r&�r&_t&x&7�&͌&��&�&'�&��&��&/�&��&�&�&Y�&��&T�&��&,�&��&��&w�&��&[�&��&g�&<�&��&�&��&��&G�&��&��&��&��&��&x�&��&a�&��&86�&�''�'�']'�'�'�	''R'�'�'�'�(')'�+'�+'"='�='�>':@'B'oD'F'VF'KH'�H'�Z'�]'�c'4d'�d'�e'Ϸ'1�'Ÿ'��'N�'��'2�'��'��'��'.�'��'��'��'��'K�'Z�'U(4(�87(�(i((d(�(�(�(I(8(�(� (^!(�#(�#(.$(4)(�)(Q/(�3(�4(�5(�7(�8(�N(�N(�(V�(�(��(�(a�(��(J�(/�(d�(��(�(��(1�(��()�(�(b�(��(��(��(%�(��(:�(��(�(U�(��(��()�)V
)�#)I$)g%)�&)�').*)o.)$/)I/)L1)3)�3)TB)W)�W)y])R_)�d)�f)Cg)�j)m)Mo)q)t)�t)�v)w)�x)�z)�{)	|)�,��,t�,��,�-�--�-
-�-;-�-�-�--a-�-->$-%-y&-�'-�+-�+-M.-(2-�4-):-p:-�;-<-KO-�O-�O-uY-]-�]-9^-�^-?_-W`-�b-�e-bh-�i-im-*n-�o-�p-q-�-N�-��-��-7�-��-ˋ-Ӎ-|�-�-�-Z�-ה-�-�-|�-�-��-��-��-��-O�-��-��-O�-��-��-H�-;�-�-��-��-^�-p�-��-�-��-s�-��-M�-��-9�-��-;�-R�-F.�.�.�.
..�. .�".�(.H,.-.