Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00057_00000_shuffled.ds.index103 linesDownload Raw Back to root
1� ���[E�#|#%�'�*4+�.	/6/n:;Z<DB�B�J�JL�M�OXS�S�T�T�XZ�^�_�`�f�f�g�j�k�m�r�u�y�|шb�����_�s���������#�H��� ����!��eN������!t"^#}#$�$�%|&s'�++-)0�2X@�EIG�G[HI�N�OSU�U�U9qsbsGt��,���������S��Y��)���������������*�V��v�.����.����8���������������������h�Q������g�����V�<�k�l�	 ����N��� k!�!`"�#	*w-.�.D6�7�8w9d:=�P�R�S�T�U�W�Y�\E�Ɗ����h���@�-��2 �"�$�6�6�@IB#D�DI�I�T+X�bRdeXf�gTi�i	k\k�k�o�zD{|�~r�����-���֏������ە,�I���������2����������R�����>�~�l5�e���,F/GFK^LmM�M9O2Q&R�V�WYyY�Z�Z^�c�eQf�m�nhoHp�p�r�u�vw�}]~�y��M���O�ǻ~�ɽ�����'M(c1�5H<�>�B=CiE�E�H�INkO?P�P�R�V�]x_Aagce�eMfh9l2m]m4n=�����كS�����<�ٞ-�N�o�įw���W�<���ٹ���ν���)���[���3�*��������T���3�L���)>-B3�3�4xl�tLu�uv\~-������|��݋z�<�’{�Y���2�^���o�d���P�v�F�B����ٯ���Q�����������6�{���>������Z�������������'�U�U+q-r/�/�031R;[=�A�BDC�D�E�F�G�KNTP�P�PrSTU-X�Y�[�_<a�b�bTdud�e�eh�h�jtkll�l�n��ʔ=����)�ћK�؜��2��������ڦ����b�w�X���5���������^���%�����-���5���������6�������v���f��1���������L�9����	][
�%/�#2 � 
"�-�.�4�I�QRHS�S \M_�_�#�]�N�"�����5�ֽ��<�U������P�-���I�L���1���&	�	0	�	�	�	�	�	�4	s
	�		b	h	�	@	�	�		C	�	Q"	�#	i$	m6	�6	�6	{:	D<	�=	�>	
?	�?	5@	I@	A	9�	W�	��	T�	�	-�	��	M�	ܳ	=�	Z�	��	۸	��	��	��	)�	z�	��	9�	��	��	{�	��	��	E�	m�	�	)�	��	��	P�	M�	U�	��	�5167:8�9� 10F!11�!12�!13�$14�$15Z%16�%17�&18)19�)20�*21�*22{,23�,24�,25�326�727*828�829�:30�=31gL32nT33]349a35b36�b37�c38�c39Oe40�k41l42m43�r44t45�y46{47�{48s�49΀50��51�52�53�54w�55c�56��57��58~�59�60��61��62ɨ63w�64B�65)�66{�67��68N�69׸70L�71ڻ72h�73��74�75W�76��77��78 �79 �80��81q�82��83g�84��85=�86��87��88o�\��`!!"�#�%�*�-:2�89�9�;�=w@PB����>�����z�\�����J�����ɦ��۪�y��s�+�j�����]���*���d��������J���6�"������:���!�&d�	K"�$�$S%�(�)/*h*B+�.�/?01tD�JuL�L�N#O*TWcW�X�Y-[w[#]Y^�d�toyz9zmz����ف΂����Ō �U���)��L�U�L����|�ߦ��9�E��������*���+�����z�o�����c�
�

�
P
�
�
`
�
�
�
x 
(!
#
`#
J$
>%
~'
�(
_)
�+
�.
G
\G
�Q
�T
EV
Z
[
dl
�s
w
iw
�x
y
3y
�y
@{
�{
~
�~
�
h�
�
�
$�
�
�
Q�
0�
��
��
��
)�
��
��
��
t�
`�
׿
��
��
��
��
��
+�
��
0�
*�
P�
��
��
��
W�
��
��
��
��
6�
[�
�
n�
���t����89$���#�$�%%(�,�-4.�/�3)K�KvL$O�S�T0U�U�X]i^!ab�ya{�}Z~�~`�E��/���#������r�ߥ���ש�����j�J�ѻ�������o���B�������(��������F�u�C�*�������������v�����M��J��
$����g�3�4b5�8�8�:�=?a?@{@QD[F/S�S�WX)\ȗŘ�������=����������B��;���0�\�|��q�������e���K�c�1��[�����������d����	�������L���Y������m@�A4�;�<C=]>�?�A	C�ZZb�b�c�j�j:kmRm�mAn%p�t�uov|�|�}�~�=�S�������ɞ$�L���|����O�ɴ���0�H�ھ@���s����ƺ$�,�q������'�[���������<�W�����������T�c����2@5xO�Qfn�s5u�udx3�����e�̚=���������'�_�����4�R�'��������W��������������86
���M�[�ƭΰ�90������B�g���l����R����.������������������	�#TF�K�!%�%l'1-�.�.�0�6::�;J?�@AF�IJ�J1K�M)V�Y6\]�]�]N_�_,`dcFd�f�j/k*l�lmVn�r�s�v�w�|��[�ӁW�]�4�ۈ���������/�ے4��0������ڨ��ݺ�������������v���D���z������m���������R���+g�� f"�)�)|*�*),�3�3V4B5�7)89q;�;.=&?B�B�B}H�I9K?T�UTV�X/Z�\^�_�`.a_b�c.gsj�lm(o�p�qx�x�{�_���ͅ��*�+�3���=���ٮ��R������a���n������T�C�&���I�_��������A�c�w���oH	�	�91$/
�F�������!�!:"�"�#�ASKL�O�O�OUS�U�VSW�YkZ`�`ke o�oRpq5q�q�r�s"zsz/|�|e�ށA�ێP�������	�=�����=���@���@�����7�X���������_�����c���B������P�����v��"�$%B�KY-Z[$_D_�_$d�e}f}h�2�A�b����F�#�<��+�ם���ס+�*�{�&�ƥШΩ?���-�Ӷ��!�����h�I��+�t�9�������}�N�������~���������Z����J@K�K�K"N�N%`�e�f-jElOm�qfs����L��L�F����ʰ����B�X�)�ֻ���@����������O�`�������������9
`
\�'-'a �#�$k'2�8�=&AE EOF�F�G�I�d�e�i�k�n&r�r�&�΁������������,���ś�z�F�y���	��M�6�����{�����P��ܹR���Ͼ^�@�X�`������M���*�����{�������!�"�$�)�+4,�-�-�-�/�0#1�2�4�507�7#8�8�:�<�=�>�@EB���ߒt�����h�����Y�����������*��[��b�5�~�:�5�������\���F�Q��������c��0Z�	��|j%H%�&�)_+{.7/�A�B?CNE�EH�P�QcY[_[�[�[|\^Ra�aA�m����������N���l�����������i���æ��Ũ��߮3�aL�P$�$�$.%�(�(�(+�2�5�7w8:�@A�E�E�H�IyL�NQZ�Z�\_a|b�c�cLdle�i�j7k4l�����!�������d����	l
�w��N+��K"-$`'�'Q+�./M/�0@1_6M:D;�<�=�>�?�?+@v@�AN$Z�\^^l^92_Ka�c�d(eaf�fg�i�jUn�n�p�q8st�vLyyz�|=~�@������!��N���ʷ/�H�P���ҽ���������H���'�:����&�a����!�[�� ����o|	�	�M��!F��5�0�;H<;c�cxh�hAm3n�r�r9t�txu�z �=�^����#���ǰ����������X�(� � ڏ ̒ � z� � P� � s� � t� �� 93� \� �� U� I� 	� w� ?� 
� F� ջ ½ 	� 3� |� �� � o� h� �� r� �� 
� r� [� �� t� � p� �� �� �� �� �� "� �!�!�!K!�!�!!8 !)!�*!'+!l+!�/!�/!w0!w1!`2!E3!�6!^:!;!e>!�A!�N!gO!�Q!?S!�U!V!X!�Z!`]!�_!`!^`!Na!�b!�c!(d!�e!j!Vn!�n!�w!8z!{!~!`~!�~!�~!?!�!ہ!��!�!��!O�!�!��!d�!��!M�!,�!ϛ!D�!P�!A�!��!��!��!��!��!��!��!Z�!��!��!��!�!Z�!a�!��!�"�"�94"�"""�"�"�"5"D"� """7%"�%"�&"�&"'"B("))"x*"J+"�1"Z3"v5"�5"�7"�<"95A"�A"rH"�l"m"Vm"�m"�p";t"yt"Bv"#w"rw"�w"�w"�x"�z"�{"�}"v"�"b�"{�"G�"=�"J�"��"v�"��"�"}�"��"�"*�"f�"��"Σ"��"Ф"Y�"ܨ"Z�"��"��"Ѱ"�"��"�"3�"�"��"B�"��"n�"��"��"K�"��"��"��"��"n�"��"Q�"��"��"��"��"��"��"�"�"��"/�"�"2�"��"�"A#@#=##�#�#�"#A##�##%#L%#�%#	(#)6#p9#�>#�?#�H#`J#�Q#�S#%T#}g#Mk#�l#�l#&m#�q#�r#t#��#*�#u�#`�#v�#��#��#��#��#�#��#��#6�#��#�#L�#Q�#e�#�#1�#��#8�#��#��#�#�#-�#Z�#|�#�#��#��#(�#��#Y�#e�#T�#\+$A,$�,$~/$1$A3$4$�6$!7$�8$'C$D$�F$=H$�I$�I$�V$�i$�w$�}$�}$��$��$�$4�$��$9�$�$�$��$��$�$H�$e�$��$:�$�$K�$6�$=�$��$��$�$s�$/�$��$K�$S�$/�$i�$��$�$��$�$�$��$��$��$?�$|�$��$��$��$E�$��$�%Z%?%�%	%�%�%U
%�% %� %� %(#%{#%�$%a(%�)%�)%R*%0%5%k6%�6%�7%�8%r9%�@%;A%6B%�B%dE%96G%�I%�K%�L%�M%5N%|V%%Y%pY%AZ%r`%�`%6a%�b%$c%�c%/n%an%oo%�o%�p%�q%�u%�y%�z%�{%�}%�%��%��%9�%�%�%U�%x�%M�%�%97�%8�%p�%��%x�%~�%e�%�%�%��%��%��%
�%ܨ%�%��%��%[�%��%K�%"�%c�%4�%(�%�%�%��%��%��%U�%�%r�%��%��%��%�%L�%	�%t�%�%J�%��%��%�%��%>�%��%3�%j�%�%��%|&�&Y&o&M&�&_	&�&�&�
&t&�&�&S&%&�7&�:&�;&�<&>&�@&�C&�E&�O&�P&3T&>U&tU&hW&HY&:\&a&�d&�e&vh&i&�k&�l&�l&m&�n&Qp&�s&�s&It&�x&N|&�|&1}&�}&�}&S�&��&��&��&m�&��&��&C�&��&L�&K�&��&z�&U�&�&��&��&_�&9�&��&�&�&�&!�&��&_�&��&��&��&	�&��&1�&y�&5�&��&��&R�&~�&��&V�&Z�&�&P�&l�&��&/'�'�'^#'�#'&'�('�)'%*';+'�+'�-'.'Y.'�4'�5'~7'�8'79'7='�>'�?'E@'�D'#E'xO'�O'�Q'�R'�T'�X'DY'�\'�^'Ka'�a'�b'�c'`e'�e'g'{'��'�':�'۰'��'��'�j(r(gt(pw(x(zy(6|(�|(��(ǂ(��(��(&�(��(��(��(��(��(��(Ȫ(��(��(�($�(˳(/�(��(�(f�(��(u�(!�(��(H�(,�(�(;#)t#)8)8)�8)�<)i=)�>)�?)B)�C)�C)E)YE)F)2L)bN)�U)�V)W)TW)�])$^)`))b)f)�g),h)�s)Gu)�v)Fw)y)My){)A{)s{);|)�})o�)G�)�)��)ؑ)٠)�)�)�)��)f�)*�)��)t�)g�)��)�)��)�)߰)k�)��)�)̲)98�)2�)�)��)��)��)/�)w�)��)��)G�)��)��)��)A�)c�)��)��)�)|�)�*�*�*s*�*�*�*�*�*�*�*�*:*g*�*�*�*�"*M$*I%*"&*�&*/'*E**+*�0*�2*�3*�3*�H*�K*�L*�M*�O*tP*iQ*�R*oS*/T*�V*�h*z*]|*�|*�|*�}*T~*�~*L*�*>�*ۃ*O�*��*.�*t�*�*�*{�*K�*99�*�*Β*s�*��*@�*��*��*��*t�*��*�*ν*�*J�*Z�*P�*p�*��*��*P�*��*��*��*Y�*
�*9�*H�*��*��*+�+�+�+
+�+++�+�++l +O!+�!+�(+,,+�-+1+�6+'@+1A+sB+oJ+�M+N+�N+FO+.P+tP+�Q+LR+X+�X+�X+,Y+d\+E^+^^+�^+h_+�a+�a+�b+d+:g+xg+Rh+�+��+��+��+v�+��+;�+×+'�+��+100�+A�+��+g�+��+��+��+$�+ڭ+��+K�+�+5�+s�+�+F�+��+�+Q�+ս+>�+!�+��+j�+y�+��+��+g�+��+��+6�+	�+]�+��+I�+B�+��+101�+o�+d�+��+��+��+f�+D�+M�+f�+��+��+,],�,&,M102,�
,�,A,�,�,	$,103%,J%,�),�+,o-,G/,^/,�/,�0,V4,�4,@,,A,_A,�B,�C,XO,�P,OQ,�Y,#[,�[,\,�\,3],�],�_,�_,�`,�a,�b,dg,Rh,�h,k,�k,�k,!l,�,c�,��,�,@�,0�,R�,��,ɍ,��,��,��,-�,̝,c�,��,��,��, �,��,�,=�,e�,b�,��,��,8�,��,'�,��,�,��,%�,T�,3�,��,R�,�,c�,��,��.��.2�.��.��.��.��.��.��.��.��.��.��.7�.j�.�.��.��.��.j�.��.��.��./]/3/�/