Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00119_00000_shuffled.ds.index106 linesDownload Raw Back to root
1�<��
K/u%�L��H�"�#2$c'1-I1�1�1F2�3Q455�5�;�=J?q?@}BpD,E�E~I�J�LlMSuuy�z��+����˖��c���5���֠¦?�{�ΫE�?������L���o���>����s���0�����L�����d����x�{�#�����l%�%,&�&�&A1�145~5�56U7�8�9 ?S@u@^A�A`E�FbH�I_K�K�O�OPUTOVoY�YwZ�Zo\�x#y�y�zi{M}�}��$�S������~���S�C���z�u���!�ڳN�F��������� �b�5���p����������������������K��������u�����1�^�	��
�L����g(C*�6o8�9�9�>�?�E�HLJKiK0M�NJORBST�T�V�Y/]^�_Ua-e�efjf�h�h�}�~9�ń����ݍ�ˎÑ%�\���������P�Ӭ �����3�����������$�V��4�������t���������������L�h�`���>[�~�7��� �!
;m;!=,@j@�B*DsF�F�G4H�I�I�JZM�MN_�_�d3gEg�gNh�hzi�i�il�nBo�op�pNr�rt�vzw�x�y�{�}:4��F����P��������W���[�С?�]�	���n����������E���>�N�b��"������c�^�q�Y�i���X�#�p�������s���.uQ a!�(@)H*z+a,�1_3�@�BoC�EQW�Y�Z�[3\g`e�j4nbngpiq�s܀4���8�\�������������������&�c�e����������/�������������~�H�����{�������
�C24�3�$�(�)v+�+~,�,.YFZK]�_�a�a)b�cd�e�o�o�pNwx�x�{؊]��f�h��������%�H�=�5�6�y��u�1�1Z2�3=�?<A�A�D%FGlGH;H�K�^T`�gfh�j�k�l�p�p�tz~��8��@�ԝ�ޞä[�e�˪��s���:�����ɱk�d���9������Q���7��������i����������
��j��I���������^��G�-	i	g8�9�I]��_/� �!�!"�*:+O+t,R-�.f1�4;6)=?>�>@5D0EFF�F�MDN�N)O�TOURVTW6[~\^�_&b�g�g:iyiwmzn�o)qfq�qfr�v0}a}�}���/�·p�����܉ג��Ԛ����ݧ|���1�ү@�Ѽ�,�$��[����� �>���y���-�����3�w���&�g�����������U��@k�	b�A"�"o$&�&�'y(�)l*�*!+�+`:�GpHkP�W.X{XM[�\�^`�`bc~ce�h�h�i9l�m;o�os�s��"����N�p�������������$�~�3���T�		�	�10	�11	C	l	�
		�	q	U	�	�	�	L	�	�#	�#	g&	�9	A;	�>	t?	@	LL	�N	�Q	OW	�Y	V]	�^	�`	�`	�a	,e	�k	�m	n	�s	x	Qx	ɐ		�	٨	g�	�1213g14�15�16+17�18�19� 20E%21+'22�'23�)24A+25�+26i=27�@28-B29RB30�B31�D32aI33�I34rS356U36�U37�V38p~39"40��41˅42K�43)�44��45�46q�47�48,�49��50��51֐52g�53��54��55z�56U�57J�58f�59,�60��61S�62��63F�64<�65ׯ66�67i�68��69��70e�71��721�73��74x�75��76��77�78K�79��80��81?�82��83��84��85��86\�87��88Z�89 �90V�91�(�*%+�+#,�./�/k0�078u89�9Y=�BeC�C�HCIK�NpOJP�PES�S�WzY�[�\`,`�b�g#h�h6l�lb�>�>�'�&�߳ߴ��ϹM�'���������@�����J����_�i�,�����9�6���������92�I
3����m��*<.�.30�13g3�6�<Q=1Y�YbNb�d�f�k�k�oms�u�vzx�yz�}!�/�-�k������щT����d�̓��8�������������ذ��X���Զ����f��'��� �]�D�����G�4����������8���������d��
D
y

u
L
�
�
�&
y(
0/
�2
�2
$6
j6
�7

?
�@
7D
�W
�Z
`
h
�h
Vk
�k
El
�o
�o
;q
�t
�v
Jw
0y
|
a�
3�
�
�
 �
6�
�
��
@�
��
b�
��
�
��
W�
�
��
o�
N�
W�
��
��	�93	/�l�5���� �&�'�*�0������X�����*�|�϶\���9��������'�"�]�3�����g���~����2�����F���h�������f�������?�������`���>��0!E%�%E(�(�)�,F-�-.�/%<�<ChC�CVDJE�E�H�H%IxILL�L�MrO�XY�Y1Z`�`NaPde�o~q�t�v�����d�������7��R�w�#�.������������X�p�K�[��T�b������"�0�f���v�j���?���<����������� ���
'3�N�|�	?��!�!"�&�'�+H-3.4V<^�^_0_lo\r�r)z�g��7������i�_��_�׼��A�����F����t����o���D�I�������}�@��������k��h�L�����S�w���l�{�V�)��������&�q�������l�D���%�'�()�)~*M+�+�-�/�4�5�6B7�8�8�9�>�@�A7D�D7FHkH�J�K�LJP7Q�Q�T	UU�UaYx`a�a�g�iTj�jkk�k;mCo�o�rJs�s�tx�xny�yH|b}�6�p��&�Ù�5����w�ޝ��ŞԠ�=�ĭ!���M�د��(��T�?���]���&���(���������7�k�N������������J�m9=:�B�C�t�u/}΀N������V�����'�`�Q���E�U�������&�d�u�6�6�3��'�1�\�]�f�
�l�"����N�������������O�g�u��������i������^�/�+�������������E�S�D���94�����2�95�N���L�b'�"$�%I'H,�-�/96A�AyBF�FoG�_�_�`�a�b�c?j�j�k�l�m�oSp����܉L�������@�/����`��5����4�o���K�"������L�����9��/~��
Gt�6�gql?m�m}s,vv�w)x?{a|l}�~a�|���m�͋&�i����������������6���c�b����������W�����������-���=����I)�t��vql�E^!|"$�%['"(L)L9�;BC|DE�HuJ�K�T�U�\�\�]2_�`	b�ci�j�lMm�ot>udvsvAw�x�z%~�~!��{�/�������/���>�;�W���+�i����ڹd���h�������?�������!������f�}���d�����]���0�������8�D��"&	W�
J/Q/"0�0D;s<�>�@�AC�KaNO�O9P�^J`
a�bad�f�g-h�jgkZl�l)oyp�ptu�vy{�{�/�Ӂ�B��҅���F�+�c�i����ؑo�Š�����Ҹ��|���������&�K������� ~!�#%ب�q�����ʫ�������9�*�ٶ����A�O����a���P���,�u���U�Z���>���^�97������u��P98�99R3
�+�#k�xW0�0!7:;c;�;A�AhB�B�E G�G#L�L�N-O�O�PGQVNV�]�]�`fb"c�c�d�e�f�g#hil�ndo�ty}Q}�~�b�̀��8�Q�˔��͕Ě7���e�ԡ��?�ģ+�������Q�q�.�q����"���������j���ڻ-�G������������g���J�C�Y�w�^����V��K�O�ST�UrV]d_*`Gatvt�v;w6���]��љ��W�P�՟�#�������N�+�I�Y��{����	�h�L���k���������&�q�����D���?���������������������<�%���~	I100K��
�7���l�m0�0�<�@�B�C�ETG]G�GI6J�J�L�NOR�R�W�^`ca�afb�b5chd�e|ksqyzՃ��_��q�9�t�u�˫z��,�µ���Ժ�{�h������X��n�P���'���^�
�f��g�]�GL�$�%�&E'�(�)�,�//0�0#4�7h:�<�=�?^C|.|��W�����ԑ��ɛ@���@�3�l���f����ͯ�L�E�=�������l�����r������J�v �  L � � � � � � { - D6 = > +? �A 	B TB �C �D F BJ DT U �V �Z �Z 'l 3 � ,� :� 0� Σ ܣ ا �� D� �� #� ]� �� 6� ߱ l� ϴ h� �� ƶ � � � �� B� �� |� l� � �� �� �� �� {� �� �� W� 1� J� �� 5� )!y!�!�!,	!^!{!�!7!E!�!t!!�!?!�!�![ !�!!9$!e%!i0!z0!�0!�1!s2!�2!�5!�5!d7!�7!/9!p>!?!�?!TA!PD!G!�G!7X!�q! r!^s!Wt!n{!�{!�~!�~!#�!��!�S"�S"�S"�T"�\"	]"�]"da"�a"Rb"�g"oh"}i"nk"jl")o"�p"�q"�s"�w"^z"�{"}"�"��"��"[�"�"��"��"g�"M�"1�"�"��"��"��"H�"��"��"��"��"�"G�"q�"��"w�"c�"��"��"��"�"R�"	�"��"�#b#�#N#�#�101#=#J#�#�#�
#�#�#�#�#�#�# #�##&#X+#�+#�,#�-#1020#75#7#�8#79#?@#�@#QA#�A#B#4Q#�Y#�Z#�a#-b#�d#�f#�h#�j#,k#Pm#�m#�p#�q#Zr#�r#Ut#_w#cx#�x#cy#�}#��#��#��#��#��#�#̊#=�#O�#��#�#N�#��#~�#U�#�#��#Ʃ#��#P�#ֽ#W�#��#�#��#��#��#��#}�#��#d�#;�#�#8�#2�#36$'8$!9$.<$�A$�B$C$�C$jD$�D$�E$�F$�G$�Q$S$�V$pd$Ng$�$��$�$Y�$�$�$f�$'�$H�$Μ$�$W�$��$�$d�$(�${�$ĩ$�$u�$۰$��$�$��$�$K�$w�$��$?�$�$��$��$��$��$[�$��$
�$��$k�$��$�$��$�$��$E�$8�$/�$��$�$��$��$1�$��$n%�%�%%%�%�%"%`
%x%�%Y%(%�%E!%"+%�,%U.%�/%�0%�0%�3%i4%�5%�@%#B%�B%�F%�G%�H%TJ%�L%�P%�S%�o%m�%+�%z�%��%��%��%݊%��%�%0�%��%<�%�%ȕ%��%��%ߺ%�%��%��%s�%��%+�(��(�(��(A)�)m)�)�)	)O)�)D)J)�)!)K)')E )r))�,).)/)�/)\5)�5)�7)�A)�A)\B)�D)�G)�G)H)�H)�K)�K)DL)N)�N)�T)g^)]`)�b)Mc)Be)g)Lo):})��)��)�)��)H�)��)/�)l�)a�)��)w�)��)��)ף)Ƥ)~�)��)��)k�)��)h�)̰)8�)��)��)�)\�)ֽ)8�)��)0�)|�)��)103�)i�)��)��)Y�)�)��)��)	�)��)B�)��)��)+�)1�)��)z�)��)&�)z�)��)��)�)y�)T*�*�*	*�	*C*8*�*@*v"*�$*+*�-*�-*N/*�/*�H*4I*)J*�J*8M*�M*�O*�R*)S*�S*�T*T^*�^*�_*�_*a*da*b*>b*}c*Li*�i*Wj*;l*�|*�|*�|*�~*�~*�~*�*Ƈ*��*ԍ*�*104�*P�*A�*+�*�*��*ؠ*š*(�*��*�*ǯ*��*$�*��*}�*+�*�*{�*/�*��*U�*#�*��*3�*��*[�*_�*��*�*��*��*��*��*�*c�*F
+y
++�+|+0+V+:+q+�++�+ +b +Z!+�"+u(+�*+�,+B-+�.+H/+%1+[1+�8+�9+�:+�@+�C+ME+�P+�Q+gR+cZ+&[+�\+A^+�c,�f,h,�k,�n,p,Tq,r,�s,{,s{,�{,�{,&|,"},�~,��,&�,�,Մ,.�,"�,Q�,��,҉,K�,{�,�,�,%�,�,105�,k�,ץ,�,o�,i�,�,O�,��,��,��,��,��,U�,~�,(�,��,5�,s�,D�,��,��,G�,��,�,��,x�,��,��,��,��,8�,��,��,v-o--~-�-1-�--]-�-�-3-� -�`-<c-�f-ci-Jk-�k-�k-lq-�w-�w-�x-{-4|-�~--�-c�-}�-��-L�-��-Ț-›-_�-��-��-�-y�-c�-�-��-�-�-$�-̴-ʶ-K�-��-l�-��-=�- �-��-��-:�-��-/�-��-`�-{�-�-p�-��-��-+�-�-��-Z�-��-��-��- �-��-�.a.�.�.;.�	.�.�.�.�..�.�.).R.v .&.'.�'.�1.3.�3.�6.!8.>:.�:./=.J=.�>.bA.�D.�x.�{.�.À.��.g�.0�.f�.ˆ.��.�.��.[�.��.T�.Ǒ.
�.��.�.��.��.��.��.~�.�.�.��.�.�.ޞ.�.��.!�.��.I�.@�.��.��.�.\�.��.J�.8�.�.s�.G�.��.v�.��.��.��.��.-�.��.��.��.��.2�.o�.�.��.��.8�.��.��.�/U/ -/z1/L4/5/w7/�7/�8/l9/�>/I@/OD/I/P/�T/_W/hX/.Y/Z/a\/�]/�^/'a/b/�c/�g/Qh/{k/�m/�p/fq/�q/�s/v�/�/]�/a�/8�/B�/��/��/��/إ/�/��/:�/�/��/106�/)�/��/�/��/��/0�/��/��/��/