Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00022_00000_shuffled.ds.index87 linesDownload Raw Back to root
1�^�MT	�	2��_}���,�-�/d8=>�>�ADCSFj`�`b�bfg�g�g�ikal%m������?�_�٦3���V�0�?��ù�8���D�k�������Y��������#���w�!�!�!"�"]'�'(p(v)g*�-�/A0�0�5�66H�IEQ�\�\�_�df�f�g"uqxU|���g��p��t���"�)�)�*-�-�.y/�4�8;�;�DBF�F�J3P$a�c�cqdbr�t�yo��c�����������\�a���������2�y����V7L
�
�����* � :!�!�$�'�2O3J5�569D:�<�?�BC�K�L�MNg�h�i�lzn1o�q�r5x�~�`�p���1�l�m�����������;���r��?�?T�U�W�W�XLZ�Z)[�a_d�e�himjl�m�n�o�x;y[{4~��<�Š������;��m�6����Ĥ~��8�	�U���m�6���^�2���5��������Y�Ţ{�#�i�O�������ڰ��q�^�e�����l�B���;�&�������f�U���������4�E������T�X�%4
��(���}>&�� �!�!z"4%}&h)�+�0�3�6�667�91=�=6>�@�@A3A�B�D�D.J>O�Q�QYr]4^�^\_�_z`�de7g�i�iqlmnJo�p
q�r�r5t�u�v�w.x�|�}�~��|�������+�G���Ȍ����Öh�ȗw����K�*�i��U�s�̶����ͻ���d���r���������P�e�H�������SL����'E(�(G;�;=q=_C�H�IJeJK^�k(l�l�m�rtew�wx�yz|�|�}~n~[�����5����S���n����r�0�ٛ��Y�ӟȤʥ��_�ҧʪF�ٰ��f�ǽs�	�@�#�R����R�Q���5�~���=�^������q�����6������N�i�r		.	�			�	V		C		�	)		�	l	6 	"	H#	w#	�$	�&	�&	O'	,	(.	M/	�2	�7	1B	�I	�I	9L	gL	�L	�N	'O	�O	�P	Q	{T	�W	PZ	�Z	B[	Q\	V]	�]	�]	�a	�a	�f	�g	Oh	Wj	Hl	�n	�p	�p	q	�q	ty	�y	�z	n	v�	��	;�	l�	͋	��	��	s�	k�	Ǭ	��	�	R�	K�	!�	��	#�	
�	�	1�	�	��	s�	��	��	��	�	2�	��	��	��	��	��	�	g�	��	R�	?�	��	j�	��	��	{�	p�	�6�7m8�9�10� 11�$12�,13U-14�-15_.16�.17�218n419�420�Y21Z22.\23xx24�y25&{26�{272|28�|29�|30��31.�32a�33��34ك35^�367�37��38b�39H�40��41��42��43�44ü452�46��47	�48T�493�50��51��52H�53��54H�55M�56��57��58>�59��60�61��62��63Y�64��65��66��67��68@�69	"�;�<�=�?�A�AZB�D�G�K�K�OAV)Ys[�`Ibjegf�fU{y���a�̃t���؍������>�?�W���Z���=�D�C�������b�7�������H�N��������@����������g�Y��� 70KT
��:�R!�!Q#%5%!(�(z,:-n.@2�=�>�@�S�SU�V�W�Xc[�e�t�uVw�w�{��1�ڌe�l�g�%�������������!�L����Q�k�~��m�����x�������&����#
D
�71
 

�

O
*
a
D
7
�3
b8
�:
)>
�>
�>
_@
@
�A
�C
F
`F
PG
�H
�J
�T
9Y
�Y
fZ
�Z
�^
`
.c
_e
�f
 g
�i
4k
em
�n
�o
r
�r
/s
�s
�t
�v
w
Ux
��
��
�
G�
��
=�
ɫ
ų
c�
*�
��
^�
�
ü
��
��
��
k�
J�
J�
RxX"�"5#�#%�)/,�-{.W/�/0^013�5�68�;�>�@A�A�KCM�O�X�[�[�[{k@qeq$t�u�u�v�x�yz�{G�/�ׄ2���X � ("u"7%,'�'�(L45{5�5�6�:�;�<�=SA�A�A�DE�L�L�N^Q�\x^�^4`cc�c�dCe�fg�im�pq�q\tۍt����D�ȕ����ۙ>�����G���ޣp������q��	���������[����K�x����y����c?��Y	t�
�
�
�P�c��uu� �!�!)$72DGCL�LDN^OjQmR;S�U�U]�������\�8���������������������C�����N�����Y�0��������_�g����3
@
�.e�0��C�P� �&�'�(�*�D�H�HNIJ�M�M�NW]^_>_�_=`�a%c�fVgkHk�l�m�nJt1ydz�|��-�{�r�ʚ���?�����Y���Ŵ�A�$���׺t��M�i��������#	73!74�
.L�e� !�!�(+�+,-B1�12�3�:�:�;_>�?�AmCD�E�F�N{Q�RTZU�U�W�YL[�\6o�ptr�rvYv�v�w��ُ��<�Ԙ����z���|�!���h��3����@�q�v������,�������VX�Zaa�a�a�w#|�|}a}��ג�������n�ȵ)�����P����O���L��@EA�D(]Y]�fg
h�i�no&q=rs��u�S���t�������H�(���D�����A�������N��n�r�.�a�K75l�v��#�$&V.P0~0X4g9�9?=�=�>4?�E6F�K�LaPlQ�RLT�T�V@WtW,[q\�]^6`hc'dYd�i�i�irlm�m,o�u?vvv�v-����6���ΐ���=���j�o��a�[�Q����ϝ+�͟��c���T����:�����0�4S5�5
6�7�8�9�9�;�<4B�B�C%D_D�O�Q7TfU�U�U	[	\V\�]C^Qi�m�mfoPpuAvLx�y:}��L�����x�ܓ͔o����\�F���Q�L����]�x��{�l�[�¬!������g�@�a�ջ����������l���� �x�!�5�E���3�������R�����u���-�p����f���}����76�77��C�,0�$�%�)�,X/�0�24�7D8�8#L�O�POR W�WY�]L^�b�d�g�hDi�i�����q�����M�7�d���Y��78�n@���*#y'd()g)�1�4�4X5�6�7�9:H�IQK�L1M�O�O7^�_79d�d�e-f�f}h�i�iMq�ru�v���8���a��� ��׺����v�o�s�����:�f���L��w�p���=��280�rPE����>'�'�(f)�+�+A,k/D02F5�5&=�=>�M�RS�UBV
ccckd�d"e+g�gZj�j,o�q��ɋ+���<������p�7�Ș��o���Z�{�U�è%�v���}�����������o�%����J�LxM�]�_�j�k�kolvnzo@p�r�rat��r�����'�L����������8�����K��,�c����@�q���J���K�a��k��|�E�	�	���4�d�� �.25n5x<�<>�IhL�_�_MabhVh�jNks�wm~�~�|��%���K�ȓ#�͕��W�4�Ƥ���=�K������A�����(�����|���������/���������3�����7��	�Nv���5*m�{� �#�*�*�-0^1�4�6R8�:>�GD��&�+���z�9��j������6�����
���g���.�s9��t�"�#�%�R�e�eiji�im=o1w�w����Q���W���r�����R�`�l�5�G���������J�����{�����7�����*�������,���� � � � � * 0  J% 5( R( $) 0 4 �4 �6 �; �; 1? AA �A �B �C ZG �I UL �L P .R }R %T �T U �U �\ �] -a �b +d g �h �i �l ~r �r (t uu �{ �� � B� �� � ^� D� �� � K� �� -� �� ͪ q� �� ]� 81� _� :� �� � � �� �� �!�!#!l!!G!�!!�!�!!�!�! !� !� !�!!�&!_'!G(!�(![+!�,!)-!�.!I2!5!!5!�5!,7!�5"H6"�6"�8"�9"<"<"�>"I"4J"(L"SN"�N"�N"&Q"XT"xT"�Z"�Z"~]"r^"�^"�`"^a"gd"e"Wk"�k"^u"�u"rv"rx"Jy"�y"l�"��"u�"j�"��"�"R�"u�"��"��"�"��"�"�"��"c�"r�"�"��"�";�"\�"B�"_�"m�"��"��"��"a�"��"�"V�"8�"��",�".�"�"��"��"��"F�"��"@�"��"Z�"��"�"�"��"��"��"��"��"V�"�82#O#�#%
#e#�#�#i#c#�#�"#0$#'#A)#�)#�*#.#K.#�0#�1#�2#~R#�R#a#za#b#�b#�d#�e#@f#�g#�u#uw#�w#�~#2#؁#��#׆#S�#	�#V�#��#��#>�#^�#��#��#��#��#�#ժ#1�#��#ص#��#��#Ÿ#!�#��#��#��#|�#��#
�#�#w�#��#
�#��#d�#A�#��#��#��#@�#7�#��#��#��#2�#��#@2$K5$�5$6$H6$A9$�:$@;$�=$*>${>$,E$'F$�N$!V$:X$6Y$,Z$�Z$~^$`$t`$a$c$�d$�d$�e${f$�g$qh$�k$�l$f�$��$��$؏$��$đ$��$�%4%�%�%%y%�%�%K%�%� %0"%�"%�#%t$%�$%�%%&%&&%�(%O/%
1%�1%3%�5%a6%�6%n7%�;%V>%?%U@%AA%�A%�D%�N%�N%@S%zS%UT%��%��%?�%��%w�%��%��%ś%/�%t�%2�%ß%��%��%�%��%Ь%�%�%��%Ѿ%��%}�%;�%{�%2�%��%��%-�%��%��%��%=�%i�%:�% �%9�%��%G�%��%$�%�%T&&&�
&&5&�&�&&�&�"&�$&�%&�,&0&J0&91&B2&�3&�3&<5&�:&�@&GG&�G&-I&J&�M&>Q&�R&�m&�n&s&ے&��&��&�&��&5�&˲&ŵ&=�&z�&��&��&��&��&c�&T�&�&a�&�&�R(S(�S(U(dU(�U(#W(ZX(w�(f�(�(#�(��(L�(��(p�(v�(��(F�(��(��(��(u�(�(W�(��(r�(��(�(��(F�(K�(��(��(��(��(��(��(��(�(��(!�(m�(M�(��(��(j�(�)�)�
)t)Q)�)�)*)E)�")�")q#)�#)$)%)')2/)X1)�1)3)�3)4)<)�=)>)�>)q?)�?)�?)JA)|F)�F)�H)�J)�L)YN)O)W)�X)}Y)�Z)K[);\)2_)`)�`)a)�a)�c)�d)Bl)am)�m)�n)no) q)Pq)�u)�x)�})�)b�);�)��)�)˪)��)A�)s�)*�)m�)��)��)��)��)�)p�)��)n�)��)��)h�)3�)��)Y�)��)��)m***�*;*�*9**C*w!*R#*�#*�&*�'*c+*�,*�.*�0*�2*�4*<5*�6*U7*-:*W;*�;*�;*\*�\*_*�b*?H.M.'Q.�Q.:R.�W.�Y.�Z.H].�_.xa.�h.!m.n.�q.�r.s.�{.|.D|.�|.�|.�}.v�.�.��.B�.g�.�.��.��.�.��.�.�.�.�.z�.��.�.j�.&�.��.s�.e�.�.��.l�.�.3�.!�.�.:�.��.4�.��.��.=�.��.d�.��.i�.��.!�.��.��.@�.:�.s�.o�.��.��.��.G�.��.�/�/8/nS/@V/�Y/�Z/\/z\/�]/._/�`/�b/c/\c/�c/�j/k/@k/:l/m/�m/�q/�u/Hv/�v/�z/�{/S�/��/��/��/�/W�/o�/�/��/�/1�/m�/K�/@�/ �/�/A�/{�/��/I�/�830t0�0J0i
0~
00�0A0�0�000�(0�)0G20j80*:0�A0.G0BP0�_0b0#e0Yh0�i0�i0�i0=m0�m05p0Wq0�0n�0��0D�0�0��0��0W�0��0=�0��0>�0��0�0��0)�0��0��0��0�11�1�1W1�1�
1.1;1c1�817?1�?1�@1nK1�M1�M1�O1HP1V1�m1/o1Os1�s1�t1�{1�|11}1v1�1�1,�1��1Ő1�1S�1P�1ݙ1%�1Y�1,�1,�1��1��1��1�1��1��1�1L�1��1~�1E�1��1P�1:�1[�11�1?�1a�1��1�2(	2�	2�842
2�
2^2�2�72�M2T2'U2t`2�`27a2�e2�f2lh2�h2Cj2Fr2Tt2�t2Vu2�u2r}2�}2y2�2r�2��2��2��20�2��2��2��2�2 �2Z�2��2Ø2˞2��2��2פ2X�2g�2��2H�2��2��2N�2��2�2&�2�2��2,�2��2��2��2y�2��2"�2r�285�2A�2��2��2��2��2��2a�2��2��2��2f�2�N3�P3BR3dR33V3/^3�^3_35_3Od3Ae3,p3vp3�p3Lq3�q3�x34�3W�3։39�3!�3q�3J�3��3��3m�3��3{�3Ĩ3�386�3��3�3߲3 �3_�3�3Q�3��3��3��3��3s�3t�3��3(�324)4e4�4
4�4J
4�4�4J4O4�4^ 4�!4*04}14�14f34894]94�94�K4�S4t\4%]4�c4dd4�g4{i4�p4�t4��4Ԥ4k�4��4ҧ4��4��4�4y�4̮4I�4��4ڱ4��4Q�4��4��4��4��49�4��4��4�4��4�4t�4
�4x�4R�4E�4`�4>�4�555�5^5�5�55 58 5�!5"5f$56'5�(5�*5�*5�75�;5M<5�<5�=5A5�A5�B5�C5UJ5^d5�e5�y5�}5��5�5Ή5�5:�5~�5)�5�5s�5�5��5W�5��5�5��5�5��5��5��54�5�5��5/�5��5��5��5I�5x�5��5��5��5s�5��5s�5��5e�5,�5��5#�5T�5��5��5�66�8766�6666%6�606d%6B'6�'6s-6x/6506	16k1626v26�46�46=56K7696;6�<6PF6�F6�G6�H6�I6"M6[O6�O6�P6R6�R6�R6S6�X6�[6w\6�]6Wf6�g6"k6�k6ll6�m6�m6o6\o6�p6Bq6�r6�r6?u6�y6{6s}6�}6p~6U6!�6��6\�6��6��6�6^�6ީ6�6;�6~�6�6i�6M�6Ӱ6��6��6ٺ6��6Ͼ6��6�6��6��69�6��62�6��6_�6��6��6��6��6]�6p�6,�6t�6��6B�6��6��6�6��6T�6��6��6�6��6��6N�6��6��6O�6��6)�6\7%7�7�7|7n7�7B7�7�)7*7�+7