Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00060_00000_shuffled.ds.index84 linesDownload Raw Back to root
1&DQq�����a�m!�!2(>-�/23	5�5)7�8o:�:p;<1<2=T?�@CC�C�I�J/KJLM,N)OiP�P9Q�XY�Y3\B_�_�ad�e)gDh�o<q�qyr)u�v[wx�x@y~������L���v��%������ے����=�f���.�K�����J�����y�R�}���P���/�����6�B�M������W���4�|X�Q��� �$%'&d'g(�(�*,E,v-�.>/�/2�6e=�>�?�B&IIK�L>MNO�P�P"S~S?UV�V�V6WZ+\a]Dj�����D�������ʹ(�<���j�
��g��ý���{�����I���+��4�����E��������"�������R�������.�wu��[?q��6�!�&�'[)�)l+u,�.�0sM�M�P�Q�Q�RNVyW3Z�Z[^�k7loLomo�o�pq^qr�sxt�tTu�v2w'x:~���3�Ґ�r�:�������ߡ��ڦ2��V�������g���W�6��7�"���{�����6���s�m�E�����`���.��5Mj&��`��Z��$&t&�&�(�)I*�*(0X1�1H4�7�8�:�;C>�>?7B�BrE�G�J�J�R�[\*_se�fi|�؍n�������d���L���˜��ˢ"�����r�8���>�_�j�����´X����,�O�c���r�*���K���?�����������*�(���)�V�����?�W�l#O��\q��
w�g�3��)}-.�/�0{3�;�>�?�@�G:I�IK�L!NeQR�S�T�Ue�e�e*q�rksuhu�v�{|�}f~���DŽC�܅�l�������-�ّ��o����������޵���L���J�A���]���6������E�|���-�������C�!����7
n�2�4�6�9�@�A�BmC.DpD�D�HQPtP�PWSnc8doUo�p�q�r$tttNu8�'��V�"�ϗ!�|��|����������P���޲γ˵ж�"�Ĺ�ȺX�<���Q�����_�l�����Y�@����
�������	A	�
� %P%�%�*.�.�/'2X3�34S4�4�7�89�9�=0>@�@%A%DEF>]8^n^`{`pac|cdye�e�e)f�f�i0jk[l�|�}����=�ֆ��1���Պ/�Ìތ���4�������ӟ?�o�ź�����>���������������������H�.�d�G|��	Kn�\g�X&F&�0�4�5�7�8U>@P�V�VrWd�dEg�ioop�pq�svo��������������#�O�{������\���������l���,�t��� ��4�7��
y�x��D� X#*&�&�'�J�T\U�W�Zv[<_�_�_:b6�������������Z�����j���
�Y�r�W�x���=�7	�8	�	e	[	�	o	�	�0	�1	67	l8	�8	BI	�K	�K	"Q	�Q	�R	�R	7W	'X	QX	YZ	�]	fa	�b	�c	�g	ch	]k	Pl	Gn	9p	�p	q	s	Ns	�s	Tv	�v	�w	i}	�}	��	Ԃ	�	��	��	"�	Ɠ	-�	��	��	��	��	��	!�	A�	��	�	��	��	e�	�	(�	��	y�	��	��	��	��	Q�	10�11�1213�14;15�16H17�18O1920/21P22	23[24D!25*&26L&27EB28�B29xC30�C31D32�F33�O34�P35�Q36�S37WU38�W39�W40_X41XY42T_43`44<`45�`46Fb47�c48�d49�j50Tx51vz52s~53&�54�55K�56�572�58ʃ59��60Ƅ61Hlm�o!s�sx�yyz6{��ʼn�u���K�����������ӣ����m��Զ�����u�����������������a���Z���j�+���^�62�n���������8�����7�����pkF�!k63�64c� (!�!�0�14�6i7X8�?BGN�O@P�S�SSV9W{Y�YY[\m]�]�_a�b�e~j�x�yl|1��0��Аn���b�ʸ���W��|�������n�����k�|�J����m���a�)�\��'�,�:GD65�N
r�b�C�f��035F5�5�8�:J<G>
CIC�DEPF/G�I�J�J�K?L(MRM;N�Z�^`�`[b9c�fg�j�j66k!~4�ىύw�x�5�E����
������K������f�&�i���k��P�q �!$&y&�'(V)�1�2�4�7�8;9S;�;y<?H�H+M)N�PTT�Z�[�]�]�_q`�`#g�g�i�i�j�j�l�nCo�q5r�r2su xsx�y�zH~8���6��U�%�چ����'�i���H���O���$�0�#�ӪΫ���t���;P�Qcqw�xJy�y�}j~݀Ŋً�W����������p�����l�����B�e�x��k�տ����A�t�[���������������$����������X�����3���p�/��B`�Q���	�	�67�68�
����'K*n*�*�*2+c-�12�2�509`<^=�=�?g@�@CB%GIH�I�InM�M�O$R�R�UrW�WnX�yb}�~ׅO�O�k���߉��������)�N���Ѡ��ҭ���������������69�C������=���&�����-�,����w *!�"^#>$&�&�'�)�*@1H2�23T;�Sr\�]Y^�q�t�u1v�vwV�i�م�����E�|�:�%�C�������� �*�8�o����B�\�
�P��7(�(�)�+�,2-
.�3�4#9g;�<y@NE�I�Q4S�S�S�U$W8Ws\�]�]�^`A`�`bun�wY{�{�}x�̂�����������n�
�p��G����]�I�����O���~�h�L�ɶY���������U�������K����������t���_�*�b��j����D��%�'k)�+�,--�.L/�2b3�5R8P�Q�TWVW�YZbZ�[f]�^EaRg�i�jJlm�m�n*r�r"��������B�ʉ	�|�w�ƕ�"���j�ĝ�~�D���W�N�Ϋp���ܰ����q�Ÿ��������M�#����I����s�t�P����r������r�����Ex}�q! #�$=&�&E(�*[,~-�-�/_2?6�6U7�7�8�8+:];0<e@D�D�G�H�H�I1U�U�W�Z^�c�e�e|h�h�m@oqyr�w��~���v�70�B���J���L���'�������<���1�������b��D����o�����^���
��N��5\�'� � 6!�!m,c-�/0�2�5s���<������i�?���^����C�#!$�&�ݓ�%�x�$���Ś��6����.�����ֲ�״�������[�/�;���]���_�%�i���������8����������������Q�;����������I�������J�I�Y����|�.[;�B
�
R�?���$��B�"R%$'=)Q*�*�,&0K0�0�5>8w;<k>�>.@,B}EuF�F�O�P�QS�V0]�]%^�c%d�d1hzi�n�~u�
�����#�����>���1���>�L��'�Q������������?�;?	��YW!O"q58<6=�@�A�B�B71DYE�E/M�M�OZS&UnU�WpY�Y�Z�^_jbcGc-o�oqqr�r�su`u�{�|(}q���&�r���Ĉ�%�-��%���Ò����e�,�!�#�H�����O�����+�)��������.�f�)�|�����_�8��J�P�����0���Y�P��������}�[�|�|&V�	"72�73v�����=�Jz�_�l{3"=9P�Q>STT8U�b�cqj_q�q�tT{�{�}����ь��͍_����<�����͘�����y�Ű���X�³��-�غ~�J�����74�p�
���M�9���������;���U�c�ڋ A� {� -� � �� ��  � � 6� �� ��  � D� ӹ _� �� R� \� �� �� � K� .� �� �� 
� �� � �� �?!$@!A!�A!#C!�D!4R!�S!CT!T!�c!De!ne!Wk!�k!�l!n!�n!zp!�!��!͂!��!��!�!?�!�!#�!p�!ڨ!N�!O�!}�!75�!;�!��!_�!��!P�!4�!	�!��!��!��!L�!2"�"�""O""a"76"w
"�
"�"�"","�"�"�"�""�"� "�!"O("�*"i,"�."�/"N0"�4"�5"�8"�8"�9";"�="�?"B"F"�O"�P"�R"S"zT"	U"Y"�Y"CZ"\"�\"�_"�c"�c"4d"�j"lo"�o"�u"�v"sw"$�"��"�"��"&�"~�")�"��"7�"��"��"��"��"O�"��"��"��"q�"0�"�_#sb#�b#c#bd#�d#e#�e#Bm#�n#�n#�#.�#��#z�#ܘ#Κ#��#R�#�#��#�#k�#�#X�#��#Y�#�#q�#�#T�#��#�#��#&�#I�#8�#��#��#g�#��#k�#8�#_�#�#�#��#��#��#��#��#7�#��#=�#9�#��#f�#��#��#�#�#��#��#d�#�#<�#a�#��#x�#��#��#X$�$x$�$$y$�$$�$z$"$�%$�&$($;*$�+$�,$9-$.$�.$�1$�2$�4$=$E=$�=$�=$#>$l>$C$C$�F$�I$oJ$K$ L$hL$�W$Ib$Oc$qd$�k$�k$�m$]n$p$�z$]{$��$߈$ω$P�$��$�$��$:�$�$��$(�$�$��$��$��$��$�$�$P�$��$J�$��$ �$��$��$Q�$��$��$^�$��$��$g�$�%j%�%w%!%0%]%%l%�%z%i%�%a%?#%�#%�%%�&%e(%X*%^+%C-%�0%O2%W3%<4%�4%�5%$(#$(	&(W'(B4(�4(X6(�6(�:(�<(dB(�B(�K(�L(�M(�P(�P(0T(�T(jV(�V(�W(lw(�w(rx(�y({(�}(�~(��(:�(Q�(�(�(D�(L�(��(^�({�(G�(H�(��(#�(��("�(��(��(��(��(!�(��(��(�)B)�	)w)�)�)R)�)o)&)Y)�#)2$)2%)e&)�&)#')�()))�-)�-)77/)h7)�7)78;)�=)HA)�A)�E)�F)G)cG)�H)�J)�K)i[)�[)!_)�`)Ic)�g)�h)�l)4m)dp)�r)s)t)�t)�v)�z)�})Y�)��)0�)��)�)��)��)��)ٕ)��)F�)��)��)8�)Ͱ)�)5�)0�)v�)v�)U�)��)��)��)|�)f�)��)E�)��)�)�)X�)#�)��)Y�))�)��)s�)��)��)W�)k�)/�)[�)��)�)^*�*�*!*2*�*79*�80*�81*�82*�*�*V*"*�"*u+*�2*�2*&3*n3*5*6*�6*W7*D8*�;*y<*�=*�B*3C*�D*rG*,H*�H*�J*'M*�M*&T*p*��*�*{�*��*ù*��*i�*��*˼*�*˾*��*t�*��*�*�*[�*��*o�*
�*��*��*^�*N�*-�*��*��*��*^�*:�*��*��*q�*��*��*)�*��*�*��*��*g�*��*��*��*��*��*��*T�*��*p�*$�*4�*t+E+�+�+T+�+�	++O+�+�+[
+R++D+q+|+�+X#+�(+�,+a-+�-+.+I4+D6+�6+�>+�O+�Q+�R+�S+�T+;U+�U+iV+�V+�b+Ui+��+��+��+�+g�+�+��+̜+�+8�+P�+��+�+�+p�+�+9�+	�+2�+ڳ+��+��+*�+ʺ+��+ƾ+�+Y�+��+0�+��+�+��+��+��+,�,�,�,�,�,n),/*,J-,�-,�.,"/,�1,2,�2,�3,T4,�7,�8,�9,":,�:,<,�<,>,Q>,z?,(-�-B-�-�-,-�-! -�!-�#-Q(-n*---�--�--�.-�0-�0-s1-4-�5-�6-h7-�H-�L-8M-<Q-S-�T-�V-�V-�W-V[-�[-�[-�]-�^-2_-�`-�f-�o-�q-br-�s-Lt-(}-�-�-ӂ-�-��-ֆ-*�-nj-�-�-��-�-9�-�-̱-D�-��-R�-��-��-��-��-N�-��-��-�-f�-��-��-��-�-��-�-��-=�-��-w�-��-..�.�.r.�.H&.�).1+.�+.$,.�,.-.�1.3.�7.�7.5:.Y<.�>.�?.�?.�@.�E.�G.J.~J.L.ZL.�L.&M.�Q.�T.9W.�W.JY.mY.�Y.�Z.�Z.�[.W\.t\.�a.~e.Mf.�f. o.p�.��.N�.؄.�.��.6�.��.5�.�.��.��.ٞ.џ.@�.[�.(�.a�.��.b�.��.:�.A�.��.��.��.��.V�.��.x�.��."�.��.��.��.��.��.�/�/�//�#/U$/�%/&/�'/�-/>5/@:/S;/�?/$@/�D/�F/\O/Q/aQ/R/gS/MV/�V/�V/W/@X/7[/a[/�[/�\/}g/*h/�k/�l/zm/�p/�q/�t/8u/�u/�z/�{/|/<~/m�/��/�/��/��/s�/l�/��/o�/<�/��/��/&%0�%0�)0R-0�;0�C06D0SF0�F0NH0�H0�I04J0N0�_0�_0�`0\b0d00e0hg0�n0�r0As0�s0wt0Lu0�u0av0|{05|0�|0U�0҂0,�0��083�01�0�0ϝ0<�0��0��0��0��0��0��0�0��0��0u�0K�0��0��0��0�1n1�!1�"1�2161F91�91�?1uB1�B1xD1�D1JE1:G1L1NQ1�Q1S1Z1K\1^1^_1l`1�`1�a1j1�m1�o1�q1t1�v1�w1�z1{|1V�1��1��1ց1�19�1��1�1s�1O�1��1o�1��1_�1V�1��1c�1��1�1��1(�1*�1|�1̹1�1n�1��1�1'�1T�1V�1��1��1e�1n�1��1��1'�1��1-�1��1*�1��1s�1��1��1��1��16�1�1��1��1z�1��1�1��1��1��1`�1��1��1��1U�1��1�2B2-2� 2 !2{$2/%2l%2�(2�22k42�42552�52�:2];2}T2�U2�V2�m2Dn2o2�w2�2|�2��2�2�2��2��2۪2��2��2v�2�2t�2ǵ2��2��2��2��2�2��2�2��2��2F�2��2@�2<�2
�2y3�3:3D3�3	3`	3c843B3