Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00064_00000_shuffled.ds.index69 linesDownload Raw Back to root
1'O��o�	U2�3�4E
�
 P7k8k>�A�B�H�I_K�LAN�P^Q�RT�T~X�Xj[�]	^V_�_)`ddJj�jKk	l(lwpVq�r�s�s�t�v�wy�|C�����·����Y����w�A�G���:�ʕ�������ң�H���Ԥ����Q���.��i�������e���9���>���M���;�n��������:��������y	��k)$�%+1+�,n1�C�D�D\T�W�Y`�`�b�f�fgh�i�k�q�w4xg|?})�Q����5�l���l����T���{����������������������8�6���b�����t��L�����M���#�����.������]��������`A�o<�� �!�!^)3,�,�8;�<q?@A�DLF�H�J�JoK�M�N�OhR�S�V�m�n�st�t\u,�a���k��I������Q��(���ɞ����U�٣�����ڵ���*� ���������(�/���
(!y����'r+v1,3S35�5~6�9A:�:;�;�=>�>�@A>L�W�]�`�`La�b�de�y{�{!|L�K������եc������`�����+��޳>�ߵ��+�\���	�3�?�T���L��������5�X���A�������j���9�x(X0T7~8[9�;B<M<x?�E[G�H�HI�I4K�LWM�OP�Y�Z[%[�[']�gncp�p<q�r`t�t�vw�~|I��g����f���Ϛ?�ś�����r�ݡ6�@�������Y����������Q�L�v�����A��o�����B�������������������!��V�$���q�$���T���w��	7�(|�$/0�0@13�79�F�G�T�U�UTVW"YtY�[�]�`�i�jEosxt�x��:�\�o�}��Q�G�����$�������ا5�ĨӨ��-�:���l����B���~�_�V�_�����j���������H�3�q�����������j�������	Oi��_RKu%�%&'�()�+�-�2�4647�9Y:<�?U@EA�A(B?D�E7G;I�M�N*T�T#V�V�W�X�\?_�_\ab�b�gBm�mt|�}�I�B��������^�����L��4����_�����A���l������h�P���%�
�����2�v���)�*�N!PaP�PSvSV�VK^Z^�^�`�b$f�gjejhlBw�w?yJ{�~��݆������;���4����������6���r������������
�
�2�tn�	]�#/1/{/0�17�8b9�9i;�;'>�HtI�I�K�L�M�OJR�R�U
VLZvZ8q�q,r�r@sv�v�xCy�y���i�����������"�W�C�6����&�����'���U�������>����������x���X�����&����P��	i	�	�	�	4	{	�9			�
	|	P	�	�	E	�	�	�	�	[	�	v 	�.	K4	�6	27	�7	p;	�;	�=		>	C>	j@	�E	�G	�S	�d	fe	��	A�	�	��	��	��	��	��	ז	j�	m�	.�	ם	ڟ	��	ʦ	D�	d�	��	��	��	��	�	�	3�	��	R�	��	��	��	��	��	�10�11�1213�14`15�
16�17i18O19'20�'21c22	d23Qf24�f25�g26i27Ci28�i29\m30�m31�n32�s33�s34Ct35�36�37/�385�39Q�40i�41s�42��43��44��45K�460�47h�48A�49ͣ50��51k�52�53z�54��55��56]�57��58��59��601�61
�62T�63N�64o��>�����I%#A({)�8�<=�=���=���G�p���_������9�d��E�����t�	��In�>��g�H�+O-�./�0�7R8:�:�;�>�A�A�B�B�CD�F�GI3N(O�\.]@]�]
_�e?f0gBj�j�;
�<
v>
�>
�?
�@
%A
KA
oB
�D
�D
R
�U
�V
EX
�X
�Y
~\
�]
�^
>p
�p
Eq
Ys
<t
�w
�w
1z
P|
�|
}
V�
��
{�
��
@�
��
M�
��
��
��
׼
�
��
��
�
i�
��
��
2�
Y�-�-	.+/Z0G4M@+D�T�XY�Z9\~`/a�L�f�ܷ@�W��������r������������,�Q�������!���#�����T�XU��*"���s� Ek � �"]%A-�.�0�1M7�7�819V;C?Y?,@�@{C�F�I�K�L�P!v�vWwx�z�}e~��ɂ'�Ãʅ���B�~�Y�s��]�7���+�X�էx�0���V�����ح��L�̸�+����Z����������������1���2���{����C�l��M�W������d���� 'Vf��� '!Y!�"�+(, 6�9d;�=>�?s@�AE_F�FGH�PGaNc�f�fh�hmi�p�r�r�sxy�{�}�1�(���8�ɜ��*�á����8������Y���|����-�i�s���>���0����+����g�A�7�L������;��X��u��
��q/$N���ɨ0�b�2��D�b������������&�����6����>o@lBCQ�Q�R�W
^d_gb�l�mYn�n�ppq]r�r�ċ�8���M��Ȕ�����7�v��ϳ�����y�������I�T�����^����k�3��L���,�a���Z�y���0���[�,��Qr�5.�.x0M3�4<F�I4J�J�MWNIO�OT�V�\�]<v�wFy�{�|������>���$�V���|�	���}�9��j�����E���S���K�T�l�8�t�����(�����z���L�����H�0���q���4*!�!�!h"R#�2�5<7�7�9�9*;�;=A�K�UZV�_�`�`�ab�d1ij^k�lnnRs������և�t]k� "A"h/�56^7�:�A8J|J�M�M�N�QjRz[g]^�^__B_�_s`zaRc�dae#�F�n���:���]���}��}%��6�����:����|�#����}���,�͝��#������`���b������g���Z�����w��������i���Y���
�W~1�:�"f"#�#�%';'B1i5�6�=�>�FYHaN*QkQBZ�[�c�cWd�d�fIg|k�k�kl�l%o�qWr�r;st�t�u�w�z�{�}	������r���j�������M��:�����X���p�ƟU�l����Ϫ,�����?������B�#���������T���M�r�/����M�}��������5�������!%c(�(o)x+7,S,-.;.q.�/�9b;:@`A�A�A�CE�GdN�PaR�RxS�TV�V�X�b�bd9d�d�k�lmwm�oqXqr�y�{�|����{�/������G����™3�������X�l����Ͳ+�/�U����g�o�X�O�����R���������1��� ��������e��!�!�!�"Z#�$V%�2�5y68�9�<_A�N�P�P�RSEUlU2W5Z�Z�[�[O\�\];fj4j�z�{�{\}�}�~Ӏ����:�}�ñ����E�t�7�������-�������s�������������x���I�����*�����e���8�Y�d�D��������A�q����)���h�ak��*�,s-�/0\5�6�;�=�>�@A�B�D�G�G�J�P�P�QAS�Vfb�bfu�uyvwjz�{$|����χv���������\������q�D�������"�����
�%���P��]���������������ZbC?
�
39��>8B9�N�OS�W�WLXZqz`{f|�|�|~��āЄ����A���}�3�D���H�����ؼl������v���M��������d�� \!�!N"�"
#�#$%"'�'s+�,�-/�1�2�5�67.<�<=K'L�M�PR�R�ST�T�U�Z[<['\ga�cOe�j�n�s�t}A}ؗ��t�Ù��t�����ۢ�����"���V�������X���4���'������l�������;�����N�V���������n�{=��s
�#0&�&)pI
J�JK(L'M�P]R'S�S�S�U�Xsn�oIv��7��*�&������ՙ�_����£l�R���0���թ�ܬ��������p���R���C�6�����.���$������65�@
�
c��H;w'W#$�'(P*�*q.#HbMQCW�c�f~g�z�|�}�~���k�&�Η���Υ�w���Ǩ׫z������f�L���W�r�P�W���(������5���#���E����~� ?66 � � u � /� �� �� �� �� +� �� D� �� �� 3� R� �� e� �� /� �� Z� �� �� � �� >� �� :� *� m� "� �� B� � O� b� � s� >� _� �!�!I!!�!!�!�'!��"�"6�"��"�"��"67�"ײ"w�"��"��".�"ָ"F�".�"ſ"��"=�"#�"��"��"��"��"t�"��"M�"��"]#X!#F"#7)#�*#-0#�1#13#d7#:#�;#T<#�<#5?#�?#�@#A#�E#�E#F#
G#�L#�M#N#�N#@O#�Q#�Q#�R#p#r#�r#?u#u#��#��#�#m�#�#D�#��#��#�#�#!�#u�#*�#��#��#n�#��#D�#��#D�#�#��#��#M�#��#��#��#��#G�#E�#�$�$�$�$}$�
$b$�!$%#$V%$ '$.'$&($�($!/$�/$-0$2$�3$16$RF$nJ$�J$�M$TN$�O$|R$%S$pT$�T$�W$JX$�X$�X$�Z$�\$ ]$�b$�j$�j$�k$3r$�t$�w$y$Vz$�z$h}$N�$|�$��$�$w�$�$F�$��$ݔ$��$��$0�$��$a�$��$<�$�$4�$2�$�$ͥ$
�$̨$©$�$4�$��$8�$g�$x�$��$:�$Y�$ź$9�$��$1�$��$��$��$5�$�$��$��$�$��$�$��$B�$}�$qv%�w%�%�%d�%��%��%��%N�%��%��%B�%޲%�%t�%u�%$�%ƻ%�%��%.�%��%��% �%`�%�%l�%��%��%��%��%�%��%�%��%]�%�%�&�&�
&�&�&5&�&-&�&:&�&�!&�%&�&&e(&()&�)&o*&�+&H/&�0&C1&d1&�2&4&�8&[:&;D&hD&�D&�E&HH&AI&7J&7L&'M&"Q&�S&�T&TU&cV&�W&�c&n&hn&o&iq&�q&r&rr&Qt&�y&�|&\}&-�&�&��&��&��&?�&�&ړ&J�&j�&z�&��&K�&a�&��&��&��&Դ&N|'�'��'��'`�'8�'�'��'��'~�'��'j�'��'��'��'6�'��'^�'c�'k�'/�'�'��'a�'E�'�'V�',�'��'��'D�',�'�(�(�(�(�(T(�(+$(�$(6%(7((�((�((,(-(c.(�.(x0(::(�:(C>(�?(.@(xI(uP(QQ(�Q(S(Ɇ(��(��(I�(Ӎ(��(��(��(�(68�(��(Ś(��(�(�(m�(N�(��(.�(G�(�(��(3�(w�(�(��(2�(v�(b�(��(|�(��(��(��()�)�)�)�)9)()�)�!)"")#$)q%)�2)�3)+6)�8)!9)B)�C)\D)�E)GH)�H)UI)�I)hJ)�J)�O)P)�W)?X)�Y)�Y)�[)�c).d)Ad)�d)(e)uf)�g)0h)-k)�k)rl)Tn)�p)�p)@x)|x)y)z)�z){�)F�)Ԇ)W�)y�)�)ˍ)�)�)�)��)b�)~�)A�)�)ʫ)�)�)(�)<�)�)g�)��)�)ÿ)Y�)`�)��)��)Q�)c�)z�)��)��)��)��)��)��)��);�)��)�)#�)j�)��)��)o
*~*�**�*�*�*L*�*�*�*�*K	+�	+
+�+)+�+�+G(+�(+*+690+�1+u2+�2+?3+4+65+�5+�:+�K+�Q+�j+�k+l+3l+�l+�l+�m+�m+p+�r+Wv+��+؂+��+�+L�+��+��+�+8�+ɕ+q�+��+��+J�+y�+C�+(�+��+ا+�+2�+��+v�+r�+߹+^�+��+0�+I�+��+�+d�+L�+ �+u�+��+&�+4�+�+��+��+�+��+��+��+��+��+��+��+�,,O,�,�,�,0	,o,�,
,�
,�,,�,�,�,�$,M&,�(,9,,�,,�/,�3,04,�5,�B,8I,uK,?d,�d,}e,xf,�h,�k,�l,�p,mv,w,,��,�,&�,6�,��,r�,�,��,s�,p�,`�,��,4�,�,��,^�,]�,��,��,��,��,5�,��,�,a�,"�,��,��,��,h�,Q�,�,�,d�,��,�-B-1-�-t-U-�-�-(-g-^--
-�-�-C%-n+-Y1-�7-r8-�A-,E--H-�H-J-�M-�S-�S-T-�T-�l-�m-rp-9q-�v-�y--z-�{-<|-}-Q-s�-��-)�-)�?ν?ſ?|�?{�?y�?��?~�?U�?��?C�?��?9�?��?��?^�?5�?��?��?q�?e�?X�?��?%�?�
@�@@�@�@�)@0,@�-@�.@�2@�2@m:@�:@�<@L>@�B@.D@�J@�K@!M@SM@�O@P@zP@�P@�Q@R@5T@jU@rV@�W@�b@�i@9j@�j@�z@!|@�@�@ʏ@V�@:�@׮@��@��@۲@T�@Դ@c�@)�@�@��@�@Y�@�@x�@3�@��@��@��@�bI�dI�gIiI�iIerIJuIvI�vI�{I�}I�I��I_�I�Ie�I؈I��I�I��I�Is�I4�IP�I�IǪI#�I�I~�I��IU�IθI�I��IùIܾI�I]�Iy�I,�Iq�I��Im�I��I)�IT�IaNJ�QJ
ZJ�ZJ�[J$]J�]J$^Jf_J�_J�aJ5bJbmJ�vJ�zJ|J�|J=�J}�J@�J��J�J��J�JߏJ��J��J�J]�JH�J�J��JZ�J|�Jl�J{�JѝJ��J��J�J!�J��J�J��Jk�J��J��J��J��J��Jz�JV�J��J��J��J��J��J�J<�J
�JF�J@�J��J�J��JX�J��J#�J]�JxK�K�K*KGK$K^K�K