Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00127_00000_shuffled.ds.index93 linesDownload Raw Back to root
1h��!	�2���
n$��R�R|���!k!"y"�#�0�1F5g5�5�5�<�=,>\>d?�A�C�DqEFoF%GnG�G%O�P�RfS�S�U,WX�Z\�\�\�]N^�`�c�d�f�g�g{j1k�k����I�U����5�6�^��������t�M�����y���)���F>H�IMJqJK�L�M�N�OQ:R�RS�S=V�WZRZ�_I`�������p�������q���d����"���<�[��v�����(�k�� nx	�a�7�8Z9;e;d<AkA=H�H1I�N�OP�P�P�S�T�V�X�Y
]�]`=`*ab	�э�N�8�����Y���x�����Y�>��������4���I��=�l�B���^�KI3]q0�0�?Xr3t�v�{�������,�����T�����r�١��ʣ���e�������A���@�����m������a��������������Y��-���
KX3�c�=��&�(�mks*u�v�v�}�~���ǁ}�`� ���֐��ɑ˒�C�O���˛����D����t����[�I�$��e���������c��������������]�|�A���5���J�j��������a���p���~��������!���6��1l{�M4�5����9$�4e5�738'h#j{q�r�s�sLuZx�|r�?�S�]���9�(�ۋ��J���u�}���6�U�x���ժf��������?�f�����i�q�'�����������`���k���������������.
�]B���n !+!�$�$g%")�+4-/;M;<=]o]�]Y^�_Ma�a�e�g�g�g�h�kIw@{�~�0��"����N�L�Q������m�М?��h�c�G�Ҵ�e���l�� ���������>�y�Q��5����A������.�_�a���u����� �!�^�dke�o�prTs�y�z�|G���˄��f�O����������L�ʵ]�������U���G���?����]�6�	�c!�")H)�)+�+r-u.�.�1{5<�=5?8C E�E-F�F�H&J�JZM�QS0SUS�XY5YZ[^8bc�fFh�hm#nWnwn_rs�tgw�wx�Ί�̏@�����H����]���"�ɧèW�ߪȫݮ$��V������i�����	�	2	z	�		�
	�
	�
	U	x	�		4	�	!	g"	�"	H#	$	�&	/	\/	_0	Z1	�1	3	�?	'@	A	�A	e	�f	�h	j	bl	�l	��	��	r�	��		�	3�	��	��	ޛ	O�	7�	̣	"�	S�	��	��	~�	Ϋ	L�	��	*�	|�	S�	��	+�	)�	��	��	��	��	��	�	S�	��	��	|�	��	/�	�	��	��	Y�	��	5�	��	��	'�	��	��	�879z1011E12613�14u15k!16�!17�018�419�5206721jI22�I23�J24M25�M26�P27�[28&\29�d30�f31Ih32�j33k34xl35�l36n37Pn38�n39�p40)r41ht42Cu43�w44Rx45�x46+|47�}48M�49-�50j�51�52��53&�54��55��56��57g�58�59Y�60E�61��62��63K�64u�65��66F�67d�68��69f�70��71��72��73b��=(
�
dY��7�Kz��A��!{#g%�,.^/�/u0�0S1�1�3�5�5�6�6�7�7�9�:�;�<�=�=4@~C�CKaK�L�N�O.P�Q�T�UV�V�W�X6Y�[^<^g�h�l}o�o�pXr�r���Ɨ���<�B�b�l�����ş�[�A����g�N�[���U�D�j��'����Q��������������� �g���1�g����������$M
�&�B�V����!8P%Q�UKY�[h\�\�]xa}i`l�m�q3vmv�vrx�x��̇�������2�L�Ǡm��������������X����
�


_
`
�
�!
�"
U&
�&
�&
/'
�(
4,
�.
�0
a8
&:
A:
�?
P
<Q
>a
Le
�g
�k
�l
�m
�o
4q
�q
:|
�
�
�
؄
4�
]�
]�
֐
s�
�
 �
[�
�
��
#�
&�
0�
m�
F�
��
�
:�
��
��
��
|�
��
T�
��
*�
��
�
f�
Y�
�
j�
O�
��
�
b����H_�N}50#�#�%�%%&�'�*�/�13�34Z5�5�6]7~;[DFLF�FoG�H�I�JK�L�P�PDRSZS�S�STU'j�l�mڕ*�����s�}�������|����������G�HI�LdM�M�NhO1Q�Q�Q�Q4SCT�epi(lm�m�z{�~NR�������ˋ��� ���s������+���a�������`���;���>�����Z����H��������&�s�-���l�C�y�l�����>����������$�����������_��74�75�g������g�� X#'�-�.�/t4�45�<C@+A CF�HIMJ�JKfgi�k�n�p��͛��F����ݟ���-�.Z/x2�2EC)D�EI�I\J�J�JL�Q@R�R�RFSdV<X�Z[�adg�gh�{р�ۇ����n���8�'�u�'���B�z����������Z������ʪ=��W�ڭڼ$���8�k����B������0�0�1V2d2�2I3�C�CD�DHluywxmx�y�y�o�
�l�\������@����_�'�x�������]��·�� ����g����-�R��I���
�i���h�G� ���������j�����ASxT�TVeX�X�Z�[�`�a�g8h=km�ngp�qq{�|�|x��O�B��M������
���_�.�3�����z�������������X�����<���\���������8�z�����Y�e�1���76,
@E���Fk "m#r(/�/�0�AC�CzE�I2R�R{S V�[j^_�_�dref�f�fyhRi�j�k�l�!�׃*�y������e�
�B�����ў����77������I�����������?���������
 �5��������$�&�&!'�'W0�34E89�9/=�@A�B�C�Z-\�^3h�hj�np�s�vIw���1����>�_�Ǽ*�?���1�������R�S�����p���a�c���p��������[���	�v_�,��y���{�!"�1�5:8e?�?�C�IGm�nxpOr�t�t�uv�w0x�x�����l���$�{�u�����0���|���~�������������:�$�����`�78�����i�H���cW���|�$��<#�#�&�)�*w0�<0>�CE<E�EDF�I�K�R�S^T9WT\M]`�`:a�atb;kel�n�qAu�y�y�z�z�z�|��߄����������������h�������S�c��j���������~�������SS��	;u)o!�!�$�+�4V6�8l9O@�F�F�G*H3JeJ�J�W?Y�Y.Z�Zu[G\�\�b}d�d�eof�h�jgp�������~�����Q�7�r���U�ƟU���5�}�u�I��V�������]��������c�F�����S��V���2�����B�%��+/�]�'��U���!�'0(�-�0�2�3�3.5n5�5�6}78�<r>:@�@A�B�DtQ�k�l>oyopsu�y�{!|O�.����h���ҋ����ӏ����a�~��#��&���������W�ϥM����ƨ����
�u���D���"�������g�I���������k���r�������t��������������9������d��!?Q�g�� !�!T$A,�-�../�1l34H8�8k:�:;M>3?0SvS�S�X�Y9\t_�`�`bc�cd�d(ghg�hpi�ikl�l�lor�z�z�|�����W�����Ň=����N���`���ߔ1�1�����\�������������r�.�R�?��������b���C�b�%�?�u���C� ���#�T��q�m��i��"):1=�=,>A>?UA�AKE^F�F�G�PkU[VjX�X�\�\�]Y^/`y`Ua�hjRj�l�pYq�q�u�u�v�w2x�x�-��3�֝F��_������-�ɨb�������D�.�I���a��4�2�c�������X������������3�����3����o�Cpo��%g���"�#���\�8���r����% ; � W P � � � Q 
 `   � w � � 0 �  � �  �! �# �$ & �* g, �/ �/ 20 : 9< �< 
? �@ nF J CJ �M �O �R �U �V "X �X P� � Ϭ ]� "� C� !� �� �� 1� �� Y� �� � �� � � �� /� �� )� *� �� � �� �� #� � �� V� � �� 8� �� _� �� � 3� �� �!�!�!X79!�!�!�!y!!f!I#!�#!�$!�%!'!6'!(!�)!o*!�*!K.!R/!�2!�2!�3!`4!�4!�>!�D!�G!�I!80K!�N!@P!(_!a!(d!We!%g!�g!h!i!Zo!9p!y!;�!L�!�!g�!��!�!��!�!+�!��!^�!��!��!��!�!ݪ!�!ȭ!��!ͱ!�!f�!��!��!��!��!��!"�!H�!��!�!��!��!k�!��!�!��!o�!r�!��!
�!"\","�	"/"e/"�0"6<"�="3>"�?"�C"E"hN"�U"�U"�V",W"�X"0`"?a"Ub"je"`f"�h"�k"�k"n"�o"�~"L"��")�"B�"i�"��"9�"��"��"ލ"֎"�"�"c�"d�"��"��"�"g�"^�"~�"��" �"ݠ"��"��"��",�"%�"�"ܧ"$�"j�"�"d�"��"D�"ڼ"81�"@�"W�"��"��"��"N�"��"82�"R�"1�"��"��"N�"��"��"'�"�"L�"J�"�""#�#�
#�
#K#�#"#�#T#�#�#�#�#�#�#^ #�!#�)#.#�.#�2#�5#9#�<#�A#�A#�B#�C#�G#�I#J#CK#�K#�K#�N#S#�V#VZ#�[#�_#�_#b#[b#�i#�j#Am#�m#=u#�v#�y#�~#b#�#΀#��#�#��#��#w�#��#_�#��#\�#�#��#v�#(�#Ϣ#��#��#�#N�#��#1�#��#��#a�#-�#��#I�#��#$�#7�#c�#��#��#��#Y�#��#��#��#�#��#$�$$1	$&83$Z84$�$�$k$>$�$�$$�#$I$$.%$�($P+$�+$�,$/$[/$@0$?4$m=$�?$�A$MD$�D$"s$?t$�t$y$cy$zz$՜$��$�$j�$�$��$��$w�$��$�$N�$6�$Z�$��$��$��$�$e�$��$��$��$/�$��$�$��$�$,%�%�%�%�%Y85%�86%�%�%�%�%�%�% %E%�%i %�%%*%�+%,%�,%41%2%^2%�2%-5%)8%<%	=%3=%�>%�E%<F%�S%�[%]%_%�b%tc%Wd%Ng%�g%l%yl%?n%�w%�x%r{%Y}%�%ˀ%��%ֆ%�%�%B�%+�%%�%��%�%ڕ%��%�%�%�%��%{�%�%�%87�%B�%��%L�%�%��%w�%��%��%Z�%&&f&�&�&�&�&`$&�3&�4&U6&$?&l@&A&IA&^D&88E&�E&�G&�I&�I&J&iL&rM&�N&fO&�Q&�R&V&�V&�W&�W&X&�^&K_&�`&�`&�a&Kb&�c&Rd&�d&<k&/m&nm&�p&�t&/u&�v&2x&nz&�&e�&Y�&a�&#�&F�&_�&{�&u�&��&E�&��&��&Ӥ&��&S�&D�&�&��&+�&I'�'_
'+'�'G'A'D '� '1!'�"'�"'#'j#'u%'�'')'G)'RA'H'�Z'89['�\'{^'�_'�a'�c'�d'f'Kh'wj'�j'�k'�l'Im'2n'qs'�s'�v'�v'y'nz'u{'5}'�}'�}'Ў'��'�'4�'��'M�'�'�'�'�']�'��'��'�'*�'o�'w�'O�'��'�'I�'�'��'N�'��'��'��'��'�'o�'V�'��'<�'q�'7(�({90(*(�(�((.(�(�(J(�(�(((� (�!("(b"(]$(d&(�,(M5(d6(8(N=(&>(�@(�C(&K(�K(JP(�V("W(�W(�Z(K[(\(�\(�](~d(�f(�g(�h(�k(l(�l(o(8p(�r(�s(x(Y�(6�(��(�(˩(��(�(^�(�(1�(M�(�(^�(��(׼(��(z�(��(��(��(r�(*�(��(2�(��(w�(g�(��(c�(��(�(?�(��(�(��(��(��(-�(��(�)�)O))U)@)\)�)�)�)"),)-/)}/)u0)(Y)Z)X\)])�a)�f)k)Jk)�k)Fl)�n)Fo)Lq)�q)?r)�r)`t))u)Yu)v)�v)�y)W{)}|)�~)�)�)��)'�).�)<�)��)F�)��)}�*�*f�*��*k�*v�*>�*׽*�+Z+�+M+b91+�92+�+�+�+�+b+�'+�(+�*+I,+�,+�-+�.+�.+!/+
4+�6+r8+9++9+�9+==+�=+bA+AB+C+�C+mG+�J+�W+�Y+�a+�c+�g+�h+by+�|+j+�+��+�+{�+�+��+n�+q�.�.�.��.~�.]�.7�.�.��.�.o�.��.ב.��.��.�.j�.�.}�.�.1�.��."�.t�.�/�/�//�3/�I/�J/�K/>L/)M/	P/�Q/#T/�[/L^/s_/�_/"a/�b/Zc/�d/Oe/fm/�m/gn/93o/Uo/�w/�x/�y/�z/^|/~/��/�/��/��/{�/|�/�/��/!�/��/��/��/b�/h�/��/v�/p�/��/��/6�/��/��/,�/�0�0�0�00o00�0
%0{%0�%0(0�,0�30L60�60809804;0�<0=0>0HA0XB0�B0yC0,H0�X0�[0]0�]0_0�{0b|0�~0��0��0ގ0�0Ք0~�0��0$�0��0��0ٖ0Z�0��0w�0r�0�0"�05�0��0��0��0�0��0�0y�0�0��0��0��0�0�1�1g1�1�1�1�1�1C 1!1M!1`"1#1$1(1)1*1.1�.1�/111