Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00058_00000_shuffled.ds.index81 linesDownload Raw Back to root
1@\-�%�2�s�G�(f)�8�:IKlV!X�\�f#h�h�i�ijk/w�w�w��J�ҧ��ũ�A�-���t�k�1�����]�����>�����"�%���m�b��i���+�����c�����+�d������$�L���P����
�G��7.I1K69D9?�A/B�B�LBN�O>S0TDa1b�cAg�g@k�qr�r�s�t�z�{o|9}�}$؁i�l���ڇ"�إ7�n�(�'���i�Ȼƾ'�8���K�D�x�&�����a�,���s������������5	3�X�ej���13��#e3�3t45�ClE�E�FGGPH}J�J4K�ST�T�T�U=V�[�]b^�^_�b%c�c�e�glk�r.�K�F�$�G�݉)����ݕ���4��Ȱ����������E�(�����1���	���9���� g%���tj\$�$�$%.31C:mBD�D�DWJ�L�L�Nm`�g�hCi�y>|l����4�Њ5�����W���q����.��A�-�����r�[�q�(����*�L������e�t������5�k���e���b���>�����s�@���=������##W#�#m(�(Z)�*�,9.0�1�1�2�K)L�L6M�QV
Yg`jf g�j�l�lXn)p�}�~ށ,���1�r���̝6����Z�d�n�a�B���ï����k�a�N��X���p������"�Q�s�������� "��ҞϟN�a�D���J���I�
�����������5��������^���N���2�����~	%��x�U���1�5�<�m�n�opsp�pr�rss�v4y�y\z{/{m{1|�~[�B���DŽ�����P�6�����������V�|�>�!���2�٦��ݫZ���'�g�����޻��������/���[�������T�4���F�u�����P�����Y�)�����q�/���	L_�`�a�bYf4gkh�ijxjKl�r���؟m���+���̪N���N�����P���3���`���m�l�3�E���������0���j�"�Z�.�~�`��������������3�k���V������	^	q	�	A	�	�	 	�	>	�#	�$	>&	�(	-	.	�.	�.	�/	<1	�A	B	�B	2E	�E	�H	WI	
K	bK	�R	;T	]U	�U	�[	�i	�j	Ik	�l	�l	
o	r	�r	�r	�s	et	,v	�x	�x	�{	�	��	.�	��	�	6�	{�	!�	��	ȣ	��	9�	��	�	F�	��	ѯ	��	,�	��	G�	�	D�	��	F�	x�	��	��	��	��	!�	��	�	~�	!�	��	��	��	=�	��	��	��	��	��	_�	��	/�	�7	8X9�1011�12b13�14515H16�H17�J18K19�K20bL21�O22MP23'`24Ii25Vi26�i27>k28/m29�30�31�32��33(�34b�35D�36�37��38A�39��40ٛ41�42��4344g�45|�46Ҿ47��48��49��50w�51��52��53��54l�55��56��57'�58u�59��60?�61�62��633z�64���$�$[h �a�b�d#hi�j�k�k�m5q
s�t vnw�|z}��O�P���Y����|���m��ٵ��(���W�n��������s�i����l�7� �o���y�k�rv��p�1����E � !�#�$�$\'�)Y*�*�1=4�7V9�96<x='>GKmOkXeg9j�m�}�}p~�����(�)�ȝ��Ǿ�����������K���L�����o������H+��
�
�{�8����*=��/	 b �#�(T.�07�78�9*;�=�>A?�@A}A�B�BCWG�MCX Zj[�^v_`j`faqg�gh?l�ndo�q�}���d���O�Ӊ$���u�b�����������j���T�6�B�����l����K�n�������4�����2�g�Z���U�,�������*���p���������UH #"�"4&�&�+�, 2�2�2�;�<E=@�@�B4CVG�G�H8KbK#i�n�p7r�s�t>u@vxv�v�y/|X}�'���u�(���������_�����E�ͳh�н��k����������������B���_���*�&����\�! � �!)"X#'(j)�)m**-i.0�3�9;�;�<m?�?�AIGJ�LNL���S����ۘ�3��������p������.�B���9����3���+�. �"�"a#�&�*�+�-�5�<�>�>DD�H\S�S�V�V�X�\W]$^ib�b�pZz{z��V�����ϊT���������דc����\���Ǜ��$�ɠu�65�O�J��
���f���~�7�'����������������N���@�Q���������%�'.�/20�1d7�7[<�>�?%AhB�N�Q�RnT�T�^�_>`cKcJx�}���ߟ'�������G�O�A���;���������!�[�����4�~������8���B���`���������U������������������e�	E�Y�|I�9�7M �-�13n\�_'��Ό66��p� ��d�W���#��1�����B���C���L���������f���b�g����������#�>������:����7�
�E�<�C$L��82�n+�!#�$�=�=�>~?mA�A�A�C~H�J�K�MN3�҅S�B�'�=C�C�C+EDFXFlFr)uw�x{�̍����ʏn�G�֑,������|���=������������z����������0� �(���� �`���n�����W��9>�>�>�DYLP�PS�V�Y/Z�Z[j[�[\ d!eh�hi�|2~�ـ��*�r�؅݇���������@���^���G�a�{�
�}����R�w�K�߸R��h���3�A���l�E���C�s������A�j�"V?b3&�&\'�')�*�+,�,�,[-�-@.Q/.0b1�394$5r5@6:7:�:�>	DAEuEpJya�a�q�r!s�s�u&w�wzu|F�"�?��!� �V�F���ϊ��P�~����`���������������������v�������;�����@���(����������r�H�c�0���V�
e
���9Y$H!6#�(�+1}1
?�@.B�F67G2J�JOKJQ_T�VvYn[�^F_ aqf�f�f�k�n�}_�
�̙��Μ��x�����Ĥ���8�q���!���p�/����R���'�O�Z�&�������h�!�2�l�����J����.���G�L���'�y�b68�l�I�_ � ',�,~-�-�0p1�2�7�?M@�A�B�G'M�NNQ�]�]�^Y_la�a�a�b$d�d�e�f$g=g�g�hdj�j�nZp]r�r�v?zE{Z|V}�~���<�2�����5���d���>�|�ߜ��i�Ο�����î������q����������������D���*����������:���7 Y � � �! " �" �" �# �# �$ % �& �6 �: �: p; t< Z> �> ka �b �b �e �f �� �� �� �� 69� �� �� �� �� b� �� �� �� � �� � � � �� r� g� �� {� �� �� �� �� �� d!�!�!D!�!�!g!�
!�!!�!^!70!�!�!S!9&!.)!W+!�,!-!�-!0!�1!K2!*5!p5!�N!:P!sP!�R!�f!r�!�!ނ!�!_�!*�!˨!��!��!5�!Y�!�!��!S�!��!�!Q�!��!>�!��!�!��!��!v�!��!��!��!��!��!�!��!�!��!�!H�!k�!�!�!X�!#�!��!��!��!w�!q"�"�
"s"k"71"�"p"�"t"I"�"�"�!"�""5("/3"�3"#4"@"jF"G"dG"�I"�M"�N"gQ"�S"lT"72U"�U"-W"�W"BX"�X"�Y"NZ"^Z"�]"L^"�^"W`"g`"Hc"�e"�f"�f"�n"Gu"{"�{"�}"�~"r�"�"ח"��"2�"Ԡ"�"	�"c�"��"!�"��"ݺ"P�"��"Q�"F�"��"��"P�"�"��"R�"��"��"��"�"Q�"q�"��"��"S�"��"��"��"O�"�#4#�#F#v#�#n!#&#X*#}*#~+#�+#�6#�:#�;#>#"A#bA#�A#6C#oE#�E# F#�F#�G#YL#�L#N#MP#`V#�V#�W#_X#7_#�_#�_#�d#�e#�f#Ug#�g#"s#4t#Vu#�u#�#�#ă#ӄ#߅#U�#y�#Ȋ#��#͑#x�#��#��#�#ǖ#]�#��#.�#�#��#��#F�#��#a�#�#�#��#T�#��#��#��#8�#8�#��#��#��#V�#��#u�#�#��#>�#B�#�#�#N4$5$|:$<$=$�=$�?$�@$AA$�G$H$�H$K$�M$�N$�P$�S$�T$Z$c[$�`$/a$�a$�a$�b$�e$f$�f$�g$%i$�j$$k$�k$�l$�l$Tm$'z$�z$�z$�{$_|$A~$:�$Q�$)�$��$D�$��$f�$m�$�$�$��$"�$��$v�$��$§$��$��$�$O�$3�$\�$Z�$��$�$��$��$��$��$��$�$��$g�$��$^S%�V%�W%�X%�[%n]%�_%�a%k%�k%%l%Vm%�o%2p%�u%sv%[w%�y%0z%�z%1{%�{%L|%�|%J~%�~%1%%�%��%��%��%��%��%��%�%��%��%��%��%˴%��%Ծ%��%h�%j�%@�%#�%,�%�%��%�%@�%f�%
�%K�%73&&�&u
&�&�&�&�&b&�&�&#&*&�&�!&�(&8*&Z,&�,&�-&r/&�0&4&f4&*5&�7&j8&R9&�9&(<&�<&kC&�E&F&�J&L&QL&-N&�O&P&�Q&�Q&wS&�S&IT&'V&�V&�X&�X&�X&nY&�Y&�Z&*[&�\&�]&0^&�^&_&,_&�a&�d&�f&9g&�k&�k&l&�l&	n&o&�p&�q&�s&�u&v&
w&!w&8x&�y&}z&]~&�~&�&�&��&��&ȃ& �&{�&ǎ&��&я&	�&ԑ&~�&��&��&��&�&�&�&b�&�&�&w�&��&C�&u�&��&��&��&M�&��&g�&��&��&3�&r�&U�&9�&��&��&�&��&��&&�&�&��&��&9�&�&��&�&��&��&��&t�&��&c�&y�&'�'�'�'�''S'�'f'�'�'�'�'�'A'c'v'�'t'&!'|!'�!'�"'9&')'�3'�4'�5'�8's='5@'tA'�A'en,y,�y,�},�},~,��,�,�,�,2�,��,�-�-�-#-9-y
-�
--C-�-B-�-�-6-�-g-�$-$%-(+-%.-t1-�1-v2-�2--3-�3-a:-Q;-S@-�@-�A-xB-3C-�K-�Q-"X-�h-�i-}k-�k-Rl-vl-m-�s-74t-Au-n�-�-�-u�-ӌ-0�-`�-v�-��-��-�-+�-Ș-٘-�-B�-t�-�-ţ-�-�-a�-U�-��-3�-��-�-~�-�-��-��-f�-�-��-��-a�-��-Q�-g�-��-I�-��-1�-b�-��--�-��-��-��-L.�.�.�.z.�75.B.S.V
.�...�.�.0.O..�.$.;.�.�.�.#.-#.�'.�'.t+.-.�0.V3.4.6.7.3H.hH.�H.�H.�P.uQ.]R.�R.�c.}�.<�.��.m�.��.��.��.�/�76/�77/�
/Z/l/�/^/�/'/�/I/�/�/ /�'/�)/�,/�0/�0/A4/d6/�>/�?/�A/C/�C/D/�E/dF/FG/kG/�G/�I//J/]J/Y/�Z/e\/�\/]/�`/?b/ib/4d/�d/!e/f/jf/�f/h/>m/�n/o/�v/�w/Nx/�y/�}/��/C�/��/��/Q�/��/��/��/�/��/s�/b�/��/��/�/��/��/�/��/k�/��/��/��/)�/
�/C�/d0�0�0�0!0�0U	0�	07800�0.0�0�!0/$0r)02*0f-0j-0-<0F<02>0�@0B0hB0�S0�S0pT0�\07]0�^0�e0Tg0�g0Ih0�m0�m0�n0�o0ms0>t0hu0�y0�z0~0C~0Â0$�0\�0��0ω0e�0�0�0.�0?�0��0��0n�0��0�0J�0Ϛ0"�0^�0h�0��0��0��0ɵ0�0��0�0��0��0�0��0)�0��0��0��0��0��0^�0��0��0Q�0�3545�45�<5�>5UC5�D5E5�E50H5jJ5�K5�Q5:S5�S5��5B�5՞5[�5��5"�5b�5s�5��5ɧ5m�5y�5˪5`�5�5��5��5c�5��5"�5X�5��5��5J�5A�5��5I�5X�5��5��5��5��5�54�5��5��5#�5�5�x6y6Xy6�y6�z6R�6�6W�6�6l�6��6��6X�60�6��6��6��6��6�6��6*�6�6T�6��6�6��6��6��6��6}�6+7!7�7�7�7P7p
767�7t7�7X7�757�7� 7�$77%7
*7]*7t+7W,7{,7�.717�17127`37C57z57=7�?7kB7�J7�K7.L7�L7�N7�V7eW75Z7mZ7#[70\7�^7c73h7�k7�m7�o7Bq78u7\{7�|7�}7�~74�7��7��7��7ŏ7W�7��7̘779�7}�7��7!�7˞7A�7��7�7�7u�7[�7E�7��7Ϸ7��7��7'�7��7��7��7�7��7�70�7�7��7��7��7��7��7P�7�7k�7z�7��7u�7��7b�7��7��7��7��7X�7!�7#�7n�7[�7)�7l�7��7>�7<�7�7��7��7�7��74�7>8	8�8808`818�88�8z8#8p-8	.8;/888�:8);84<8�E8wG8"M8�V8�Y8BZ8[8k`8Ua8�b8�z88{8}8��8Y�8��8a�8��8z�83�8��8@�8��8�8(�8"�8��8M�8�8��8n�8�8\�8��8��8��8�8��80�8��8m�8�8��8��8��8��8�9:9�9_&9�'9\)9�+9,9�.9�1999;9u;9�;9�;9�<9�@9�H9�K9@L9�M9�M9�M9�T9V9�W9�Y9
Z9�\9�\9�]9�^9pp9�v9Ew9y9�}9�}9�~9�9�9)�9��9��9k�9o�9y�9��9�9a�9�9y�9�9��9��9j�9��9��9ץ9;�9��9�9U�9��9Ы9�9ѱ9�9J�9ݸ9��9߻9�9%�9E�9��9��9p�9��9J�9��9��9*�9K�9N�9��9��9��9��9��9��9��9o�9��9��9��9��9L�9��9��9E�9#�9��9��9��9d�9s:�:=:k:�:�:�::=:�:�":	$:�&:�*:@1:�4:g8:�8:F9:�9:=::�<:�<:;@:�M:@{:�{:�~:�:ߑ:N�:X�:��:S�:��:K�:�:��:��:v�:�:K�:��:��:�:N�:�:F�:S�:��:m�:7�:��:o�:��:X�:��:5�:��:J�:��:/�:�:+�:��:��:x�:��:��:��:�:�:]�:��:�:��:^�:}�:��:4�:��:u�:��:��:0�: