Team Ai
Datasetpublic

verify-ppt/smollm3-stack-v2-Java

Synthetic Pre-pretraining Datasets This repository contains the pre-processed datasets released with the paper Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior. The datasets cover both pre-pretraining (PPT) tasks and pre-training (PT) mixtures used in the paper. PPT tasks include k-Shuffle Dyck, Set, MP-Struct Core, and NCA; PT mixtures include C4, SmolLM3, Olmo3, Marin, and FineWeb-Edu configurations. The pre-processed data are tokenized and organized by… See the full description on the dataset page: https://huggingface.co/datasets/verify-ppt/smollm3-stack-v2-Java.

sourceHugging Facemitupdated 5d agoView on Hugging Face
0likes610downloads
stack-v2-Java_00096_00000_shuffled.ds.index125 linesDownload Raw Back to root
1�:��	�2�3
�
�!1NyN&R�U%Zg\�^Rb�b�b5c�cWh7ntn�y	{|;}r&�[���Ě��X���?��ա��!�m���ި�����`�d�R�������\�1���C�������m����=�z���(�c��?)'�(�(�*�,�0�0m3�3�4�5E6�8�;K=�>�CLD�DGS^�^`mac mOo�r�u�x�yBzz{�]��c��j�[���D���������O�����5�5�7"8�95:k;<h@�I3L{M�Q4`K`�a�b�cdMd�h�i��R�b�_�*�t�����)�M�٨��Ʈh�����@�ߴ�����͹��ۼ������9���8�-�����������t�i�����K�
�Q�cB��/5�6<S�)�
?O�h�x��v8 � �!�!M$�%q:�:=;�;�;%�ͩ�����:�����ɶ!���G����K���4������&���Q�����&�����r���(�^�L�_���!��E���(�,;-q-A2�2I4�47i7F8�8_<V>�>�@rC�CtEF�GQ����l�-�����Ҡ����Q�7������U�����i�'�M�������$q�*f$B$^%�&?+p+<.L/2=9�;-=�=�>�I�L M8ODQT�T/W�W�XY9Y�Zy[_.`�c�d7e@f�n,w�w��C�����j�������_���ɬ,�ޯ����'�ݳ��Ե����/�v�����T������,�<�z�����7�1�������������(�$�*F+[+�,�,T-o/�0n3>7�8P9 :n;�;>B�B�GLlL�L�Q�R�[a�b�ewg�hxj�k�lCm�m�p�xy�z�{V|��[�}�����Њ��v�Ȝ��&�ĵ�����u���F���f��������������$�Q���`���D�����������d�K�����N������K�>�v�;���:	!�
�T"�"�#�%#)�)+f+�+.�.|/�0u1�1c2d9AD6DEL�O#PU`ad9d>ere�g�mo�w.y�y�{�{0|��!���������א������W�@�1�,���������X����B���R�V�����k���\� �����9�.���v�n�����(X�Y�`�b�dfwg�i'jol,orp>t�vkw�y�zY|��}������+�����(���j���C��������=�x�+�r���C����T�����o�ĵ��L�ܽa����r��E�n�7�U�	��������R�		�	�	�		�	�	�	U		h!	%	�%	&	�&	'	;(	f3	�G	�G	�J	�K	*L	�L	�M		V	3V	�Y	>Z	K]	^	m^	8c	ge	�e	)i	Oi	�k	�z	�}	�~	"	р	S�	�	��	��	��	��	��	�	�	�	�	7�	C�	��	ĝ	k�	P�	Ԭ	�	��	��	�	��	��	�	�	��	��	g�	��	�	��	�	��	��	��	��	b�	��	��	L�	��	��	C7�8n9�10�
11�12�13�14y15�16�17'18�19(20�321;22�@23nA24�G25�G26�H27LJ28$K29�L30mP31Q32KR33~R34UT35U36V37�Y381]39�^40yc41�c42�c43Yd44h45l46�r47�t48�u49uv50w51�z52�~53̀54��55��56��57��58p�59��60��61`�62�63��64*�65�66��67؜68}�69�70�71/�72�73�74U�75-�76:�77�78Q�79��80��81��82�83��84��85��86A�87L�88��89]�90��91��92�93��94��95A�96p�97�98��99M�100�101�102g�103?�104��105��106���	^����U���vs�!� Q#�(R)\+�+
-�/�2v6�6�;�<�<�GsIOP�SWX�[-_/`�bRncoCp�~U�������̓n�H�V�!��J�Q���W�ޭ���z��z�G�Y��]�����������8���"�j�|���;����������v�	�
f
��H��4�6�7�9{:.;<gC-EFGI�IK�L�L�LNJO107Q)RXRU�Z9\�\�^UaeBf�f�ij�k�m�m�s|~^N�~�-�x�j���=��t��6�0�6�f�q�̬��m��o��ո�������������108�{�����t����������*�����x�
u
�
�
�
�
c
%
[

7

�

�
*
;
�
�
�
@
�
s
-%
-
�.
!/
r8
�8
9
�K
,M
�N
Q
7R
EZ
W\
]
w]
�_
	b
�b
ef
Zg
�g
i
]i
�k
�k
m
1m
2n
�p
qq
�q
t
 �
~�
ك
��
��
&�
�
ߧ
ӳ
�
�
,�
)�
��
�
r�
��
�(#*�1�2�4.5�5�6u7BC�D,EeH�H-bobc-e�eYlm`okq�q�r�s�u�}w�������̈́����Z�����%����������|�3���ƷҸt��������������N�I���������������O��� "!�#	$@(n(G$H�I<MyM�U�U�V�X�Z�\+^�^,`d{d�e�eVfxg%hXi:l{mo�q�s�t�vU|�}�~Y����Ѝ	�����w�C��L�ťY���"�D�C�u���B�*������������-�����D�����K���2���u���Y�����o�&���8���\����A)
�
�v>!�";%�'z({*�*b+�+p,1-R-�.�.<2v3�6�7�:3;�L�O�T-U�U�X`Y�Y[[/]�cud]g�mnuo<p�wTyW{�}e�t� ���V���T��ʕ�o��������-�;��n����9�f�ӳF�%�[����109�&�������������������Z������������%�n�?���*�L���|���J��?
-��#T$�$�%�%p(D)s*�STT�UhV�WNXgX]7c�h�i3r,�p�����5���?�����؜��ܩ�F���Z���Ӳ���X�l�?������N�u�X���	���E������������Y������O��������&�dP��#�#�$�&�&�(�.�/~>gA�A�AB?BgC2E�HcM�OKRAd�f&h�h�l�o�p}q�s9t�t�u2w.z�z�|+}��u���b����ӕ0���Ȝ���ա��̨{���L�ӱB�b�B�����m��������w�������X�B��������110�
@d�B�am<�+�,&.�/�1�1�2C3�;<�O~P�P0RvSdTQV�V7WnW�ZJ]^_JbEc�cHe�j|kl�lgm�mnDn�n	o�o�p�u"v|w�xz {u�G���f���3���U�ӹT���=����8�h�K����������111�+�,a0:2j2�7�9-<d>�>�@�B�Q�SyT�T2UbVl[�[�]�_�_`ea�j�y�����>���?�U����ά��ήϰC�<�t�ھ-�W���������������������~��>�����!b>	�RT�TU�U]P]:^�^�e�e�h�k�n"p9p�r�������`���u�G�\��~���'w�m�\��112�/
��9�!�!�6�7�8�?-@XBP[c^�alb�e�e�fgSh�j`k�l�q/u&���v����~�����������z�����Яذ����u���"�|�Y�����������j�������Z�c�S�@�:���L�Y��	�113��
��p�m���Fo�2� �!�"�$a%y'�'9(�(d)�+-�-C2�24$7p9�Ώ��Ȕ���3�)��d���F�������`���3���������x�}�����~E� f!O#;$�)�)�+�5<6a6�657:a;�; D�D�N�O�ONQ�Q6SDYh^~^�^g_�`za�b�qItru�u�v#�X�}�~�������M�6��ęW�+�˦|������9�"���ϳ�����b����ԼJ�5���������t�I�&�3���.�\,t����	�	l114�115�/!�ip��1�],�,M.V/�/�2�3�468�;Y=�=�A�xyf{����x�����2���j���P�#�F���.�շ������6�X������,�����6�`�_�X���M�����"���m�J�U�����+N�"��w*6k � 2"�#�1?223�3�3�6S9�;%>X?rE�EyH�I0O�O�ObQXM[T\:_�dj�j�mKpҸ���r�ɼp�>���]�����������������0�C�+����n����C���"������P�=�����a�s���������]��Ixr�#v&#*#+7�:�;�;B=�>z@�A�B�C1EnV�V�[�\]7]y]_`�e�f�jyl7rs$u1wy����������y�ȯ����Y�[����`�^���Q�s����^�m�������`�����]���-��}���i��������D�~�������{�n���?�}���,��' ; �&)K)'*�+u.
2�6�:�@BNP1PQ�RRS�TfWYXY�Zaf�x,zXz�z�~�;�ˁ���K��M����{�יt�J�������������������i�v�����!�<���d������d���a�j���A�a�����6� ���B�����@�Q�5�j��� 7#�#M$�$*�*�8�89DGJ[
e�h�j�pBqRqwq�qwt�tw�wex�xZyd����|�X���	�H��=�\�����,���ջ��*��%�����;���2�5�3�D�����6����G�����������~�r�����  P h � � �& �& C( �( * ", �/ (2 j2 J4 �4 �8 �< 0= �= �@ �N ]P }P �S �T !W �j {t �u @v �w �x �y { �{ R| �} �~ � � {� � z� �� e� ݧ %� �� �� D� �� �� [� �� �� �� �� �� F� �� �� �� f� �� �� a� �!�!�116!F!�!�!z!�!�+!S!�q!z!Ń!��!��!��!�!`�!C�!Ӡ!2�!z�!�!�!�!S"��";�"��"'�"�"�"m�"˿"��"��"��"��"$�"��"r�"��"��"J�"y�"��"��"��"N�"T�"�"��"`�"3�"�"F�"{�"��"��"Y�"Z�"��"5�"��"��"}�"�"o�"�"0�"6117#�118#Y##�
#�#�#�#_##�##x$#�%#+'#�*#�+#;,#�,#/#j/#�/#F0#ZB#�C#119D#HD#�F#�G#-T#/\#�\#[]#�]#�^#�b#fc#�c#�f#	h#9h#i#�i#j#�j#�k#m#^r#�r#�u#�~####��#A�#y�#�#M�#�#�#��#��#_�##�#�#��#��#ȴ#�#޸#�#��#��#��#&�#��#/�#��#p�#��#p�#��#��#+�#$�#~�#-�#��#8�#{�#��#u�# �#9�#d$�$b$�$�
$4$;$o$�$~3$4$�4$�5$�7$[8$'9$d9$�:$>$P>$�>$�?$�@$�A$�A$(E$�E$F$�J$0K$MK$�L$�V$tW$q%�%�%%�%h%�%�%X!%�!%�"%$%(%�(%�*%r,%�=%,@%jC%�E%G%UH%�I%�I%�K%�K%�L%$O%�T%�W%�Y%�Z%�\%�_%f%yf%�g%�h%Fi%pi%�i%�k%bm%�n%Oo%�q%ق%5�%�%R�%v�%��%�%��%��%=�%��%c�%��%�&&]&�&�&$&�&&�&&)&�!&�"&�2&P7&n7&�B&`C&D&yE&�F&!G&4H&#J&yQ&kR&S&�S&�Y&�Z&H[&\&\&0]&n`&Hb&	k&�l&vp&{�&h�&�&g�&��&ц&Ƈ&7�&@�&a�&]�&B�&u�&Ӥ&�&m�&j�&��&��&H�&��&��&
�&Զ&�&�&z�&��&�&��&6�&��&��&��&��&'�&�&^�&��&!�&��&��&��&��&��&��&y'�'''�''�I'J'aJ'�M'eR'Ii'�i'j'^j'lm'o'�p'�q'3x'��'��'��'�'�'I�'�'-�'�'Z�'�'��'�'��'�'S�'ޗ'ǘ'�'�'c�'g�'_�'+�'ϲ'p�'�'�'ɼ'�'�'�'��'M�'��'��'��'��'��'��'��'��'��'
�'��'�$(&%(K&(�'(tK(�M(N(�O(�P(�Q(KT(�T(LU(�W(�Z(!e(�h(i(5n(�n(5o(q(>q(�q(�u(�(!�(��(F�(5�(�(�(g�("�(6)19)n:)~<)�<)f=)>)�?)�e)ig)�g)�p)r)�s)G�)�)�)ݶ)θ),�){�)��){�)y�)��)/�)��)��)L�)A�)��)��)o�)��)��)(�)q�)��)G�)��)��)|*|*]*120*x121*�*1*�
*�*�**L.*k/*u/*�0*�1*�C*�L*2N*&O*iP*�R*�S*�V*TZ*�Z*s\*�]*6^*�^*�_*�e*Vj*�k*m*2m*o*�o*�o*/q*ms*�t*�w*�z*�|*122�*֨*Ω*[�*��*�*�*8�*��*��*��*��*��*2�*=�*>�*L�*��*��*��*�*^++b123+�124+�
+�+:+�+U+�+�+�+�(+V)+�*+�*+'++4-+s-+�2+�2+83+�4+�@+DB+C+�C+qF+G+�G+�J+K+�K+b+�+��+�+v�+��+�+�+��+4�+2�+�+��+�+O�+{�+��+Ű+�+۸+M�+B�+��+��+��+��+��+��+��+b�+��+��+��+�+I�+��+K�+4�+��+�+�+��++�+��+��+'�+!,�,5,�,�<,	>,kD,�Q,'R,@S,�S,�T,2W,�X,/Z,[,�[,f\,�c,�c,Wg,kj,�o,�p,aq,r,�r,'t,�t,ww,Ky,�y,N{,ǃ,��,ۅ,D�,�,�,��,ߊ,��,��,#�,h�,-�,թ,��,-�,N�,Y�,��,n�,125�,A�,Z�,�,��,��,N�,��,��,��,��,��,��,��,��,j�,��,��,��,��,9�,�,��,E�,