Team Ai
Apppublic

KBaba7/llama.cpp

sourceHugging Faceapache-2.0updated 2y agoView on Hugging Face
0likes
batched-bench.cpp.o119 linesDownload Raw Back to llama-batched-bench.dir
1���� x1(1__text__TEXT�'((4��__gcc_except_tab__TEXT�'p�*__literal16__TEXT�(�,__literal8__TEXT�)X�,__cstring__TEXT�)s-__const__TEXT\. �1__compact_unwind__LD�.��1C2.�C��F��N�PFFY,�3�m�+m�#m�o��g��_��W��O��{���	��R�@�?��@������������@�@������������������#�R� 6��
�R��@9����������J��J��Td���������B���������������5�R���������������#J��'J���Tva�������B������������������������������/J��3J���T_�������B�������������������������kJ�����������������3��#�)��9�[H�?q@���`F����`G������2��������������@�?� T(��`T�@�*@���lE@�_kJ��	������A��T(@��@�@������!�H(�R�G�`B���`�=���=�WA���`A���a@�����������E�������������/�����#��R"�R��w�����R9?Cq@T��R����D��������#����R���R���A��������������A�qT�R�������?����}Ӻ�~�k����@��/Z�)�J��7[�k��������������������������������@B5���苁�{���sK����+��T�@�h�D9(5�@�@���7��B��R��@�@��3�7�S|9i@9��C���C��#D��KB��OB�����������B��@������R��@�@���7��B��R��@�@�h�7���	�)��#���	�)��#���	�)��#���	�)��#���	�)��#��B��R��@�@�(�7����#��#�	�)��#����B��'��'��R���@��@��	�B�?q�/A���@��)T���@�		�)�B��g��S�I	�*�B��B��	��S�(��B�q�'T	���k��@���B�qk&T4������o��@�J��L�_��o@�5%T�zk��@�	yi��@���yj��~	H)�~	�q	��@��{�?kl��T����#��_qT�q��q�T�R9?k�T�R�k ��T��R����D��������#����R���R���A���������������@�鋁�(�)�R	�8��_�����A�qT�R�������?��V�}�X�~�k����@��/Z�)�J��7[�k��������������������������������`)5���苁�����sK{��+��T�/A��4�6qkT9�R���R�����9�k��T��[���W������@���@��@��@�q�7T�R��@�{�@�k����/A���@���@��@�	T�#���qT�Rzs�k@T��R����D��������#����R��$�R���A���������������A�q��T�R�������?��y�}�x�~�k����@��/Z�)�J��7[�k�������������������������������� 5���苁�{����K����+��T�����#K�(�"���R�.�r'8!�W@��"�	!H))�q��}"
*��@�")�{@�"�@�	�D9�@�@�(I4��7�hR|9�@�)@9@�"��""�"c�"�"��"��C���C��#D��KB��OB��m�m�m�{@��?��@��?��;��3��#��@��+��R�B��������7�@�"��""�"c�"�"��"�m�m�m�{@��#��@��#��R�B������I�)�?9����Tk����T�@�@���7��B��R�����'���<�g���<��10�����<�_�=��@�����C������w@����@�@�h�7��B��R��R�@�@������!��5�R�@�@���@�@���A�@��������V�	�)@�)@�?�11T���@�����{H��OG��WF��_E��gD��oC��#Bm�+Am�3�l�_��s@�h@����7��g��B���R�h@����7������B���R�����@�@�(��7��k��B���R��@�@����7������B���R�����@�@�H��7��g��B���R��@�@���7������B���R�����R�@����������
���C
������  �:9876543210/.-,���A�������)���A�H�����&���A�����������������������
12	����A����������@�@���@�@���A�@�������������O��{������@��@�H�7����B��R��@�H�7�h@����B��R��@�(�7��B��R�{B��OA�����{B��OA�����_��C��o��g��_��W��O��{�������=��=��@���(���=��<�@������҈���@������o��<��tj��@�R��@�`:�`�	�~�9u�!@�R��������`2���R9!@�R�U�Ru���o`��=�`�hZ���o`^�`���R{�zr>�ib�����h�����o �=�@�`���@�`�t13�`2 �14�R(9!@�R��@�`�`�(�&��09!@�R�u.�h1�y�09h~1�yh�1�yh>2�yh�2�yh�2�yh^3�yh�3�yh>4�y�39h�4�yh�4�yh^5�y�5969�59h~6�y"69h�6�yh>7�yh�7�yh�7�yh^8�yh�8�yt9�ib:�h2;��o�������< ��� 	�=�o��	��	�hR;�r;9�2�Rhr��;9z��;9aƒ=��=`ƃ=�<9(�Rh&�	� @�`��|=��<9�3y����=I�Rif��=9�=9h^>9I�Riyb>915�@�=@�=��*�Rj?9*�Rj�>916�J�J@�j���>9~?9"?9�?9�?917 �Rj�yj@�_O9_�9_S9��_a918�a�=H�92�a�=_�19�20�Rjj�_C9a2�=a.�=a*�=a&�=a"�=a�=21�Rj��h_9iy22�@@�`z�23�Ru24�j�Rj�9ʅ�R*��r�r�25�J�J@�j~��9i��"�Ri	�?!9?�h9�@�`��*�&�Rx�h�Rh�9��R�άr�����=`N�=�9�R�`����=`V�=��@���A����9�R�������`���}�h����Rh����@���A����9�9�R�`��v��(�Rh�����=�=��<��<d99���{H��OG��WF��_E��gD��oC��C��_��������h�9�7�Rh��9�7�Ry�h��9H�7h_�9��7t����`RH���`FH���@�@�H/�9��7H��9�7HO�9H�7�@��h��9��7h~�9��7h�9�7{"=�h^�9h�7z�:�h��9��7x"9�y�9������9��7����@��`>G�`�`B���������@��9��7h��9��7h^�9(�7h��9h�7h��9��7h>�9��7h��9(�7h~�9h�7h�9��7h��9��7h^�9(�7h��9h�7wB2�h��9��7h>�9h�6`~F������@���@���`G��h��9h��6`G��h^�9(��6`G��h��9���6`�F��h��9���6`�F��h>�9h��6`�F��h��9(��6`�F��h~�9���6`�F��h�9���6`�F��h��9h��6`�F��h^�9(��6`�F��h��9���6`�F��wB2�h��9���6`�F��h>�9h��7�������`�H���Rh��9��6�����Rh��9H��6@���Ry�h��9��6�@��h_�9���6`@��t����`RH�����`V��`FH�@���`J���@����`>��H/�9���626�Rh�@��H��9H��6@CI��HO�9��6`H���@��h��9���6`�G��h~�9���6`�G��h�9H��6h�>�@��{"=�h^�9���6`�G��z�:�h��9���6`�G��x"9�y�9������9h��6`�G������@��`>G� ���B�������@�`�`.���@���W���O��{������@�4�u@�����T27�bѿ��T���8���6��^�����`@�t�����{B��OA��Wè�_��W���O��{������@�4�u@�����T28��ѿ��T���8���6��^�����`@�t�����{B��OA��Wè�_��W���O��{������@�4�u@�����T29��ѿ��T���8���6��]�����`@�t�����{B��OA��Wè�_��O���{��C���|�9h�7h�9��7h��9��7h^�9(�7���{A��O¨�_�`&@��h�9���6`@��h��9h��6`@��h^�9(��6`@�����{A��O¨�_��O���{��C�����9��7h~�9(�7h�9h�7h��9��7`@�`�`�����{A��O¨�_�`RB��h~�9(��6`FB��h�9���6`:B��h��9���6`.B��`@�`�������C��O��{������@�@������=�=�R���=@�<��=@�<�R4���=��<��RH��@���T��@�,��y�9��(@�R��xH�R�y(�R��9��9�?9I�R�sy�9H�R�y�#�����R���9�7�?�9H�7���9��7��9��7~�J��R���	�)� @����?
�`"�h~	�~30��9�o`��<`��<`��<iv�������^�	�)@�)@�?�T���{H��OG��C��_��+@���?�9��6�@�����9���6�@����9���6�@������������������9h�7�?�9��7���9��7��9(�6�@������+@���?�9���6�@�����9h��6�@����9(��7����C��_��W��O��{�����|�����#9"����hU��HU��_�bT��H��}��������`��h31��=	@���=�b���T����	]�9���6	@�������h����{D��OC��WB��_A��C��_����  ������������t��������b�W�����	��8���6�^������W���O��{������ @9�4���{B��OA��Wè�_�t@��@�5����@�����T�b����T���8���6��^�����h@�@�������{B��OA��Wè�_��{��������O���{��C����R�������!@��B@�������������{������@�A���{���_��W���O��{����������_X�hT�^9��}���T��}�!��32@�?]��������A���������������{B��OA��Wè����{��������W���O��{�������@�`�`���`��az@��`j@�`�`n��t^@�4�ub@�����T33��ѿ��T�r�8���6�^�����`^@�tb��h��9��7`B@�`�`F��t6@���u:@�����T�bѿ�`T���8���6��^�����`N@��`B@��������`6@�t:�����{B��OA��Wè�_����O���{��C�����!@�����a@����������{A��O¨�_��W���O��{��������R����9��7�"�9	�7���9H	�7�b�9�	�7���9�	�7��934�7u^H�U35�`RH�`�`V��`FH�`�`J��`:H�`�`>�����9�36�7�b�9�37�7��9(�7tH�t�h��9��7h~�9(�7h�9h�7h^�9��7h��9��7t�G�4�h�9��7tZG�4�tNG�4�`>G�`�`B��t2G��38�u6G�����TP�bѿ�	T���8���6��^�����`�H���"�9H��6`�H�����9��6`�H���b�9���6`�H�����9���6`~H����9H��6`nH��u^H����vbH�����!Tub��`RH�@�������b���T���8���6��^�����`*H���b�9h��6`H����9(��6`H��tH�����uH�����!Tt��h��9(��6&�bѿ��T���8���6��^�����`2G�t6��t&G��39�u*G�����TN�bѿ�@	T���8���6��^�����`^H�ub��`RH�����n��`H�t��h��9h��6`�G��h~�9(��6`�G��h�9���6`�G��h^�9���6`�G��h��9h��6`�G��t�G�4���u�G�����Tt���h�9h��6`�G��tZG�4���u^G�����!Tt^��tNG�t�b���bѿ�	T���8���6��^�������ѿ�@	T���8���6��^�����`&G�t*��h�9�40�7h��9�7h^�9H�7h��9��7h��9��7h>�9�7h��9H�7h~�9��7h�9��7h��9
�7h^�9H
�7h��9�
�7h��9�
�7h>�9�7h��9H�7h^�9��7h��9��7h��9�7h>�9H�7h��9��7h~�9��7h�9�7`�C�`�`���`��`*@�`�`.�����{B��OA��Wè�_�`�G�t���h�9h��6���`ZG�t^��tNG�4���uRG�����!TtR��`>G�`�������ѿ��T���8���6��]�����`G��h��9H��6`G��h^�9��6`G��h��9���6`�F��h��9���6`�F��h>�9H��6`�F��h��9��6`�F��h~�9���6`�F��h�9���6`�F��h��9H��6`�F��h^�9��6`�F��h��9���6`�F��h��9���6`�F��h>�9H��6`~F��h��9��6`nF��h^�9���6`bF��h��9���6`VF��h��9H��6`JF��h>�9��6`>F��h��9���6`2F��h~�9���6`&F��h�9H��6`F��`�C�������`NG�tR��`>G���������{����������\\�d$����X���P���0�������������$�������������
��
����������������������������H��H������������)����������	�	�	�����������P������T��<$,�����������?�XX����'(�����@33s?��L=���=�?��L?�?�?B�?�����������=fff?2���������d������@���=%s: error: unable to load model41main%s: error: failed to create the llama_context42%s: llama_decode() failed4344%s: n_kv_max = %d, n_batch = %d, n_ubatch = %d, flash_attn = %d, is_pp_shared = %d, n_gpu_layers = %d, n_threads = %u, n_threads_batch = %u45|%6s | %6s | %4s | %6s | %8s | %8s | %8s | %8s | %8s | %8s |46PPTGBN_KVT_PP sS_PP t/sT_TG sS_TG t/sT sS t/s|%6s-|-%6s-|-%4s-|-%6s-|-%8s-|-%8s-|-%8s-|-%8s-|-%8s-|-%8s-|47------------------{"n_kv_max": %d, "n_batch": %d, "n_ubatch": %d, "flash_attn": %d, "is_pp_shared": %d, "n_gpu_layers": %d, "n_threads": %u, "n_threads_batch": %u, "pp": %d, "tg": %d, "pl": %d, "n_kv": %d, "t_pp": %f, "speed_pp": %f, "t_tg": %f, "speed_tg": %f, "t": %f, "speed": %f}48|%6d | %6d | %4d | %6d | %8.3f | %8.2f | %8.3f | %8.2f | %8.3f | %8.2f |4950 51127.0.0.1imatrix.datcontrol_vector.ggufexamples/cvector-generator/positive.txtexamples/cvector-generator/negative.txtggml-lora-merged-f16.ggufvectorbasic_string52example usage:5354    %s -m model.gguf -c 2048 -b 2048 -ub 512 -npp 128,256,512 -ntg 128,256 -npl 1,2,4,8,16,32 [-pps]55failed to decode the batch, n_batch = %d, ret = %d5657tD�'t��D|(ptp�pT���p<D�(�(D�(��h|PD�(�$��|�� @� �l'|'Q-x'@Lt'@=\'f-D'f-4'f-$'f-'f-'f-�&f-�&f-�&f-�&f-�&f-�&f-�&f-�&f-t&f-d&f-T&f-D&f-4&f-$&f-&f-&f-�%f-�%f-�%f-�%f-�%f-h%f-X%J-P%f-�$f-�$f-`$f-8$f-$f-$f-�#f-�#f-�#f-�#f-�#f-�#f-�#f-p#f-8#f-(#f-#f-�"f-�"f-�"f-�"f-�"f-l"f-\"f-L"f-<"f-,"f-"f-"f-�!f-`!f-P!f-@!f-� f-� f-p f-d f-, f- f- f-�f-�S-�f-�Q-�BL�B=xL-p�-Dg-�el�e]�b-�Y-�j-�k-�cl�c]�dl�d]�O-�i-xQ-t@Lp@=Pf-<f-�f-�Y-�R-�Y-�R-|M-LP-g-�Y-�f-�f-xf-pY-hf-<Y-4W-(m- f-f-f-�f-�nl�n]�=L|==tg-DV-�<L�<=�;L�;=�:L�:=�9L�9=�8L�8=�7L�7=�nl�n]`f-Pf-@f-0f-f-�f-�f-�f-�f-<f-,f-�f-�f-\f-Lf-Y-�f-�T-�U-�f-�W-�f-�f-|f-hf-Xf-HW-@f-0f- f-f-�f-�f-�W-�f-�f-�f-xf-\f-Hf-8f-(f-f-f-�f-�f-�f-�f-�f-�f-�f-�J-�K-|H-tf-�W-�W-�f-�T-�U-�W-|W-DW-f-�5L�5=�g-�4L�4=`g-D3L@3=8%L4%=,g-2L2=�/L�/=�1L�1=�.L�.=0L0=�$L�$=�-L�-=�#L�#=xp-`,L\,=Xp-<+L8+=0*L,*=I-�p-�p-�)L�)=�p-d(L`(=X"LT"=D'L@'=8!L4!=0 L, =�[-�L�=�\-�[-�L�=�\-�[-�L�=�\-�ql�q]pY-hG-`f-Tf-Hf-4f-Y-�
G-�
Y-�
Y-�
G-�
f-L
N-@
N-4
N-,
m-
[-
L
=
L�=�\-�ql�q]�[-�L�=�\-�ql�q]�[-�L�=�L�=�\-�ql�q]�[-�L|=t\-hqldq]\[-TLP=HLD=@\-4[-,L(= \-qlq]�nl�n]�G-�f-�f-�f-�r-�L�=�L|=tolpo]d[-\LX=T\-HqlDq]@t-<}-4y-,v-�58�-�59[-�60L�61=�62\-�63ql�64q]�65[-�66L�67=l68\-`69[-\70LX71=�	\-�	ql�	q]l	s-H	�-8	x-�f-�]-|g-T^-�s-�s-�|-��-�x-{-s-�f-�]-�g-d^-x[-hLd=`L\=TLP=DL@=<\-0ql,q]([- L=L=L=
L�
=�L�=�L�=�72L�73=�	L�	=�L�=�L�=�L�=�\-�ql�q]�[-�L�=�\-�ql�q]|[-hLd=`L\=0\-$ql q][-L=\-ql�q]��-�x-<f-,]-g-�w-�-�z-lLh=`L\=TolPo]a-�~-�`-��-�u-��-pg-8�-g-��-�g-�Z-|_-hLd=`F-PnlLn]0hl,h]`@ �����l�`@80l l����`XPl@ lLPT,0dh��������������������	�	�	�	�	�	�	�	�74�75�76�77�78�79�	�80�	�	�	�	�	�	�	�	�	�	�	�	�	�	�81�82�83�84�85�86�87�88�89�90�91����������������������������������������������������������������������������������������&�&�&�%�%�%�%�%�%�%�$�$�$�#�#�#�#�#�#� � � � � � � � �&�&�&�&�&�&�'�'�'�'�5�5�5�5�5�5�5�5�5�5�5�5�5�5�5�5�5�5�5�7�7�7�6�7�<�<�=�=�=�=�=�=�?�?�N�NsJt�	*��)�92X*{93Z*+94V+q95R+�96I+B+J9+�2+]	-+�	++�	(+�	%+597�*S	�+�	�+�	�+�	\+��+7�,�98-T*�	'.=*!�'y�'99�-�	�-�100�(��(/)�101)A	 )A0)h102@)�103�)�104�)L105�)106�)�	�)�	�)x	�)��)�)�107�)^108-!109-�	-�	1-�	Y-I	�-�110|(�P)'`)�111p)�112�)D113�)114�)@\.f	�(/	�(�115�-�116�(T117�->118�)119\.�	�.����� �T��p���3����|�hW�l'������z�|����� �����t�����Xj�R���`�����j�K])Ac.x��^�L
;+L��>r&�6�__Z14common_log_addP10common_log14ggml_log_levelPKcz_memcpy_llama_n_ctx___cxa_throw__Z11common_initv__Z15common_log_mainv__ZdlPv__ZN13common_paramsD2Ev__ZN22common_params_samplingD2Ev__ZN13common_paramsC2Ev__ZN22common_params_samplingC2Ev__ZNSt12length_errorD1Ev__ZN21common_params_vocoderD1Ev__ZN25common_params_speculativeD1Ev__ZNKSt3__16vectorIiNS_9allocatorIiEEE20__throw_length_errorB8ne180100Ev__ZNKSt3__112basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEE20__throw_length_errorB8ne180100Ev__ZNKSt3__16vectorINS_12basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEEENS4_IS6_EEE20__throw_length_errorB8ne180100Ev__ZNSt3__128__exception_guard_exceptionsINS_6vectorINS_12basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEEENS5_IS7_EEE16__destroy_vectorEED1B8ne180100Ev__ZNSt3__16vectorINS_12basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEEENS4_IS6_EEED1B8ne180100Ev__ZNSt3__16vectorI31common_control_vector_load_infoNS_9allocatorIS1_EEED1B8ne180100Ev__ZNSt3__16vectorI24common_adapter_lora_infoNS_9allocatorIS1_EEED1B8ne180100Ev_llama_perf_context_printl_constinit_llama_batch_init_llama_backend_init_llama_numa_init_ggml_time_us__Z28common_model_params_to_llamaR13common_params__Z30common_context_params_to_llamaRK13common_paramsl_.str__ZTVSt12length_error__ZTISt12length_error_llama_kv_cache_clear___stderrp_llama_kv_cache_seq_cp_bzero___cxa_allocate_exception___cxa_free_exception___chkstk_darwin_mainl___func__.main__Znwm__ZNSt3__112basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEE25__init_copy_ctor_externalEPKcm___stack_chk_fail_llama_init_from_model__Z18common_batch_clearR11llama_batch_fprintf_llama_synchronize_memmove__Unwind_Resume_llama_model_load_from_file_llama_model_free_llama_batch_free_llama_backend_free_llama_free_llama_decode___stack_chk_guard_common_log_verbosity_thold__ZL11print_usageiPPc__ZNSt11logic_errorC2EPKc__ZNSt3__120__throw_length_errorB8ne180100EPKc__ZNSt12length_errorC1B8ne180100EPKc__Z16common_batch_addR11llama_batchiiRKNSt3__16vectorIiNS1_9allocatorIiEEEEb__ZNSt3__16vectorINS_12basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEEENS4_IS6_EEEC2B8ne180100ESt16initializer_listIS6_E__Z19common_params_parseiPPcR13common_params13llama_examplePFviS0_E__ZNSt3__16__treeIiNS_4lessIiEENS_9allocatorIiEEE7destroyEPNS_11__tree_nodeIiPvEEGCC_except_table9lCPI2_9l_.str.29l_.str.19l_.str.9GCC_except_table8lCPI2_8l_.str.28l_.str.18l_.str.8lCPI2_7l_.str.37l_.str.27l_.str.17l_.str.7ltmp6lCPI2_6l_.str.36l_.str.26l_.str.16l_.str.6ltmp5lCPI8_5lCPI2_5l_.str.35l_.str.25l_.str.15l_.str.5ltmp4lCPI8_4lCPI2_4l_.str.34l_.str.24lCPI2_14l_.str.14l_.str.4ltmp3lCPI8_3lCPI2_3l_.str.33lCPI2_13l_.str.13l_.str.3ltmp2GCC_except_table2lCPI8_2lCPI2_2l_.str.22GCC_except_table12lCPI2_12l_.str.12l_.str.2ltmp1lCPI8_1lCPI2_1l_.str.21lCPI2_11l_.str.11l_.str.1___gxx_personality_v0ltmp0GCC_except_table0lCPI8_0lCPI2_0l_.str.20lCPI2_10l_.str.10