Team Ai
Apppublic

KBaba7/llama.cpp

sourceHugging Faceapache-2.0updated 2y agoView on Hugging Face
0likes
speculative.cpp.o69 linesDownload Raw Back to common.dir
1���� xx$(x$__text__TEXT(�'�__gcc_except_tab__TEXT\@ __literal16__TEXT�@�!__literal8__TEXT��!__cstring__TEXT�%�!__const__TEXT�!  %__compact_unwind__LD"`@%p02.h1(�2f�8
P##60�C��W��O��{������R���|����hB��R"�R���.��#��#����9H�R��H�R���������#�R�����#��`��#�����{T��OS��WR��C��_����#��������#������������� �����O��{��C���@��`�@���`�=��=h"@������`&@�`�`*������{E��OD�����_�����g��_��W��O	��{2��������������������������������9@�(@�qkT�q������c��B�!�R������(@�qmTq������k��B�!�R�q���q���k`T(@�(�7���������B�wq��q���q���k���T���������k�T���������k�T���������kT���������k!T���������kU�Zq�3T(@�H	�7�������R�����������B�:(@�h�7��Z����B���R�(@�(�7����������������������*����*������B�����R�(@��7����������������������*����*������B�����R��R�{J��OI��WH��_G��gF�����_�k��_qKT��R�����������������5� �R_kA��T��� �R���(@���7����#��#�����"�R���9�'@�����������"�R�q(�����9�@�?qI����'����_��B�����R���9h�6�@����9h��6�'@���������9��6�@����9h�6��9�6�'@���������9H��7�������#m�o��g��_��W��O��{����������������@����h�D�I+@�J	�O�B��+�K�KX}�4�#�j@�Q�*�B�_qkT�k�ǟk�T��
�R�R�R�+@���`��kﱐ0�B��������Q���T�ҟ5k���1
?�@T�!Ya�y`�?k�T������T��?kJT?k�ן`6q���T�����?k��T?k���T����R�R�@�@����qkT���D�	��B��#��s��B�!�R�~��+@�}`�7��'��?��(d���^�����D�}@�� �(	�4��D�8��BӉ?k*TJ�i��?@�_k�T6}@���~�����H{v��F����D��H��B���?k�\T����D���B���(��[T�'@�	@�����T��|�B���*�~�j]��9�A�_	�I����;1����h�~Ө\�`�~���I{v���IG���!T���I{v���IG���@T��I�?��"T��*�_�10��?���T	��'@�hj�i11������w@���������+�~���э˿�TK�12�T�J�J�_��T���������������)�B�*�K�|�l�~Ӊ�ˌ��
�������@��	����	?��ѭ��A�.���_�A��T����qKT�@��R�R����@��K�R������D��J<���T������#@�@�	��[��5�@���#@�@�����(˩*��B�k�T�@��R������D�I;�	�`T?	�*��#@����/��h}@��z|�(G����*���H'@�)˟��Ty|���R���D���8��K���/@����R��X�`�����V@��"E�?���T�#@�;@�7���B�i�*�~��E��13�A�_	�I�����~�14���41������~��D���~����z|����F�?�!T*����z|����F�?�`T*�I�?��cT�J�J�_��T)�B�)�*�|�L�~�+��,��
�����15��@��	����	?��ѭ��A�.�����?16�T)�_�	��?���T	�����.������������/@�@�qmT�@��/@�@��:�	�=��<@��������D�	��B��@�@�q�?@�KT��������B�!�R��/@����R���D���8����/@�����$�R��X�`������"E���T�F���H�#@�;@���x�B�	�*�~�178���~���A�	�i���18���61������~�7���~��	���	��F���!T(��	���	��F��� TJ�_��CT��k���TJ�B�J�K�|�m�~ӌ
�)
ˍ���΁����@��	����	?������A�/�����_�T��_�*������T����.�{�����*��@��/@�@���	�=�3�=@��k�����@���+@�qk*T�R�@�'XyG����*���+@��k�(T�/@���@��R#�R��@����@�	�)@�)@�q$�@z
T���(@�@�		@��@�����"�R� �"�s�8�X�q��(��������������!�R�B���s�8h�6�X��(@�
qi�R	��?q�	T	�)@�)@�?qT���(@�
@�	@��@�����"�R� �"�s�8�X�q��(����������(�R����!�R�B���s�8h�6�X��(@�
qi�R��
q�T�@�@�q�T���(@�@�	!@��@�����"�R� �"�s�8�X�q��(����������H�R����!�R�B���s�8h�6�X��(@�	@� (�T@��@���"�R��'@���@��TyG���L�@�w���B�i�*�~�J��19�A�_	�I�����~�20���41�����~Ө���~������F��Tj�I�?��bT�'@�$������F����T�'@� �J�J�_��'@��T)�B�)�*�|�L�~�k��l��
�����21��@��	����	?��ѭ��A�.�����?22�Ti�_�	�����T	��Z��23�z�������@����B��+@�?k�T��R���D���8����/@���$�R��X�`������@��/@�@���	�=�#�=@��K�����"E����T�#@�:@�w���B�i�*�~Ӫ24��25�A�_	�I�����~�26���41��t���~�����~������F��T)������F��`Tj�I�?��cT�J�J�_��T)�B�)�*�|�L�~�k��l��
�����27��@��	����	?��ѭ��A�.�����?28�Ti�_�	�����T	�����.�:����������{Z��OY��WX��_W��gV��oU��#Tm����_��#@�����'@��#��#@��
�'@��29��'@���#@���  ����s�8��6�X��30	���X����������'@�@�`�������C��O��{������@�@������=�=�R���=@�<��=@�<�R4���=��<��RH��@���T��@�,��y�9��(@�R��xH�R�y(�R��9��9�?9I�R�sy�9H�R�y�#�����R���9�7�?�9H�7���9��7��9��7~�J��R���	�)� @����?
�`"�h~	�~31��9�o`��<`��<`��<iv�������^�	�)@�)@�?�T���{H��OG��C��_��+@���?�9��6�@�����9���6�@����9���6�@������������������9h�7�?�9��7���9��7��9(�6�@������+@���?�9���6�@�����9h��6�@����9(��7����W���O��{������@�4�u@�����T32�bѿ��T���8���6��^�����`@�t�����{B��OA��Wè�_��{��������O���{��C����R�������!@��B@�������������{������@�A���{���_��{�����R���!@��B@���C��_��W��O��{�����|�����#9"����hU��HU��_�bT��H��}��������`��h33��=	@���=�b���T����	]�9���6	@�������h����{D��OC��WB��_A��C��_����  ������������t��������b�W�����	��8���6�^������W���O��{������ @9�4���{B��OA��Wè�_�t@��@�5����@�����T�b����T���8���6��^�����h@�@�������{B��OA��Wè�_��{��������W���O��{����������_X�hT�^9��}���T��}�!��34@�?]��������A���������������{B��OA��Wè����{��������W���O��{�������@�`�`���`��az@��`j@�`�`n��t^@�4�ub@�����T35��ѿ��T�r�8���6�^�����`^@�tb��h��9��7`B@�`�`F��t6@���u:@�����T�bѿ�`T���8���6��^�����`N@��`B@��������`6@�t:�����{B��OA��Wè�_����O���{��C�����!@�����a@����������{A��O¨�_��_���W��O��{������������@�@�	���T��t������~�36���~�)�	�A�?�)�����~���37�(1��	�~�	��~������`������h38���T���������h�@��I�B�?�T�39	��T�����t@���@T������T���������h��{C��OB��WA��_Ĩ�_�����{���������((�@4t����`������$��p���������(��4�h��	��	��40����
,��
��
�������������$������(������(��t������d�����������������������<$,��P������T����@33s?��L=���=�?��L?�?�?�����@���=%s: vocab_type tgt: %d41common_speculative_are_compatible%s: vocab_type dft: %d42%s: draft model vocab type must match target model to use speculation but vocab_type_dft = %d while vocab_type_tgt = %d43%s: draft vocab special tokens must match target vocab to use speculation44%s: tgt: bos = %d (%d), eos = %d (%d)45%s: dft: bos = %d (%d), eos = %d (%d)46%s: draft model vocab must closely match target model to use speculation but target vocab size %d does not match draft vocab size %d - difference %d, max allowed %d47%s: draft vocab vocab must match target vocab to use speculation but token %d content differs - target '%s', draft '%s'48%s: reuse_i = %d, reuse_n = %d, prompt = %d49common_speculative_gen_draft%s: n_past = %d50 - draft candidate %3d, pos %3d: %6d (%8.3f) '%s'51basic_stringvector52�D�hXhD<��DX�<D0�pPdPDH�$�((DX(����\p�@�D/-L=*-�d-�d-xc-HJ-I-�I-hI-PI-DI-I-�I-�I-�I-�1-�I-l/-hLd=X)-Pd-$J-�/-�L�=�I-�I- I-6-�0-�6-�0-�+-�.-TJ-�M-�El�E]�Gl�G]�D-�K-�Hl�H]�B-�6-�L-�M-�Cl�C]�Fl�F]�--xK-`/-\LX=8I-(I-�6-�I-�I-�I-�6-�I-p6-h4-\O-TI-DI-4I-$I-�Pl�P]�L�=�J-x3-$L =L=L�=�L�=�L�=�L�=�Pl�P]�6-�I-xI-<I-5-,-�,-�5-�,-�,-�5-�5-�,-�I-�J-XT-0I- 9-�J-�I-�J-�>-lI-\7-XLT=@-�8-�Ql�Q]�I-�7-�L�=x@-T8-DQl@Q]$I-7-L=�@-�8-�Ql�Q]�A-�?-x:-4=-,T-I-4
J-�I-�9-�J-�:-�7-�L|=t
Lp
=h8-TQlPQ]@T-I-,J-�53I-�549-�55J-\56:-457X-�	V-�	d-�	W-�	X-�I-`J-xJ-P7-HLD=,8- 
L
=QlQ][-�6-�6-�I-�I-lI-\I-L7-@L<=4L0=@-�@-�8-�e-�`-�`-L7-@58L<59=$_-]-^-\-�8-�7-�	L�	=�_-�]-�^-�\-�8-�7-|Lx=pLl=h8-XLT=LLH=8a-,8-a-a-�]-�]-�\-�\-�_-�_-�^-�^-hLd=XLT=P8-,7-$L =L=8-�b-�7-�L�=�L�=�8-�Ql�Q]�b-�Y-�Y-�U-|U-DI-<I-,R-;-�6-�I-�6-�(-�6-�(-�(-�<-�U-|2-P'-<S-,Z-J-@ ����`XPN@ ��N�����N�xpN`XPN@ N���������������������������60�61�62�63���������������������������� � �*�*�*�*�*�*�)�*�)�)�)�)�)�)�)�)�)�)�)�+�+�,�+�+�.�.�/�/�/�/�/�/�/�/�/�/�3�3�4�4�:�:����64����65�"�4 o�F�
 �� ~<'�!�S!��!
�!UXx�������g�O�>���!,0�!�H�X��!&��!�"H����o66X���v�p\�P;�\����L	�����	�d��(m��B���67�6������X"68�(���	q	�	�	������n�p�K�����1R��69�>oEV,��z6?h__Z14common_log_addP10common_log14ggml_log_levelPKcz_memcpy_llama_n_ctx___cxa_throw__Z15common_log_mainv__ZdlPv__ZN22common_params_samplingD2Ev__ZN22common_params_samplingC2Ev__ZNSt12length_errorD1Ev__ZNSt20bad_array_new_lengthD1Ev__ZNSt20bad_array_new_lengthC1Ev__ZNKSt3__16vectorIiNS_9allocatorIiEEE20__throw_length_errorB8ne180100Ev__ZNKSt3__112basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEE20__throw_length_errorB8ne180100Ev__ZNKSt3__16vectorINS_12basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEEENS4_IS6_EEE20__throw_length_errorB8ne180100Ev__ZNKSt3__16vectorI19common_sampler_typeNS_9allocatorIS1_EEE20__throw_length_errorB8ne180100Ev__ZNSt3__128__exception_guard_exceptionsINS_6vectorINS_12basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEEENS5_IS7_EEE16__destroy_vectorEED1B8ne180100Ev__ZNSt3__16vectorINS_12basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEEENS4_IS6_EEED1B8ne180100Ev__ZSt28__throw_bad_array_new_lengthB8ne180100v__Z23common_speculative_initP13llama_context_llama_vocab_get_textl_constinit_llama_batch_init_llama_vocab_get_add_eos_llama_vocab_eos_llama_vocab_get_add_bos_llama_vocab_bos_llama_vocab_n_tokensl_.str__ZTVSt12length_error__ZTISt12length_error__Z20common_sampler_resetP14common_sampler__Z29common_sampler_get_candidatesP14common_sampler__Z19common_sampler_freeP14common_sampler_llama_kv_cache_clear_strcmp___cxa_allocate_exception___cxa_free_exception__Znwm_llama_kv_cache_seq_rm__ZNSt3__112basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEE25__init_copy_ctor_externalEPKcm___stack_chk_fail_llama_get_model__ZNSt3__16vectorI19common_sampler_typeNS_9allocatorIS1_EEE18__assign_with_sizeB8ne180100IPKS1_S7_EEvT_T0_l__Z28common_speculative_gen_draftP18common_speculative25common_speculative_paramsRKNSt3__16vectorIiNS2_9allocatorIiEEEEil___func__._Z28common_speculative_gen_draftP18common_speculative25common_speculative_paramsRKNSt3__16vectorIiNS2_9allocatorIiEEEEi__ZTISt20bad_array_new_length_llama_n_batch__Z18common_batch_clearR11llama_batch__Z19common_sampler_initPK11llama_modelRK22common_params_sampling_memmove__Z23common_speculative_freeP18common_speculative_llama_vocab_type__Unwind_Resume_llama_batch_free_llama_decode___stack_chk_guard_common_log_verbosity_thold_llama_kv_cache_seq_add__ZNSt11logic_errorC2EPKc__ZNSt3__120__throw_length_errorB8ne180100EPKc__ZNSt12length_errorC1B8ne180100EPKc__Z21common_sampler_sampleP14common_samplerP13llama_contextib__Z21common_token_to_piecePK13llama_contextib__Z21common_sampler_acceptP14common_samplerib_llama_model_get_vocab__Z16common_batch_addR11llama_batchiiRKNSt3__16vectorIiNS1_9allocatorIiEEEEb__Z33common_speculative_are_compatiblePK13llama_contextS1_l___func__._Z33common_speculative_are_compatiblePK13llama_contextS1___ZNSt3__16vectorINS_12basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEEENS4_IS6_EEEC2B8ne180100ESt16initializer_listIS6_E__ZNSt3__16__treeIiNS_4lessIiEENS_9allocatorIiEEE7destroyEPNS_11__tree_nodeIiPvEEl_.str.9l_.str.8GCC_except_table7l_.str.7ltmp6l_.str.16l_.str.6ltmp5lCPI4_5l_.str.15l_.str.5ltmp4GCC_except_table4lCPI4_4l_.str.4ltmp3GCC_except_table3lCPI4_3l_.str.3ltmp2GCC_except_table2lCPI4_2l_.str.2ltmp1lCPI4_1l_.str.1___gxx_personality_v0ltmp0GCC_except_table0lCPI4_0GCC_except_table10l_.str.10