Team Ai
Apppublic

KBaba7/llama.cpp

sourceHugging Faceapache-2.0updated 2y agoView on Hugging Face
0likes
tokenize.cpp.o75 linesDownload Raw Back to llama-tokenize.dir
1����h ��'��'__text__TEXT��P*��__const__TEXT�"<__gcc_except_tab__TEXT�(`__cstring__TEXTB	�__compact_unwind__LDH%��'�7"2.9<�0F8PQQbA�o���g��_��W��O��{��C��������8����q�PT�������ZU�����|U���R�*2��=�3@��3���=�b���9�?�
Tuzy������}��"zT��\�"T��9�C�T��j48�#y�����T��}�!��4@�?]����������A�����+���������j48�#y���c��T��X���)�C�5}���?��uT��C�}�5��_	�I����������6�71������tT���}���ҩ�����= �=�3@�*	�5a���`T��@��<K�_�+�� ��<)a�_}?�_��Ka�������T��8�����bџ��T���8���6��^������������������4�����������X����C����iU��	}	�?�AAT���C�iU�RIU�r}	?q�T\�9H�6@��<�R��X��=��Y�����T��bџ�@<T���8���6��^������R�/����R�R�R��������3�R�R�����X�h":�	]�9��7�=	@��3���=	@��C��v~@���9��7		Q?Aq(%T��zixJ	�@��@y��R?7k�T��/@�	��T�+@�)@y��R?8k@T�T�+@�	@����R*��rJ�	@y?9k�
�RIz�T�/@��aT�+@�	@�@9���R*��r?10ki�RIz�T�/@�	��T�+@�@y���R	k`T�/@��T�+@�	@�1@����R���r?11k鍌R���rIz�T�/@�!�AT�+@�@���������E���m��	�`T�/@�-�T�+@�	@�1@�����������jn��?12�魅ҩl��i,��	���I�@T�/@�I�AT�+@�	)@�!@y����������+L��?�i��ҩe��	���i,��@I�)��RIz�T�/@�	�!T�+@�@y��R	k�T��+@��3E�����������kn��?�魅ҩl��i,��	���@I��T(�R��6�R��9(�6��+E���@y����������,L��?�i��ҩe��	���i,��@I�)��R`IzAT(�R��6�R��9��6��S@����R*��rJ��@y?13k�
�R`Iz�T	q�Tq�T�S@��SA9���R+��r?ki�R@Iz@	T	q�T�@y���R?14k!
TR��X�	]�9I�6@���������������������@�R��������������������������������������R�R��9�15�6S(�R�/�6�R��916�6M�S@��3E����R���r?k鍌R���r@Iz�T�6�@�@�;�R����R5�+@���������E���m��?17��T(�R��6�R��9(�6.	q�T�C�@y��R	k�T�C��!��@46�@�@�7�R���R�C��!���7�C��!���4�6�@�@�8�R����R"�R��R<�R��9h�6�+@���6skK��T�����X�u"��^�9��77�R6�R��9h��6�������X�i"�(]�9h�7��8�R6�R��9��6�������X�i"�(]�9��7��;�R6�R��9���6����C��!��`6(�R��6�R��9H��6����@�7�R6�R��9���6���)@���8�R6�R��9���6���)@���;�R6�R��9���6����C��!���6(�R��6�R��9h��6����C��!���6(�R��6�R��9��6�����X��":�	]�9I�6@�	�)@� @����!���R<�R��9���6�����X����������{E��OD��WC��_B��gA��oƨ�_�����	���*?���T�������B���R�~�@����h18qaT�@�@���<�R��R"�R�����6�@����19qaT�@�@���<�R��R�@�@���<�R��R"�R���������20q!T�@�@���<�R��R�����@��(21	q#T�@�@���<�R��R����4�@��"��@�����*���("6�7���86��9�C����@���s�8h�6�W����= _�=�3@����G95i�@�@���<�R!�R����6�C����V6�@��6�������C��(�R��8 �I� �� �J� ���	�������������������<�����< ��'���< �=�/A��������<�����< ��'���<�g���< ���������`�V6*�7�C��C����@��@��^���@��B���@��^����@9��R	jT�@�@���<�R!�R"�R��C���@�@����!��<�R��@�@���<�R!�R"�R�y�C�a������s�8h�6�W�����< _�=�'@����C��������@�h7�C���@�R�22�@�R�C��C�����[E��/@�H6`�R����B�?q
T�BӨ@��������T�����������HG@�������!��T�/@��6���(���B�?q�T�B�����C�����������Z� ��T�@�������G@��C���"�R���9�+@�q(����������9h��6�+@������@��6�����������u�����R�s�8(��6�W������C��'����$�"��a&�R���&�R�����B���������B��(�R�23�������B��,�R�  ����C��24����
��������s�8��6�W���������
25����9�6�+@����������������������{��C���������������������@�R�������������������������������������{A�����O���{��C����������h^�9��7@�_�AT_�Th@�_�T_��Ts@������q���{A��O¨�_��R�{A��O¨�_����  ���o���W��O��{�������������@�@����_9��������R��@��^����@9��R	j@T�@�@��@���������!�������>��������B�����B���@��^����@9��R	j@T�@�@��@���������!�������(�R�9��a������@��@����^�����*D��j(��b��@�A��#��?�9h�6�?@������"���������s@�h@���i@��^�����j(��B��a"�����������\�	�)@�)@�?��T���{C��OB��WA��oĨ�_�����������������������������������_��o���g��_��W��O��{��C����9@�8����x�:���z�`���@��&A���^�	h(��@��^��������F��Ȓ��&B��26��^�ik(��@����@��^��j(�(c����B��27�����@�A����o���<���<�R�z����{E��OD��WC��_B��gA��oƨ�_����"�������������������W���O��{��������@��@���^��*D�	h(��@�A����������^�9h�6`.@������"����`�����{B��OA��Wè�_��W���O��{������@�4�u@�����T28�bѿ��T���8���6��^�����`@�t�����{B��OA��Wè�_��{�������{��������O���{��C����R�������!@��B@�������������{������@�A���{���_��{�����R���!@��B@���{��������g���_��W��O��{����������Z@�Y���@��@��@���^�	h(��@��^��������F����Hc�h�y������2�������h@��^�`� @�2����{D��OC��WB��_A��gŨ�_���	��`�����������#����`�������O���{��C�����@��@���@��^�	h(�@���"����`������{A��O¨�_��W���O��{����������_X�hT�^9��}���T��}�!��29@�?]��������A���������������{B��OA��Wè����{��������O���{��C����R�������!@��B@�������������{������@�A���{���_�$$���$$r$$$$$$������"����"��"�$�!��!�0�!��!��!��!��!��!��!��!�� ��!��!�(�!��!��!��"��"� �!� $�!� $�!� �������8�p����|�����l����x��<$,��`����(��`��<$,-h--help--ids-m--modelError: -m or --model specified multiple times.30--no-bos--no-escape--no-parse-special-p--promptError: -p or --prompt specified multiple times.31-f--fileError: -f or --file specified multiple times.32--stdin--log-disable--show-countError: unknown option '%s'33Error: --model requires an argument.34Error: must specify --model.35Error: --file requires an argument.36Error: --prompt requires an argument.37Error: --stdin, --file and --prompt are mutually exclusive.38Error: must specify one of: --stdin, --file or --prompt.39/Users/kb7/Downloads/Quantization/llama.cpp/examples/tokenize/tokenize.cppGGML_ASSERT(%s) failedmodel_pathprompt_path || prompt_arg || stdin_setstdin_setError: could not load model from file '%s'.40Error: could not create context.41!prompt_path_set && !prompt_setError: could not read the entire standard input.42, %d%6d -> 'Total number of tokens: %zu43(unsigned int) argc == argv.size()vectorbasic_stringusage: %s [options]44 45%s: could not open file '%s' for reading: %s46read_prompt_from_file%s: could not read the entire file '%s': %s47%s]'The tokenize program tokenizes a prompt using a given model,and prints the resulting tokens to standard output.48It needs a model file, a prompt, and optionally other flagsto control the behavior of the tokenizer.49    The possible options are:    -h, --help                           print this help and exit    -m MODEL_PATH, --model MODEL_PATH    path to model.    --ids                                if given, only print numerical token IDs, and not token strings.                                         The output format looks like [1, 2, 3], i.e. parseable by Python.    -f PROMPT_FNAME, --file PROMPT_FNAME read prompt from a file.    -p PROMPT, --prompt PROMPT           read prompt from the argument.    --stdin                              read prompt from standard input.    --no-bos                             do not ever add a BOS token to the prompt, even if normally the model uses a BOS token.    --no-escape                          do not escape input (such as \n, \t, etc.).    --no-parse-special                   do not parse control tokens.    --log-disable                        disable logs. Makes stderr quiet when loading the model.    --show-count                         print the total number of tokens.DD�D�<�D|�TD�(,8D�d��p\l�PD��$�(0D�HX��,@PD��$��l��]�g-�b-��-x�-pilli]h{ld{]`U-T�-<\-8CL4C=(Q- �-��-�x-�p-xo-\}lX}]Db-<x-4p-(o-b-x-�w-�m-�n-�v-l}lh}]XlT],[-(CL$C=�-klk]|l|]j-�-��l��]�g-�b-��-��-�hl�h]�zl�z]�T-��-|[-xALtA=hy-d�-D�-4�-�x-�r-�t-��-��l��]|~lx~]`b-Xx-Lb-Dx-<r-��l��]�s-�v-t~lp~]P�lL�]$b-X-b-b-X-�Z-�b-�X-��-��l��]�x-�p-�o-t}lp}]lx-dr-Xt-P�-8�l4�]~l~]f-��-�>L�>=�<L�<=��-��-��l��]�q-�Y-l�-d=L`==X<LT<=L�-D�-<�l8�]W-��l��]�`-�R-��-T�-8�-,L(=$�- L=�-L=�-L=�-�L�=��-�L�=��-�L�=��-�
L�
=��-�L�=��-�L�=��-�50L�51=��-�	L�	=��-��-�L�=��-�L�=��-|Lx=t�-pLl=h�-dL`=\�-XLT=@b-8]-,b-$]-�-�b-�]-��-��-�Z-t�-l!Lh!=` L\ =X7LT7=L�-D!L@!=8 L4 =06L,6=$�- !L!= L =5L5=�4L�4=�_-�S-�Q-��-��-��-��-��-�3L�3=��-p�-Td-@�-(�-2L2=1L1=0L0=��-�/L�/=��-��-�-L�-=�.L�.=��-�-L�-=l�-Xc-0e-�-Z-�
�-�
f-�
�-�
,L�
,=�
�l�
�]�
�-�
+L�
+=�
�l�
�]�
Z-�
�-t
*Lp
*=h
�ld
�]D
q-,
ul(
u]$
Y-
�-��-��-��-h�-`�-\�-T)LP)=<l- (L(=�l�]��-�'-�&L�&=��l|�]L%LH%=@�l<�] �-$L$=�l�]�52#L�53#=�54�l�55�]�56�-�57"L�58"=�59�l�60�]|61�-t62!Lp63!=h64 Ld65 =`66L\67=68�-�	�-�	L�	=�	�l�	�]�	^-�	L�	=�	^-�	L|	=	^-	L	=d�-L�-@L<=0�l,�] ^-L=^-L=�L�=��l��]�^-�L�=lLh=\�lX�]�-�L�=��-�L�=��-�L�=��-�L�=��-�L�=��-�L�=��-�L�=��-�
L�
=��-�L�=��-�L�=��-�69L�70=|�-x	Lt	=p�-h�-dL`=\�-XLT=P�-LLH=D�-@L<=8�-4L0=,�-(L$=V-�L�=��-`-�-��-h�-��-��-��-`XP�@ �������`XP�@ �������xp�`XP�@ ����
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
������������������������������������������������������������������������������������������������������������������������ � � � � � � � � � � � � � � � � � �$�$�$�$�$�$�$�$�#�#�#�#�#�#�#�#�#�#�#�#�#�#�#�#�#�#�#�#�"�"�"�"�"�"�"�"�%�%�&�&�&�&�&�&�&�&�'�'�'�'�'�'�'�(�(�(�(�)�)�)�(�(�*�*�*�*�+�+�-�-�,�,�.�.�/�/�/�/�/�/�0�0�0�0�0�0�0�0�0�0�2�2�4�4�4�4�4�4�5�5��D��.�.
_ �� �� 7
!�8!nV!�!�
�!�
:"T
�"%
�"�/#wy#.�#�O$e�$�$V)v�^����L��
��
�z
@�B/�
zA
(�lNT���u71���'(�<����
q8n�[ �
t�
X �
] �}�
�]
�7
�Jq����|�72 w�$+ ����������g
����h73
��
K�
T�
`K
s_H%)��,��l~	���	�����P�0�H��,��d 	��O	�@l���74�<'����\v�	�	�v	�����S'5��\%Z��R��9����<�F�`!���3��Vb�z�v�h^75 �>��*��|___cxa_throw__ZSt9terminatev__ZdlPv__ZL23llama_log_callback_null14ggml_log_levelPKcPv__ZNSt3__18ios_base4initEPv__ZNKSt3__115basic_stringbufIcNS_11char_traitsIcEENS_9allocatorIcEEE3strEv__ZNSt3__19basic_iosIcNS_11char_traitsIcEEED2Ev__ZNSt3__114basic_iostreamIcNS_11char_traitsIcEEED2Ev__ZNSt3__113basic_istreamIcNS_11char_traitsIcEEED2Ev__ZNSt3__115basic_streambufIcNS_11char_traitsIcEEED2Ev__ZNSt3__115basic_streambufIcNS_11char_traitsIcEEEC2Ev__ZNSt12length_errorD1Ev__ZNSt20bad_array_new_lengthD1Ev__ZNSt12out_of_rangeD1Ev__ZNSt3__114basic_ifstreamIcNS_11char_traitsIcEEED1Ev__ZNSt3__113basic_filebufIcNS_11char_traitsIcEEED1Ev__ZNSt3__118basic_stringstreamIcNS_11char_traitsIcEENS_9allocatorIcEEED1Ev__ZNSt20bad_array_new_lengthC1Ev__ZNSt3__113basic_filebufIcNS_11char_traitsIcEEEC1Ev__ZNKSt3__112basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEE20__throw_length_errorB8ne180100Ev__ZNKSt3__16vectorINS_12basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEEENS4_IS6_EEE20__throw_length_errorB8ne180100Ev__ZNKSt3__112basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEE20__throw_out_of_rangeB8ne180100Ev__ZNSt3__16vectorINS_12basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEEENS4_IS6_EEED1B8ne180100Ev__ZNSt3__118basic_stringstreamIcNS_11char_traitsIcEENS_9allocatorIcEEEC1B8ne180100Ev__ZSt28__throw_bad_array_new_lengthB8ne180100v_ggml_abort_llama_backend_init_llama_log_set_puts_llama_vocab_get_add_bos_llama_context_default_params_llama_model_default_paramsl_strl_.str_strerror__ZTVSt12length_error__ZTISt12length_error___error_putchar___stderrp_memcmp___cxa_allocate_exception___cxa_free_exception_main_strlen__Znwm__ZNSt3__112basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEE25__init_copy_ctor_externalEPKcm___stack_chk_fail_llama_init_from_model__ZNSt3__113basic_filebufIcNS_11char_traitsIcEEE4openEPKcj__ZNSt3__114basic_ifstreamIcNS_11char_traitsIcEEEC1EPKcj__ZNSt3__18ios_base5clearEj__ZTISt20bad_array_new_length___cxa_begin_catch_fprintf_printf_memmove_fwrite___clang_call_terminate__Unwind_Resume_llama_model_load_from_file__ZTVSt12out_of_range__ZTISt12out_of_range_llama_model_free_llama_free___stack_chk_guard__ZL23print_usage_informationPKc__ZNSt3__112basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEE6assignEPKc__ZNSt11logic_errorC2EPKc__ZNSt3__120__throw_length_errorB8ne180100EPKc__ZNSt3__120__throw_out_of_rangeB8ne180100EPKc__ZNSt12length_errorC1B8ne180100EPKc__ZNSt12out_of_rangeC1B8ne180100EPKc__Z21common_token_to_piecePK13llama_contextib__Z15common_tokenizePK11llama_vocabRKNSt3__112basic_stringIcNS2_11char_traitsIcEENS2_9allocatorIcEEEEbb_llama_model_get_vocab__ZL21read_prompt_from_filePKcRbl___func__._ZL21read_prompt_from_filePKcRb__ZNSt3__1eqB8ne180100IcNS_11char_traitsIcEENS_9allocatorIcEEEEbRKNS_12basic_stringIT_T0_T1_EEPKS6___ZNSt3__13cinE__ZNSt3__113basic_ostreamIcNS_11char_traitsIcEEElsEPNS_15basic_streambufIcS2_EE__ZTVNSt3__114basic_ifstreamIcNS_11char_traitsIcEEEE__ZTTNSt3__114basic_ifstreamIcNS_11char_traitsIcEEEE__ZTVNSt3__118basic_stringstreamIcNS_11char_traitsIcEENS_9allocatorIcEEEE__ZTTNSt3__118basic_stringstreamIcNS_11char_traitsIcEENS_9allocatorIcEEEE__Z22string_process_escapesRNSt3__112basic_stringIcNS_11char_traitsIcEENS_9allocatorIcEEEE__ZTVNSt3__115basic_stringbufIcNS_11char_traitsIcEENS_9allocatorIcEEEEl_str.79l_str.69l_.str.29l_.str.19l_.str.9l_str.78l_.str.28GCC_except_table18l_.str.18l_.str.8l_str.77l_str.67l_.str.37l_.str.27l_.str.17l_.str.7l_str.76l_.str.66l_.str.36l_.str.26l_.str.16l_.str.6GCC_except_table5l_str.85l_str.75l_.str.65l_.str.45l_.str.35l_.str.25l_.str.15l_.str.5ltmp4l_str.84l_str.74l_.str.64l_.str.44l_.str.24GCC_except_table14l_.str.14l_.str.4ltmp3GCC_except_table3l_str.83l_str.73l_.str.43l_.str.33l_.str.23l_.str.13l_.str.3ltmp2GCC_except_table2l_str.82l_str.72l_.str.42l_.str.32l_.str.22l_.str.12l_.str.2ltmp1l_str.81l_str.71l_.str.41l_.str.31l_.str.21l_.str.11l_.str.1___gxx_personality_v0ltmp0GCC_except_table0lJTI0_0l_str.80l_str.70l_.str.30l_.str.20GCC_except_table10l_.str.10