Решение проблем с CallerID в кодировке UTF-8 у Fanvil X4

Проблема 1 — неправильно обрезаются некоторые CallerID в кодировке UTF-8 при входящем вызове

 
Проблема проявляется, вероятно, из-за того, что Fanvil обрезает CallerID по количеству байт, а не по количеству символов UTF-8. Т.к. для кодирования буквы кириллицы в UTF-8 используется два байта, в конце обрезанной строки может остаться один байт, являющийся половиной символа UTF-8. Пример проявления проблемы:

INVITE, отправленный на телефон, выглядит следующим образом:

INVITE sip:[email protected]:5060 SIP/2.0
Via: SIP/2.0/UDP 192.168.170.110:5060;branch=z9hG4bK4e8cab28;rport
Max-Forwards: 70
From: «Иванов Иван Михайлович» <sip:[email protected]>;tag=as7481772f
To: <sip:[email protected]:5060>
Contact: <sip:[email protected]:5060>
Call-ID: [email protected]:5060
CSeq: 102 INVITE
User-Agent: Asterisk
Date: Thu, 29 Jun 2017 13:05:01 GMT
Allow: INVITE, ACK, CANCEL, OPTIONS, BYE, REFER, SUBSCRIBE, NOTIFY, INFO, PUBLISH, MESSAGE
Supported: replaces, timer
P-Asserted-Identity: «Иванов Иван Михайлович» <sip:[email protected]>
Content-Type: application/sdp
Content-Length: 226
 
v=0
o=root 968522904 968522904 IN IP4 192.168.170.110
s=pbx185
c=IN IP4 192.168.170.110
t=0 0
m=audio 38912 RTP/AVP 8 101
a=rtpmap:8 PCMA/8000
a=rtpmap:101 telephone-event/8000
a=fmtp:101 0-16
a=ptime:20
a=sendrecv

Чёрный квадрат в конце строки появляется не всегда, может появиться другой символ, всё зависит от буквы, на которой произошло отсечение (многие значения Fanvil X4 обрезает без добавления посторонних символов).

Экспериментально определено, что для избежания этой проблемы нужно обрезать текстовую часть CallerID до 29 байт. Обрезать средствами диалплана Asterisk не получится, т.к. он тоже может обрезать только по количеству байт, нужно воспользоваться каким-либо скриптовым языком, поддерживающим работу с UTF-8. Ниже приведено решение проблемы с помощью AGI-скрипта на perl.

Код AGI-скрипта cut_callerid.pl:

#!/usr/bin/perl
 
use strict;
use warnings;
use utf8;
 
use Asterisk::AGI;
use I18N::Langinfo qw(langinfo CODESET);
use Encode qw(decode encode);
 
my $agi = new Asterisk::AGI;
my $use_agi = 1;
 
my $codeset = langinfo(CODESET);
my ($var,$len,$mode);
if($use_agi) {
        $var = decode($codeset,$ARGV[0]);
        $len = decode($codeset,$ARGV[1]);
        $mode = decode($codeset,$ARGV[2]);
} else {
        $var = decode($codeset,$ARGV[0]);
        $len = decode($codeset,$ARGV[1]);
        $mode = decode($codeset,$ARGV[2]);
}
 
unless(defined $var and $var ne ») { exit 1 }
unless(defined $len and $len =~ /^d+$/) { exit 1 }
unless(defined $mode and $mode ne ») { $mode = ‘chars’ }
unless($mode eq ‘chars’ or $mode eq ‘bytes’) { exit 1 }
 
my $value;
if($use_agi) {
        $value = $agi->get_variable($var);
        unless(defined $value) { exit 1 }
        $value = decode($codeset,$value);
} else {
        $value = $var;
}
my $cur_len;
if($mode eq ‘chars’) {
        $cur_len = length($value);
} else {
        $cur_len = do { use bytes; length($value) };
}
unless($use_agi) {
        print $cur_len.»n»;
}
 
if($cur_len > $len) {
        my $new_value = »;
        if($value =~ /^([A-ZА-ЯЁ][^s]*)(s+([A-ZА-ЯЁ])[^s]*)?(s+([A-ZА-ЯЁ])[^s]*)?$/) {
                $new_value = $1;
                if(defined $3) {
                        $new_value .= ‘ ‘.$3;
                }
                if(defined $5) {
                        $new_value .= ‘ ‘.$5;
                }
                
                if($mode eq ‘chars’) {
                        $cur_len = length($new_value);
                } else {
                        $cur_len = do { use bytes; length($new_value) };
                }
                
                if($cur_len > $len) {
                        if($mode eq ‘chars’) {
                                $new_value = substr($value,0,$len);
                        } else {
                                $new_value = »;
                                foreach my $char ( split(//,$value) ) {
                                        my $new_len = do { use bytes; length($new_value) };
                                        my $char_len = do { use bytes; length($char) };
                                        if($new_len + $char_len > $len) { last }
                                        $new_value .= $char;
                                }
                        }
                }
        } else {
                if($mode eq ‘chars’) {
                        $new_value = substr($value,0,$len);
                } else {
                        $new_value = »;
                        foreach my $char ( split(//,$value) ) {
                                my $new_len = do { use bytes; length($new_value) };
                                my $char_len = do { use bytes; length($char) };
                                if($new_len + $char_len > $len) { last }
                                $new_value .= $char;
                        }
                }
        }
        if($use_agi) {
                $agi->set_variable($var,encode($codeset,$new_value));
        } else {
                print encode($codeset,$new_value).»n»;
        }
}

Скрипт нужно сохранить в директории для AGI-скриптов (обычно /var/lib/asterisk/agi-bin) и сделать исполнимым.

Для работы скрипта требуются perl-модули Asterisk::AGI и Encode, их можно установить из CPAN:

cpan App::cpanminus #принимаем параметры по умолчанию, если это первый запуск cpan
cpanm Asterisk::AGI Encode

Скрипт принимает три параметра:
1. имя переменной диалплана, которую нужно обрезать
2. длина, до которой нужно обрезать переменную.
3. единица измерения длины (chars — символы, bytes — байты, по умолчанию — chars)
Если длина значения переменной диалплана больше заданной и переменная содержит от одного до трёх слов с заглавной буквы, скрипт сокращает все слова кроме первого до их первой буквы. Если полученное значение всё ещё больше заданной длины или значение переменной не подходит под описанный шаблон, скрипт обрежет переменную, соблюдая при этом целостность символов UTF-8. Чтобы обрезать текстовую часть CallerID до 29 байт нужно вызвать AGI-скрипт следующим образом:

exten => s,n,AGI(cut_callerid.pl,CALLERID(name),29,bytes)

В FreePBX 13 можно делать вызов скрипта в контексте macro-dialout-one-predial-hook, контекст нужно описать в файле extensions_override_freepbx.conf. В примере ниже скрипт cut_callerid.pl вызывается только в том случае, когда useragent вызываемой стороны начинается с «Fanvil»

[macro-dialout-one-predial-hook]
exten => s,1,Set(CALLEE_USERAGENT=${SIPPEER(${DEXTEN},useragent)})
same  => n,ExecIf(${REGEX(«^Fanvil» ${CALLEE_USERAGENT})}?AGI(cut_callerid.pl,CALLERID(name),29,bytes))
same  => n,MacroExit

 
Результат работы скрипта:

Проблема 2 — неправильно обрезаются некоторые значения в кодировке UTF-8, переданные в полях P-Asserted-Identity или Remote-Party-ID

Если для номера, настроенного на Fanvil (в данном примере 450), установить в настройках Asterisk опцию sendrpid так

sendrpid=pai

или так

sendrpid=yes

то при звонке с Fanvil на номер 201 мы увидим следующее:

Некоторые значения в кодировке UTF-8, передаваемые в полях P-Asserted-Identity и Remote-Party-ID, Fanvil X4 тоже обрезает неправильно. В отличие от CallerID, это значение нужно обрезать до 39 байт, а не до 29.

В FreePBX 13 можно добавить правку значения CONNECTEDLINE(name) в контекст macro-dialout-one-predial-hook (в том случае, когда useragent звонящего начинается с «Fanvil»):

[macro-dialout-one-predial-hook]
exten => s,1,Set(CALLEE_USERAGENT=${SIPPEER(${DEXTEN},useragent)})
same  => n,ExecIf(${REGEX(«^Fanvil» ${CALLEE_USERAGENT})}?AGI(cut_callerid.pl,CALLERID(name),29,bytes))
same  => n,Set(CALLER_USERAGENT=${SIPPEER(${AMPUSER},useragent)})
same  => n,ExecIf(${REGEX(«^Fanvil» ${CALLER_USERAGENT})}?AGI(cut_callerid.pl,CONNECTEDLINE(name),39,bytes))
same  => n,MacroExit 

Результат работы скрипта:

Проблема 3 — если в файле настроек установить Display_Name длиной ровно 40 байт, Fanvil X4 не проходит SIP-регистрацию.

Данная проблема имеет косвенное отношение к теме статьи, но о ней весьма полезно знать, если собираетесь использовать провижининг для настройки телефонов Fanvil X4.
Если в файле настроек установить Display_Name длиной ровно 40 байт (не важно, используются символы, занимающие более одного байта, или нет), после применения настроек из файла окажется, что телефон не пытается регистрироваться по SIP. Если зайти в настройки линии через web-интерфейс, там будет следующее:

Статус линии — «System Error», пустое имя пользователя.

Данная проблема проявляется только при использовании файла настроек, если вводить значение через форму в web-интерфейсе, значение будет обрезано. Ниже приведён пример файла настроек, который вызывает указанную проблему:

<?xml version=»1.0″ encoding=»UTF-8″?>
<VOIP_CONFIG_FILE>
<version></version>
<AUTOUPDATE_CONFIG_MODULE>
<Download_Username></Download_Username>
<Download_Password></Download_Password>
<Download_Server_IP>192.168.170.110</Download_Server_IP>
<Config_File_Name></Config_File_Name>
<Config_File_Key></Config_File_Key>
<Common_Cfg_File_Key></Common_Cfg_File_Key>
<Download_Protocol>2</Download_Protocol>
<Download_Mode>1</Download_Mode>
<Download_Interval>1</Download_Interval>
<DHCP_Option>66</DHCP_Option>
<PNP_Enable>0</PNP_Enable>
<Save_Provision_Info>0</Save_Provision_Info>
</AUTOUPDATE_CONFIG_MODULE>
 
<GLOBAL_CONFIG_MODULE>
<SNTP_Server>192.168.170.110</SNTP_Server>
<Second_SNTP_Server></Second_SNTP_Server>
<Enable_SNTP>1</Enable_SNTP>
<Time_Zone>12</Time_Zone>
<Time_Zone_Name>UCT+3</Time_Zone_Name>
<Enable_DST>0</Enable_DST>
<SNTP_Timeout>60</SNTP_Timeout>
</GLOBAL_CONFIG_MODULE>
 
<SIP_CONFIG_MODULE>
<MWI_Num>*97</MWI_Num>
<SIP_Line_List>
<SIP_Line_List_Entry>
<ID>SIP1</ID>
<Phone_Number>450</Phone_Number>
<Display_Name>450</Display_Name>
<Register_Addr>192.168.170.110</Register_Addr>
<Register_Port>5060</Register_Port>
<Register_User>450</Register_User>
<Register_Pswd>450_test_secret</Register_Pswd>
<Register_TTL>300</Register_TTL>
<Enable_Reg>1</Enable_Reg>
<Proxy_Addr>192.168.170.110</Proxy_Addr>
<Proxy_Port>5060</Proxy_Port>
<Proxy_User>450</Proxy_User>
<Proxy_Pswd>450_test_secret</Proxy_Pswd>
<MWI_Num>*97</MWI_Num>
<DTMF_Mode>1</DTMF_Mode>
</SIP_Line_List_Entry>
 
<SIP_Line_List_Entry>
<ID>SIP2</ID>
<Phone_Number></Phone_Number>
<Display_Name>ТестТестТестТестТест</Display_Name>
<Register_Addr></Register_Addr>
<Register_Port>5060</Register_Port>
<Register_User></Register_User>
<Register_Pswd></Register_Pswd>
<Register_TTL>300</Register_TTL>
<Enable_Reg>0</Enable_Reg>
<Proxy_Addr></Proxy_Addr>
<Proxy_Port>5060</Proxy_Port>
<Proxy_User></Proxy_User>
<Proxy_Pswd></Proxy_Pswd>
<MWI_Num>*97</MWI_Num>
<DTMF_Mode>1</DTMF_Mode>
</SIP_Line_List_Entry>
</SIP_Line_List>
</SIP_CONFIG_MODULE>
 
<MCAST_CFG_MODULE>
<Priority>-1</Priority>
</MCAST_CFG_MODULE>
 
<MMI_CONFIG_MODULE>
<Web_Port>80</Web_Port>
<Web_Server_Type>0</Web_Server_Type>
<Https_Web_Port>443</Https_Web_Port>
<Remote_Control>1</Remote_Control>
<Enable_MMI_Filter>0</Enable_MMI_Filter>
<Telnet_Prompt></Telnet_Prompt>
<MMI_Account>
<MMI_Account_Entry>
<ID>Account1</ID>
<Name>admin</Name>
<Password>admin_secret</Password>
<Level>10</Level>
</MMI_Account_Entry>
<MMI_Account_Entry>
<ID>Account2</ID>
<Name>guest</Name>
<Password>guest_secret</Password>
<Level>5</Level>
</MMI_Account_Entry>
</MMI_Account>
</MMI_CONFIG_MODULE>
 
<QOS_CONFIG_MODULE>
<LLDP_Transmit>0</LLDP_Transmit>
<LLDP_Learn_Policy>0</LLDP_Learn_Policy>
</QOS_CONFIG_MODULE>
 
<PHONE_CONFIG_MODULE>
<Display_PhoneNum>1</Display_PhoneNum>
<Keypad_Password>123</Keypad_Password>
<LCD_Title>450</LCD_Title>
</PHONE_CONFIG_MODULE>
 
</VOIP_CONFIG_FILE>

Если указать для параметра Display_Name значение длиннее 40 байт, то телефон будет работать нормально, но параметр display name будет пустым (в качестве display name будет использоваться номер телефона). В общем, если требуется использовать параметр display name, указывайте значение не длиннее 39 байт.