Как читать характеристики систем отслеживания

В коммерческом предложении написано: «точность 10 см». Это не характеристика системы. Это обрывок фразы, у которой должно быть продолжение.

Полная фраза звучит примерно так: ошибка не превышает десяти сантиметров в половине измерений при прямой видимости не менее трёх анкеров на расстоянии до пятнадцати метров, при метке, закреплённой на высоте полутора метров и не экранированной телом, при скорости перемещения до полутора метров в секунду и частоте обновления десять герц. Уберите любое из этих условий — и число изменится, иногда в десять раз.

Разница между двумя формулировками не академическая. Первую нельзя проверить, а значит, нельзя записать в договор. Вторую можно и нужно: по ней проводится приёмка, и по ней же определяется, кто виноват, если система в субботу вечером показывает гостя в бассейне, когда он в баре.

Эта статья — про то, как читать такие цифры. Она скучнее остальных в серии и полезнее остальных: один раз прочитав её, вы перестанете сравнивать несравнимое и начнёте задавать поставщикам вопросы, на которые у добросовестного поставщика есть ответы, а у остальных — нет.

Что такое ошибка и почему одной цифры недостаточно

Ошибка одного измерения — расстояние между точкой, которую выдала система, и точкой, где объект был на самом деле. Измерений много, ошибки у них разные, и вся содержательная информация находится не в одном числе, а в их распределении.

Распределение описывают несколькими метриками, и они дают очень разные ответы на одном и том же наборе данных.

Средняя ошибка. Самая популярная в презентациях и самая бесполезная. Один выброс в тридцать метров портит сотню хороших измерений, и наоборот: если выбросы редки, средняя выглядит прилично при совершенно неприемлемом поведении системы в худших случаях. Авторы обзора недорогих систем позиционирования прямо отмечают, что точность чаще всего либо не указывается вовсе, либо указывается именно как средняя, и что для практических применений важны хвостовые процентили.

Медианная ошибка, или CEP50. Круговая вероятная ошибка: радиус круга, в который попадает половина измерений. Это и есть та цифра, которую вендоры называют «точностью». Она честная ровно в одном смысле: половину времени система работает не хуже. Что происходит во вторую половину — она не говорит.

CEP95 — 95-й процентиль. Радиус, в который попадают девяносто пять измерений из ста. Это рабочая характеристика для любой задачи, где важны не средние ощущения, а худший разумный случай. Разница между CEP50 и CEP95 у одной системы бывает четырёхкратной, и именно она показывает, насколько система устойчива.

RMSE. Среднеквадратичная ошибка, чувствительная к выбросам сильнее средней. Используется в научных работах, в коммерческих предложениях почти не встречается.

Максимальная ошибка. Нужна в задачах безопасности: если система раз в час показывает человека в другом помещении, тревогу по ней строить нельзя.

Простой пример, почему это не придирки. Система с CEP50 = 0,3 м и CEP95 = 4 м годится для тепловой карты и не годится для контроля вместимости парной: пять процентов времени гость будет «не в той комнате». Система с CEP50 = 1,2 м и CEP95 = 1,8 м формально «в четыре раза хуже» по рекламной цифре, а для зональной задачи она лучше — она предсказуема.

Смещение и разброс — разные болезни

Два разных дефекта, которые дают одинаковую ошибку в отчёте и лечатся совершенно по-разному.

Систематическое смещение: все измерения сдвинуты в одну сторону на сорок сантиметров. Причины — ошибка в координатах анкеров, неучтённая высота, неверная задержка в антенном тракте, расхождение плана и реальной геометрии здания. Лечится калибровкой и стоит один выезд инженера.

Разброс: измерения рассыпаны вокруг истинной точки. Причины физические — многолучёвость, шум, геометрия. Калибровкой не лечится: лечится добавлением анкеров, сменой их расположения, фильтрацией или сменой технологии.

При приёмке это стоит разделять: если на всех контрольных точках ошибка одинаково направлена, систему не нужно менять, её нужно настроить.

Горизонтально, вертикально, по этажам

CEP — ошибка в горизонтальной плоскости. Вертикальная (VEP) и сферическая (SEP) — отдельные метрики, и в многоэтажном объекте важнее горизонтальной: ошибка в два метра по вертикали означает, что гость оказался на другом этаже, то есть в другой зоне и в другой строке отчёта. Если у вас два уровня — терраса над бассейном, антресоль с тренажёрами, второй этаж с кабинетами, — вопрос «какая у вас вертикальная точность и как система определяет этаж» нужно задавать отдельно. Часто выясняется, что этаж определяется не по геометрии, а по тому, какие анкеры слышно, и на лестнице система гадает.

Что на эту тему говорят стандарты

Тема нормирована, и это удобно: можно ссылаться не на мнение, а на документ.

ISO/IEC 18305:2016 — стандарт испытаний и оценки систем локализации и слежения. Его логика важна для заказчика:

• система тестируется как чёрный ящик, целиком, без разбора внутреннего устройства — то есть проверяется результат, а не архитектура, которую вам нарисовали в презентации;
• испытания проводятся по всему зданию, а не на удобном участке;
• базовые индикаторы точности — ошибки с вероятностью 50 % и 95 % (CEP50 и CEP95) и функции распределения ошибки;
• кроме точности нормированы покрытие, доступность и задержка;
• для критичных применений предусмотрены дополнительные характеристики — устойчивость и восприимчивость к помехам;
• в стандарте описаны четырнадцать типовых сценариев испытаний, собранных из типов зданий, видов объектов и режимов движения.

У стандарта есть содержательная критика: в работе, представленной на конференции IPIN, авторы указывают на ограничения методики и предлагают приводить не два процентиля, а четыре — 50, 75, 90 и 95. NIST, со своей стороны, ведёт работу по ревизии стандарта. Для практики это означает, что ссылаться на 18305 как на обязательный регламент нельзя, а как на опорную методику для протокола приёмки — вполне, и грамотный поставщик её знает.

Второй полезный документ — семейство ISO/IEC 24730, описывающее RTLS. В нём точность разведена на два класса, и это очень близко к тому, как задачи делятся в жизни: контролируемая территория — склад, кампус, аэропорт — с точностью до трёх метров, и ограниченная оснащённая зона с точностью до десятков сантиметров. Если ваш поставщик обещает десятки сантиметров на всей площади комплекса, он обещает второй класс там, где стандарт предполагает первый, и это повод попросить расчёт плотности анкеров.

Что портит точность на реальном объекте

Полигонные цифры не переносятся на объект по причинам, которые стоит знать по именам: тогда в разговоре с поставщиком видно, учёл он их или нет.

Прямая видимость и её отсутствие

Радиосистемы измеряют время прохождения сигнала и пересчитывают его в расстояние. Если между меткой и приёмником препятствие, сигнал проходит медленнее и по более длинному пути, и система считает расстояние больше реального. Это не шум, а именно систематическое завышение — ошибка всегда в одну сторону.

UWB из-за короткого импульса различает первый пришедший луч и отражения, поэтому переносит отсутствие прямой видимости лучше остальных радиотехнологий. Но и у него деревянная дверь, стеклоблок или человеческое тело добавляют десятки сантиметров, а бетонная стена ломает измерение полностью.

Для Bluetooth разница между прямой видимостью и её отсутствием самая драматическая: в демонстрациях фазового измерения дистанции (Channel Sounding) по открытым данным получается 10–30 см в прямой видимости и 0,5–1 м в загромождённом помещении.

Многолучёвость, и почему мокрая зона — худший случай

Сигнал приходит к приёмнику не одним путём, а веером отражений. В термальном комплексе отражает всё: кафельная плитка, стекло, зеркала, вода, металлические поручни, нержавеющие поверхности. Это та же комната, в которой человеческий голос гудит, — акустика и радио страдают по одной причине.

Практический вывод: цифры точности, полученные в офисе или на складе, в мокрой зоне не действуют. Пилот в вашем помещении — не формальность, а единственный способ узнать реальные числа.

Тело человека

Метка на госте — это метка, половину направлений вокруг которой закрывает тело. Вода поглощает 2,4 ГГц, человек состоит в основном из воды, и браслет на дальней от приёмника стороне руки теряет сигнал на порядок.

Из этого следуют два неочевидных эффекта. Первый: точность зависит от того, как гость повернулся, то есть меняется без всякой причины со стороны системы. Второй: ошибка коррелирует с положением тела, и усреднение по множеству гостей её не убирает. Для фазовых измерений Bluetooth это настолько существенно, что появились работы о коррекции ошибки по данным инерциальных датчиков — то есть система пытается понять, как метка повёрнута, чтобы скорректировать дистанцию. Силиконовый браслет, прижатый к мокрому телу в бассейне, — это худшая из возможных монтажных позиций для радиометки, и это нужно знать до покупки, а не после.

Геометрия расстановки

Точность зависит не только от числа приёмников, но и от того, как они расположены относительно объекта. Если анкеры выстроены в линию вдоль одной стены, система хорошо определяет положение вдоль линии и плохо — поперёк: ошибка по одной оси может быть в разы больше, чем по другой. То же самое происходит в узком коридоре и вдоль длинной чаши бассейна.

В спутниковой навигации для этого есть понятие геометрического фактора; в проектах позиционирования в помещении его обычно не считают, а зря. Признак того, что поставщик об этом думает: он просит план с высотами, спрашивает про материал перегородок и предлагает расстановку, а не «один датчик на двести метров по площади».

Люди в кадре и в эфире

Загруженность объекта влияет на все технологии, но по-разному:

• для радио толпа — набор мешков с водой, экранирующих сигнал, то есть прямая деградация точности именно в час пик;
• для видео главный враг — перекрытия: люди заходят друг за друга, трек рвётся, идентификатор перескакивает (в видеоаналитике это измеряется отдельной метрикой, см. статью про камеры и ИИ);
• для счётчиков на входе — плотный поток плечом к плечу, когда два человека читаются как один.

Отсюда простое требование к пилоту: замер в час пик обязателен. Система, протестированная в пустом зале, протестирована в условиях, которые вас не интересуют.

Температура, влажность, конденсат

В парной 90 °C и 100 % влажности, снаружи у чаши брызги и хлор, в раздевалке пар. Это влияет на электронику, на оптику (запотевание и появление пятен на объективе) и на долговечность. Исполнение по IP — первая строка, которую нужно смотреть в спецификации любого датчика для мокрой зоны, а срок службы в таких условиях — вторая.

Скорость и фильтры

Система не выдаёт измерения напрямую: она сглаживает их фильтром, обычно калмановского семейства. Фильтр убирает дрожание и ценой этого вводит отставание: при резкой смене направления трек «догоняет» человека. Поэтому гладкая красивая траектория в демонстрационном ролике — не обязательно признак точности; иногда это признак сильного сглаживания, которое на бегущем ребёнке будет давать срез углов и запаздывание.

Для задач аналитики это не важно. Для сценарного эффекта, срабатывающего при входе гостя в зону, — важно критически.

Частота обновления и задержка — разные вещи

Две характеристики, которые в предложениях обычно сливают в одну.

Частота обновления — сколько раз в секунду появляется новая координата. Задержка — сколько времени проходит от момента, когда объект находился в точке, до момента, когда об этом узнала ваша система. Вторая складывается из трёх частей:

1. радиоканал: когда у метки следующий слот на передачу (у систем с расписанием это десятки и сотни миллисекунд);
2. обработка: расчёт координаты и фильтрация;
3. транспорт и интеграция: сервер, очередь, запись в базу, вызов внешнего API, отрисовка на экране оператора.

Третья часть в проектах обычно самая большая и единственная, о которой поставщик позиционирования не отвечает. Если тревога доходит до смарт-часов спасателя через восемь секунд, из которых позиционирование занимает двести миллисекунд, — проблема не в датчиках.

Ориентиры по задачам:

Задача	Частота	Допустимая задержка
Тепловая карта, отчёты	Раз в 10–30 с	Минуты и часы
Загрузка зон, присутствие	0,5–1 Гц	Секунды
Контроль вместимости, тревога по зоне	1–2 Гц	1–3 с
Безопасность персонала, сближение с техникой	2–10 Гц	Менее секунды
Сценарный эффект в шоу	10 Гц и выше	Десятки миллисекунд

Правильный вопрос поставщику звучит так: какова задержка по 95-му процентилю от физического перемещения до события в нашей системе, и как она измерялась. Ответ «обновление десять раз в секунду» на этот вопрос не отвечает.

Ёмкость: что будет в субботу вечером

Характеристика, которую почти никогда не проверяют на пилоте и которая чаще всего ломает проект при вводе в эксплуатацию.

Радиоканал — общий ресурс. Чем больше меток в зоне действия одного приёмника, тем меньше эфира достаётся каждой. У систем с расписанием передач частота обновления падает пропорционально числу меток: сто меток по десять герц и тысяча меток по одному герцу — это один и тот же канал. У RFID есть процедуры антиколлизии, и в плотном потоке на входной группе часть меток читается со второй попытки или не читается вовсе. У Bluetooth при большом числе передатчиков растёт доля коллизий в эфире.

Что из этого следует для аквапарка на две тысячи гостей или термального комплекса на восемьсот: цифры из пилота на десяти метках не имеют отношения к реальности. Спрашивать нужно так:

• сколько меток одновременно обслуживает одна ячейка при заявленной частоте обновления;
• что происходит с частотой обновления при увеличении числа меток втрое;
• как ведёт себя входная группа, когда через турникет за минуту проходит пятьдесят человек;
• есть ли у вас объект с сопоставимым числом меток и можно ли с ним связаться.

Батарея, срок службы и кто меняет

Треугольник, из которого нельзя выпрыгнуть: батарея, частота обновления, срок службы. Любые два параметра задаются свободно, третий получается.

Порядки по открытым данным: трекеры LoRaWAN с редкими отчётами заявляют от пятнадцати месяцев до нескольких лет (например, Tektelic указывает пятнадцать месяцев для промышленного носимого устройства, Milesight для своего наружного трекера заявляет более пятнадцати лет при редкой отчётности). Активная метка UWB, работающая несколько раз в секунду, живёт неделями и месяцами. Пассивная метка RFID не имеет батареи вообще и живёт столько, сколько живёт браслет, — но она и не даёт непрерывного трека, только отметки на точках чтения.

Отдельный вопрос, который решает судьбу проекта на третий год: кто обслуживает парк меток. Полторы тысячи браслетов с батарейками — это регламент замены, склад, человек с обязанностью и статистика отказов. В проектах с активными метками на гостях это обычно выясняется после первого сезона, когда треть меток перестаёт выходить в эфир и данные тихо деградируют.

Для объектов с гостевыми браслетами из этого следует практический вывод: старайтесь, чтобы носимое гостем было пассивным или максимально простым, а всё сложное и питаемое вешайте на потолок, где есть PoE.

Идентичность как характеристика, а не как побочный эффект

У системы есть не только пространственная разрешающая способность, но и разрешающая способность по личности, и её тоже надо описывать явно:

• обезличенный счёт — система знает число и не различает людей;
• анонимный идентификатор на визит — различает объекты в пределах визита, после выхода связь теряется (это оптимальный режим для аналитики маршрутов);
• стабильный идентификатор — браслет, карта, аккаунт в приложении: гость узнаваем между визитами;
• привязка к личности — связка с ФИО, договором, абонементом;
• биометрия — отдельный и самый жёсткий правовой режим.

Ошибка проектирования, которую видно сразу: взять стабильный идентификатор там, где достаточно анонимного на визит. Это ничего не добавляет к аналитике и переводит проект в другой правовой режим. Подробно — в статье про закон.

И обратная сторона, о которой поставщики не говорят: обезличенность бывает неустойчивой. Рандомизированные MAC-адреса смартфонов восстанавливаются алгоритмами кластеризации с высокой долей успеха в лабораторных условиях, а у радиометок есть собственные особенности передатчика, по которым их можно отличать друг от друга независимо от идентификатора. Если вы декларируете гостям обезличенность, нужно убедиться, что система действительно не восстанавливает связность, а не только не записывает её в поле базы.

Покрытие, доступность и дрейф

Три характеристики, которые не попадают в предложения вообще.

Покрытие — доля площади, где достигается заявленная точность. Не «мы покрыли комплекс», а «в зонах A, B, C достигается CEP95 ≤ 1,5 м, в зоне D — ≤ 4 м, в технических помещениях покрытия нет». Такая формулировка позволяет не спорить потом.

Доступность — доля времени, когда система работает. Сюда входят падения сервера, обрывы сети, отказы датчиков и, главное, вопрос: как вы узнаете, что один из сорока датчиков умер. Правильный ответ — система сама сообщает о молчащем датчике; неправильный — «увидим по данным», потому что по данным это видно через неделю, и неделя статистики уже испорчена.

Дрейф. Точность деградирует со временем: кто-то повесил рекламную конструкцию, переставили шкафы, добавили металлический стеллаж, сдвинули анкер при покраске потолка. Системы, основанные на радиокарте (фингерпринт), деградируют быстрее всех: радиокарта устаревает от перестановки мебели. Отсюда требование: повторный контрольный замер через три-шесть месяцев после приёмки, зафиксированный в договоре на обслуживание.

Протокол приёмочного замера: как это записать в договор

Дальше — то, что стоит включить в техническое задание и в акт. Этот раздел можно использовать как шаблон.

1. Эталон. Сетка контрольных точек, нанесённая на план объекта и физически размеченная на полу (малярный скотч, наклейки). Координаты точек измерены лазерным дальномером от конструктивных элементов. Для динамических трасс — размеченный маршрут с отметками и запись движения на видео с видимыми часами, по которым потом сопоставляются таймкоды. В научных работах эталоном служит система захвата движения, но для объекта достаточно аккуратной разметки при условии, что её погрешность хотя бы в три раза меньше проверяемой.

2. Контрольные точки. Не менее двадцати на зону, с обязательным включением: центра зоны, точек у стен и в углах, прохода между зонами, точки за препятствием, точки под металлической конструкцией, точки на границе покрытия. Минимум по две точки на каждую проблемную особенность объекта.

3. Статика и динамика. На каждой точке — не менее тридцати последовательных измерений в статике. Трассы — не менее трёх проходов в каждом направлении, шагом и быстрым шагом.

4. Условия замера. Фиксируются обязательно: пустой объект и час пик с указанием числа людей; метка на теле в рабочем положении, а не в руке; для мокрых зон — при работающем оборудовании (пар, фонтаны, волна).

5. Что фиксируется в протоколе:

Показатель	Как считается	Пример критерия приёмки
CEP50, CEP95 по каждой зоне	По набору измерений в статике	CEP95 ≤ 1,5 м в зонах A–C
Доля неверной зоны	Процент измерений, отнесённых не к той зоне	Не более 2 %
Задержка	95-й процентиль от перемещения до события в нашей системе	Не более 2 с
Доля пропусков	Процент интервалов без данных по метке	Не более 1 % за час
Ложные объекты	Число фантомных целей за час	Не более 1
Поведение в час пик	Те же метрики при фактической загрузке	Деградация CEP95 не более 50 %
Ёмкость	Частота обновления при полном числе меток	Не ниже 1 Гц при 800 метках

6. Процедура. Кто проводит замер, кто присутствует, в каком виде выгружаются сырые данные (обязательно сырые, а не отчёт поставщика), сколько времени на разбор разногласий, что считается непройденной приёмкой и сколько попыток даётся.

7. Повторный замер. Через три-шесть месяцев, по тому же протоколу, в рамках договора обслуживания. Допустимая деградация оговаривается.

Один абзац в договоре со ссылкой на такой протокол стоит дешевле любого спора о том, что имелось в виду под «точностью 10 см».

Чек-лист вопросов поставщику

1. Какая точность в CEP50 и CEP95 отдельно, а не одной цифрой?
2. В каких условиях получены эти цифры: прямая видимость, расстояние до приёмников, положение метки, загруженность помещения?
3. Какая вертикальная точность и как определяется этаж?
4. Сколько приёмников потребуется на наш план и почему именно столько? Покажите расстановку.
5. Как изменится точность, если убрать один приёмник из расчёта?
6. Какая задержка по 95-му процентилю от перемещения до события в нашей системе?
7. Сколько меток обслуживает одна ячейка и что происходит с частотой обновления при полной загрузке объекта?
8. Как ведёт себя система, когда метка закрыта телом и мокрая?
9. Какое исполнение по IP у оборудования для мокрых зон и какой срок службы в них?
10. Как система сообщает о неработающем датчике?
11. Что происходит при обрыве сети между приёмниками и сервером: данные теряются или буферизуются?
12. Где хранятся данные, в каком виде мы их получаем, есть ли выгрузка сырых событий?
13. Какой идентификатор используется и можно ли работать в обезличенном режиме?
14. Есть ли объект того же профиля и масштаба, куда можно приехать посмотреть?
15. Готовы ли вы провести приёмочный замер по нашему протоколу и записать его результаты в акт?

Пятнадцатый вопрос — проверочный. Поставщик, уверенный в своём решении, соглашается без обсуждения.

Источники

Источники

• ISO/IEC 18305:2016 — испытания и оценка систем локализации и слежения
• Критика методики ISO/IEC 18305, конференция IPIN
• NIST, Location-Based Services — ревизия стандарта
• ISO/IEC 24730-1:2014 — RTLS, классы точности
• Amsters et al., оценка недорогих систем позиционирования — про метрики и эталон
• Коррекция ошибки фазового измерения Bluetooth по инерциальным датчикам
• Деанонимизация UWB-меток по радиочастотному отпечатку
• Восстановление связности рандомизированных MAC-адресов методами машинного обучения
• Tektelic, Milesight — заявленный срок работы носимых и наружных трекеров (данные производителей)