Линейные ориентиры: Типы и виды ориентира на местности

2.2 Парный подход: мотивация и методология

3. АНАЛИЗ КРИВОЙ

3.1 Методы и мотивация

Описание лица кривыми вместо ориентиров дает больше информации о форме. Для случайного выбора расщелин и контрольных случаев на рис. 4 показаны кривые, которые интерполируют псевдоориентиры, расположенные на равном расстоянии между наложенными анатомическими ориентирами. Для целей этой статьи мы сосредоточимся на кривой срединной линии, которая проходит от средней точки переносицы до вершины верхней губы. Каждая срединная кривая содержит 57 точек в трех измерениях.Кривые были выровнены с использованием GPA, при этом ориентиры на кривых, отличных от средней линии, использовались в качестве соответствующего подмножества. Поскольку функция lmepair может подогнать попарные модели максимум к 30 результатам (из-за больших J ⁻¹ K J ^{−1 матрица), удобно подогнать B-сплайн к каждой кривой и использовать коэффициенты сплайна в качестве переменной отклика для каждого человека в каждый момент времени вместо фактических точек кривой. Поскольку мы могли адекватно описать кривую, используя B-сплайн с 7 узлами, это уменьшило количество точек для каждой кривой до 21 (7 коэффициентов в 3 измерениях).}

Рис. 4.

Четыре примера случайно выбранных случаев расщелины (черный) и контрольного (серый) случая через 3 месяца, показывающие как интерполирующие кривые, так и наложенные ориентиры.

Рис. 4.

Четыре примера случайно выбранных случаев расщелины (черный) и контрольного (серый) случая через 3 месяца, показывающие как интерполирующие кривые, так и наложенные ориентиры.

3.2 Установка модели

Средние тренды сплайн-коэффициентов с доверительными интервалами 95% показаны на рис. 5. По большей части они показывают большой эффект операции между 3 и 6 месяцами, что касается координат касательных ориентиров, а затем довольно изогнутый тренд между 6 и 24 месяца, по крайней мере, для группы с расщелиной. Контрольная группа показывает более линейный тренд во времени для большинства коэффициентов. Очевидно, опять же, существуют различия в изменчивости между группами и координатами, и это необходимо учитывать в модели.

Рис. 5.

Средние тренды во времени, с доверительными интервалами 95%, коэффициентов сплайна для расщепленной (черные линии) и контрольной (серые линии) групп (обратите внимание на разные масштабы).

Рис. 5.

Средние тенденции с течением времени, с доверительными интервалами 95%, коэффициентов сплайна для расщепленной (черные линии) и контрольной (серые линии) групп (обратите внимание на разные масштабы).

На рис. 6 показаны оценочные средние кривые для расщелины и контрольной группы в каждый момент времени, в виде профиля и спереди, после обратного преобразования в пространство формы.Двумерные 95% доверительные области были рассчитаны в близко расположенных точках вдоль средних кривых, чтобы создать впечатление общих 2-мерных доверительных областей. На этом рисунке показано, что в среднем более плоский нос субъектов с расщелиной становится более похожим на нос контрольной группы через 24 месяца, в то время как во фронтальном виде все еще сохраняется значительная асимметрия кривой, ведущей вниз через нос к верхней губе.

Рис. 6.

Двумерные области достоверности 95% для расщепленной (серая) и контрольной (черная) групп для средних кривых средней линии в каждый момент времени в профильной (верхней) и фронтальной (нижней) проекциях.

Рис. 6.

Двумерные области достоверности 95% для расщепленной (серая) и контрольной (черная) групп для средних кривых средней линии в каждый момент времени в профильной (верхней) и фронтальной (нижней) проекциях.

3.3 Сравнение моделей

Как и в известном примере, мы получаем статистику Вальда и PLR для проверки наличия группы по времени взаимодействия. Это приводит к х ² -статистике 963 по 63 степеням свободы для Вальда и х ² -статистике 8824 по 1260 степеням свободы для теста PLR, что дает четкие доказательства для отклонения теста Вальда. нулевая гипотеза об отсутствии взаимодействия.Оба они подтверждают выводы, сделанные в результате сравнительного теста моделей на данных ориентиров.

4. ОБСУЖДЕНИЕ

Функция lmepair будет подгонять парные модели к различным видам многомерных лонгитудинальных данных с функцией общего среднего и набором структур дисперсии, и она включена в качестве дополнительного материала к этой статье, доступной по адресу Biostatistics в Интернете по адресу http:// www.biostatistics.oxfordjournals.org.

Модели, подобранные в этой статье, имели только случайные пересечения, а дисперсии случайных ошибок предполагались постоянными во времени. Эти допущения могут быть несколько ограничительными, но, поскольку было проведено всего 4 измерения на каждом индивидууме (а иногда и меньше из-за отсутствия данных), маловероятно, что было достаточно информации, чтобы соответствовать коррелированной структуре ошибок. Кроме того, характер фациального роста и соответствующее изменение координат касательной или коэффициентов сплайна не дает особых оснований предполагать, что корреляция во времени не должна быть примерно одинаковой вне зависимости от реальных моментов времени.Наиболее важными факторами в тенденциях, по-видимому, являются различия в группах и координатах/коэффициентах, и подобранные модели учитывают их. Также возможно, что тенденция в элементах управления для координаты 27 в данных наземных ориентиров гарантирует нелинейный эффект времени. Однако в интересах экономии и поскольку координата в этом аспекте уникальна, тренд был аппроксимирован линейным эффектом. Это подчеркивает недостаток подхода парной модели, заключающийся в том, что для всех результатов предполагается одна и та же модель.

Некоторые другие недостатки методов, которые мы применили, состоят из верхнего предела (около 30) количества координат, которые могут быть включены из-за вычисления большой матрицы, и некоторых проблем со сходимостью и оценкой на граница пространства параметров из-за очень малых дисперсий в отдельных двумерных моделях. Одним из побочных эффектов последнего является то, что некоторые корреляции между случайными пересечениями для разных координат оцениваются как очень близкие к 1 или отрицательные 1, что может повлиять на тесты сравнения моделей.Альтернативный подход состоит в том, чтобы взять первые несколько основных компонентов координат касательной и использовать соответствующие оценки в качестве ответов в попарных моделях. Это позволяет включить в модель большее количество ориентиров и избежать вышеупомянутых проблем с оценкой дисперсии и сходимостью модели. Другой метод состоит в том, чтобы предположить независимость между измерениями и разрешить общую ковариационную структуру для случайных пересечений с измерением, что также позволяет включать больше ориентиров, но не позволяет избежать проблем с оценкой. Все подходы дают очень похожие средние фиксированные эффекты и доверительные интервалы.

В будущей работе мы намерены модифицировать попарный подход, чтобы обеспечить спецификацию ковариационной структуры, которая, например, могла бы учитывать пространственный характер лица. Это потенциально может привести к меньшему количеству оцениваемых параметров ковариации, что приведет к повышению эффективности, уменьшению количества проблем с оценкой и включению в модель большего количества координат. Мы также намерены создать модели для включения всех кривых на рисунке 4, а не только срединных линий.Другие будущие действия включают дальнейшую работу по сравнению моделей, в частности тест PLR, который включает только одну оценку для каждого параметра.

ФИНАНСИРОВАНИЕ

Исследовательский совет по инженерным и физическим наукам (EP/P500249/1) С.Б.

Приложение для моделирования лица, описанное в статье, финансировалось Управлением главного научного сотрудника исполнительной власти Шотландии, чья поддержка выражается с благодарностью. Исследовательский проект по моделированию лица был выполнен в сотрудничестве с коллегами из Стоматологической больницы Глазго и Департамента вычислительной техники Университета Глазго. Конфликт интересов: Не объявлено.

Ссылки

Валидация основанной на зрении системы трехмерной визуализации лица

40

523

529

lme4: подбор линейных смешанных моделей в R

R News

2005

5

22

30

Статистический анализ нерешетчатых данных

Статистик

1975

24

179

195

Об измерении и анализе асимметрии объектов с приложениями к моделированию лица

Прикладная статистика

2006

55

77

91

Измерение биологической формы и изменение формы

Конспект лекций по биоматематике

1978

Том 24

Берлин

Спрингер

Статистический метод сравнения биологических форм

107

475

520

Тензорная биометрия изменений формы черепа

Annals of Human Biology

1984

11

413

437

Морфометрические инструменты для ориентировочных данных: геометрия и биология

1991

Нью-Йорк

Cambridge University Press

Изучение вариаций данных трехмерной формы

15

524

541

Статистический анализ формы

1998

Чичестер

Wiley

Попарная подгонка смешанных моделей для совместного моделирования многомерных продольных профилей

Биометрия

2006

62

424

431

Моделирование псевдовероятности многомерных исходов в токсикологии развития

94

734

745

Статистический анализ роста в двух измерениях

Кандидат наук. Диссертация]

1983

Кембридж, Массачусетс

Гарвардский университет

Характеристика лица младенцев с расщелиной губы и неба с использованием метода трехмерного захвата

Черепно-лицевой журнал «Расщелина неба»

2004

41

27

35

Шейп-многообразия, прокрустовы метрики и комплексные проективные пространства

Бюллетень Лондонского математического общества

1984

16

81

121

Функциональные модели роста ориентировочных данных

Proceedings in Functional and Spatial Data Analysis

2001

Leeds

Leeds University Press

109

115

Модели случайных эффектов для продольных данных

Биометрия

1982

38

963

974

Многомерный анализ

1979

Лондон

Academic Press, Inc

Модели для дискретных продольных данных

2005

Нью-Йорк

Springer

Модель параллельного роста для фигуры

Proceedations in Medical Imaging Understanding and Analysis

2000

Bristol

BMVA

171

174

Анализ роста лица

Proceedings Conference on Imaging Science, Systems and Technology

1999

Las Vegas

CSREA Press

404, 03 

2)

nlme: линейные и нелинейные модели со смешанными эффектами

R: Язык и среда для статистических вычислений

R Фонд статистических вычислений

2004

Вена

Австрия

Анализ главных компонент ориентиров из обратимых изображений

Прикладная статистика

2004

53

163

175

О росте и форме

1917

Кембридж

Издательство Кембриджского университета

© Автор, 2008 г. Опубликовано Oxford University Press. Все права защищены. Для получения разрешений отправьте электронное письмо по адресу: [email protected]

Линейные измерения с использованием виртуальных моделей исследования

Ключевым процессом диагностики и планирования лечения в стоматологии является анализ модели исследования (SMA). При выполнении SMA на стоматологических моделях измеряются общие диагностические параметры, такие как перекрытие, межмолярная ширина и периметр дуги. Текущий золотой стандарт для SMA включает гипсовые слепки, измеряемые штангенциркулем. В последние десятилетия трехмерные (3D) виртуальные учебные модели добились успеха в стоматологии.

Имеющаяся литература по трехмерным виртуальным стоматологическим моделям исследования в основном сосредоточена на моделях, полученных с помощью лазера,1–15, в то время как другие исследования посвящены голографическому сканированию,16 захвату стереофотогамметрии,17 и, совсем недавно, конусно-лучевой компьютерной томографии (КЛКТ)18–20.

Многочисленные исследования изучали достоверность и надежность линейных измерений, сделанных на гипсовых и виртуальных учебных моделях, но систематический обзор, позволяющий обобщить их выводы, не проводился.Насколько нам известно, единственный систематический обзор моделей виртуальных исследований, проведенный Fleming et al.21, обобщил оценки валидности, но не надежности. Продемонстрированная надежность при повторных измерениях виртуальных моделей и гипса по отдельности необходима, прежде чем интерпретировать достоверность двух модальностей.

Целью этого исследования было проведение систематического обзора литературы для оценки достоверности и надежности линейных измерений с использованием виртуальных и гипсовых моделей зубов, группировка нашего анализа по типу получения виртуальной модели и количеству ориентиров, используемых в данном измерении. .

Для этого исследования была принята стратегия поиска PICO22, а результирующая строка поиска была адаптирована для PubMed (с 1966 г. по 16 мая 2010 г.) и адаптирована без ограничений для следующих онлайн-баз данных: OVID Medline, OVID-All EBM Reviews и Сирень. Позднее поиск в PubMed был обновлен до 8 декабря 2011 г.

Приемлемость выбранных статей определялась в четыре этапа.Отбор статей на каждом этапе осуществлялся тремя исследователями. Расхождения между оценкой приемлемости исследователями обсуждались в устной форме, и окончательный выбор согласовывался большинством голосов. Все неанглоязычные статьи, отобранные на каждом этапе, были соответствующим образом переведены.

На этапе 1 процесса отбора по результатам электронной базы данных названия и рефераты были проверены по следующему критерию отбора: основное внимание уделялось оценке линейных измерений в трехмерных виртуальных моделях зубов человека.

На этапе 2 процесса отбора полные статьи из тех исследований, которые были выбраны на этапе 1, были извлечены, где это возможно, и применялись следующие критерии отбора: предоставленные меры достоверности и надежности, измерения золотого стандарта, взятые с гипсовых слепков, и исследование с минимальный размер выборки 10,

На этапе 3 процесса отбора списки ссылок из статей, выбранных на этапе 2, были проверены с использованием тех же критериев отбора, что и на этапе 1.

На этапе 4 процесса отбора извлекаемые изделия на этапе 3 оценивались по тем же критериям отбора, что и на этапе 2.

В этом систематическом обзоре важными показателями были надежность и валидность. Надежность относится к согласованности, с которой может быть выполнено измерение, и это оценивалось по отчетам о средней разнице, согласии (коэффициент внутриклассовой корреляции, [ICC]) и корреляции (коэффициент корреляции Пирсона [PCC]) повторных измерений с использованием виртуальных и гипсовые модели.Валидность относится к способности действительно измерить то, что задумано, и это также оценивалось с использованием показателей средней разницы, согласия (ICC) и корреляции (PCC) между виртуальной и гипсовой моделями.

Соответствующие данные были сведены в электронную таблицу с использованием Excel 2007 (Microsoft, Redmond, Wash). Для достоверности и надежности данные были взвешены по размеру выборки и проанализированы с помощью описательной статистики.

Взвешенные средние значения позволили нам объединить результаты исследований с относительно меньшим размером выборки, в то же время позволив исследованиям с большим размером выборки внести больший вклад в результаты этого систематического обзора. Например, при расчете взвешенных средних различий индивидуальные средние различия, умноженные на их соответствующие размеры выборки, как сообщалось в исследовании, складывались вместе, а затем делились на общую сумму соответствующих размеров выборки. Взвешенный ICC и взвешенный PCC рассчитывали аналогичным образом.

В выбранных статьях межэкспертная надежность1,8,15,19 редко сообщалась, поэтому в таблицы была включена только внутриэкспертная надежность2,3,5,8,9,13,17–20 с точки зрения средних различий, ICC и PCC.Другие заявленные меры надежности,4,6,7,10–12,14,16, такие как стандартные отклонения, случайная ошибка или утверждения, подтверждающие тесты повторных измерений, также были приняты, но не обобщены. Кроме того, поскольку надежность всегда находится в пределах одной модальности (т. е. только в пределах гипсовых моделей или виртуальных моделей), средневзвешенные различия рассчитывались путем первоначального преобразования зарегистрированных различий в абсолютные значения.

Параметры, обобщенные в этом систематическом обзоре, были, по результатам проверки, наиболее часто сообщаемыми из выбранных статей.Параметры, которые не могли быть отнесены к одному из обычно упоминаемых линейных параметров, но, тем не менее, сообщались в литературе, были отмечены, но не обобщены в этой статье.

В этом систематическом обзоре мы установили клинически значимые пороговые значения для средних различий для линейных измерений с двумя ориентирами на 0,5 мм и на 2,0 мм для линейных измерений, основанных на более чем двух ориентирах.2,5,8 

Данные для всех виртуальных моделей исследования были сгруппированы для изучения любых различий между типами получения виртуальных моделей.Собранные данные также были сгруппированы для изучения различий между линейными измерениями с двумя и более ориентирами.

Блок-схема процесса отбора показана на рисунке 1. Первоначальная стратегия поиска выявила 278 потенциальных статей из электронных баз данных, и 59 статей были выбраны на основе заголовков и аннотаций; впоследствии 20 были выбраны после прочтения всех статей.Из этих 20 статей было выявлено 238 уникальных ссылок, из которых были отобраны 62 статьи, которые можно было найти, но в конечном итоге в результате ручного поиска не было выбрано никаких дополнительных статей. Три статьи, которые в конечном итоге были исключены9,16,17, изначально удовлетворяли критериям отбора на каждом этапе. В одном исследовании оценивались виртуальные модели новорожденных с расщелиной неба9 без прорезавшихся зубов. В другом исследовании изучались виртуальные модели, полученные с помощью голографического сканирования,16 но статья была опубликована два десятилетия назад.Точно так же исследование моделей, полученных с помощью стереофотогамметрии17, не пересматривалось почти десятилетие. Обновленный поиск в PubMed от 8 декабря 2011 г. выявил еще три потенциальных реферата. Из них одна будет отклонена, поскольку она не соответствует окончательным критериям отбора,23 а две были на китайском языке, и, хотя мы пытались связаться с авторами, нам не удалось получить копии этих статей.24,25 Окончательный итог из 17 статей были отобраны для этого обзора.

Рисунок 1

Блок-схема процесса выбора.

Рисунок 1

Блок-схема процесса выбора.

Внутриэкспертная надежность как для гипсовых (Таблица 1), так и для моделей, полученных с помощью лазера (Таблица 2), сообщалась для всех обычных измерений с двумя ориентирами и > двух ориентиров. Все средневзвешенные различия были менее 0,5 для параметров с двумя ориентирами и менее 1,5 мм для параметров > двух ориентиров. При повторных измерениях в гипсе значения ICC составляли около85 для всех параметров двух ориентиров и более 0,98 для скученности; аналогично, значения PCC были выше 0,91 для параметров с двумя ориентирами и выше 0,96 для периметра дуги. Для повторных измерений в лазерных моделях значения ICC были около 0,99. Хотя внутриэкспертные данные о надежности моделей, полученных с помощью КЛКТ, не будут представлены в таблице из-за недостаточности сравнительных данных, значения ICC из двух исследований19,20 превышали 0,80, а значения PCC из третьего исследования18 были значительно выше.90, что свидетельствует о хорошем согласии и отличной корреляции повторных измерений.

Intrarater, модели исследования гипса: средние значения разности, совпадения и корреляции, взвешенные по размеру выборки, со стандартными отклонениями (где возможно рассчитать), показанными для наиболее часто сообщаемых параметров ^a

Intrarater, полученные лазером виртуальные модели: средние значения разности, совпадения и корреляции, взвешенные по размеру выборки, со стандартными отклонениями (где возможно рассчитать), показанными для наиболее часто сообщаемых параметров ^a

Достоверность часто сообщаемых линейных параметров, сгруппированных по измерениям с двумя ориентирами и >двумя ориентирами между гипсовыми и специфическими типами сбора данных, полученными с помощью лазера или КЛКТ, представлена ​​в таблицах 3 и 4 соответственно.

, полученная лазером и гипсовая: средняя разница, совпадение и значения корреляции, взвешенные по размеру выборки, со стандартными отклонениями (где возможно рассчитать), показанными для наиболее часто сообщаемых параметров ^a

, КЛКТ-получение по сравнению с гипсом: средняя разница, совпадение и значения корреляции, взвешенные по размеру выборки, со стандартными отклонениями (где возможно рассчитать), показанными для наиболее часто сообщаемых параметров ^a

Для моделей для исследования, полученных с помощью лазера, средние различия по сравнению с моделями для исследования из гипса были значительно ниже 0.5 мм для мер с двумя ориентирами и менее 1 мм для мер с > двумя ориентирами. Большинство параметров сообщалось в терминах ICC со взвешенными значениями, которые, как правило, превышали 0,90.

Виртуальные исследовательские модели, полученные с помощью КЛКТ-сканирования, имели средние различия по сравнению с гипсовыми исследовательскими моделями менее 0,5 мм для измерений с двумя ориентирами. Ни в одной из статей, включенных в этот систематический обзор, не сообщалось о средних различиях для >двух контрольных показателей.Хотя ни в одной из статей не сообщалось о значениях ICC, взвешенные значения PCC в одном исследовании18 варьировались от 0,62 до 0,99.

Виртуальные исследовательские модели, полученные с помощью лазерного сканирования, представляли собой 14 из 17 выбранных статей, в то время как модели, полученные с помощью КЛКТ-сканирования, были представлены в оставшихся трех. Количество качественных исследований на моделях, полученных с помощью лазера, впечатляет, но новые подходы с использованием КЛКТ выглядят многообещающе. Тем не менее, два19,20 из выбранных исследований с использованием КЛКТ по-прежнему требовали оттисков, поэтому ошибки могут быть воспроизведены1, когда процесс переходит от рта к альгинатным оттискам и, наконец, к виртуальным моделям. Надежность и достоверность новых подходов, которые создают виртуальные модели исследования из прямых КЛКТ-сканов рта пациента по сравнению с гипсовыми моделями золотого стандарта, еще не описаны.

Этот систематический обзор и обзор Fleming et al.21 выбрали по 17 статей. Однако небольшие различия в наших критериях отбора привели к тому, что в наших исследованиях были выбраны только девять статей 5–8, 10, 11, 13, 15, 20. Мы решили сосредоточиться только на количественных линейных измерениях; поэтому мы отклонили некоторые из статей, которые Флеминг решил включить, поскольку они были сосредоточены на показателях PAR, 26 ABO, 27–29 или ICON30, которые являются качественными порядковыми показателями. Мы также отклонили статью31, которую принял Флеминг, поскольку не нашли отчетов о достоверности повторных измерений.Из статей, которые Флеминг решил исключить, мы решили принять два исследования, в которых использовались искусственные окклюзионные настройки1,14, поскольку они, тем не менее, являются оценкой линейных измерений, и еще одно исследование, в котором черным маркером были отмечены точки на слепках2, поскольку эти точки не влияли на параметры, которые мы выбрали для обобщения. Наконец, наша стратегия поиска отобрала еще пять релевантных статей3,4,12,18,19 по состоянию на май 2010 г., которые не были упомянуты в систематическом обзоре Флеминга, три4,12,19 из которых были опубликованы к моменту проведения их поиска в январе. 2010.

При осмотре наиболее часто сообщаемые линейные параметры с двумя ориентирами были превышены; неправильный прикус; мезиодистальные размеры зубов верхней и нижней челюсти от первого моляра до первого моляра включительно; а также межмолярные и межклыковые ширины верхней и нижней челюсти. Наиболее часто сообщаемыми линейными параметрами >двух ориентиров были периметр и скученность верхней и нижней дуги, а также несоответствие Bolton anterior и Bolton в целом.

Полный анализ модели исследования должен также включать категориальные параметры, такие как классификация Энгла, но о качественных исследованиях, включающих их, сообщалось нечасто. Будущие исследования должны изучить надежность и достоверность категориальных параметров.

Достоверность виртуальных моделей исследования по сравнению с гипсовыми для всех линейных параметров с двумя ориентирами и > двух ориентиров показала клинически незначимые средние различия.Это согласуется с выводами Fleming et al.,21 которые сообщили, что виртуальные модели обеспечивают высокую степень достоверности по сравнению с прямыми измерениями на гипсовых моделях. По сравнению с гипсом, для параметров двух ориентиров было отличное совпадение с использованием моделей, полученных с помощью лазера, в то время как корреляция с использованием моделей, полученных с помощью КЛКТ, варьировалась от плохой до отличной. Напротив, Флеминг не резюмировал согласие с точки зрения значений ICC или PCC.

Измерения перерезки, прикуса и всей ширины зубов от первого моляра до первого моляра с использованием моделей для исследования, полученных с помощью лазера, были клинически незначительными по сравнению с гипсовыми моделями, но отрицательные средневзвешенные различия указывают на тенденцию к увеличению размеров на гипсовых моделях.Однако межмолярные и межклыковые расстояния на моделях, полученных с помощью лазера, имели тенденцию к меньшим измерениям на гипсе, но опять же, средневзвешенные различия были клинически незначительными. Точно так же различия в периметре зубного ряда, скученности и измерениях Болтона были клинически незначимы. Совпадение по всем двухэтапным показателям и скученность арки были превосходными.

По сравнению с скомпилированными данными из статей о моделях исследования, полученными с помощью лазера, в которых объединенные размеры выборки варьировались от 100 до 204 на параметр, данные о моделях исследования, полученных с помощью КЛКТ, имели относительно меньшие размеры выборки, которые варьировались от 15 до 40.Как видно из моделей, полученных с помощью лазера, все средневзвешенные различия были отрицательными, что указывало на тенденцию к увеличению размеров на гипсе, но это открытие не имело клинической значимости. Корреляция моделей исследования, полученных с помощью КЛКТ, по сравнению с гипсом была плохой для мезиодистальных размеров зубов 1-5 и 4-1, умеренной для зубов 1-4, 1-6, 2-5, 3-1, 3-3, 3- 4, 4-3, и хорошо или лучше для всех оставшихся измерений периметра двух ориентиров и арок. Не было никакого очевидного объяснения этому изменению в корреляции.

По величине была тенденция к тому, чтобы надежность и валидность измерений с двумя ориентирами имели меньшие средние различия, чем > измерения с двумя ориентирами, независимо от типа сбора данных. Например, для параметров двух ориентиров повторные измерения ширины зуба в гипсе показали абсолютную разницу менее 0,1 мм, тогда как прикус, межмолярный и межклыковый расстояния имели абсолютную разницу в два раза больше, но менее 0.2 мм. Для > двух ориентировочных параметров различия в периметре дуги, скученности и несоответствия Болтона варьировались от 0,2 мм до 0,7 мм. Хотя эти результаты не были клинически значимыми, этот паттерн увеличения абсолютной разницы по отношению к количеству ориентиров можно было обнаружить при проверке повторных измерений в моделях, полученных с помощью лазера.

Вычисление линейного внимания в Nyströmformer

В этом посте мы рассмотрим аппроксимацию Нистрёма, технику, с которой я столкнулся в Nyströmformer: основанный на Нистреме алгоритм для аппроксимации собственного внимания Xiong et al. Это еще одна интересная статья, в которой делается попытка сделать алгоритм самоконтроля более эффективным вплоть до линейного времени выполнения. Несмотря на то, что в методе Нистрема много сложностей, цель этого поста — дать представление о том, как этот метод можно использовать для аппроксимации больших матриц, и как этот метод использовался в вышеупомянутой статье.

Несмотря на свое причудливое и несколько пугающее название, метод Нистрёма имеет интуитивно понятное объяснение. Идея состоит в том, что если мы знаем расстояние между точкой А и точкой В, а также расстояние между точкой В и точкой С, то мы можем аппроксимировать расстояние между точками А и С как своего рода сложение двух величин.Конечно, если бы мы обсуждали расстояния в контексте одномерного пространства, а именно линии с действительными числами, мы не только смогли бы аппроксимировать расстояние; мы бы знали точное количество. Однако в многомерном пространстве это несколько сложнее, и мы можем прибегать только к приближениям.

Чтобы понять контекст, предположим, что мы хотим аппроксимировать матрицу внимания в архитектуре трансформатора. Метод Нистрёма начинается с выбора того, что авторы статьи называют ориентирами.\top \forall n \leq L$, а также $q_n k_1\top \forall n \leq L$ (для простоты игнорируем нормализующий квадратный корень). Если мы напомним себе о мотивации архитектуры запросов ключ-значение преобразователя, мы можем рассматривать внимание как способ вычисления расстояния или релевантности между парами токенов в заданной последовательности. Иными словами, ориентиры сообщают нам расстояние между первым запросом и всеми остальными ключами, а также расстояние между первым ключом и всеми остальными запросами.

Не ограничивая общности, мы можем аппроксимировать расстояние между любым $i$-м ключом и $j$-м запросом, используя эти ориентиры. То, как мы это делаем, несколько похоже на пример с точками A, B, C, который мы кратко обсуждали ранее. А именно, мы начинаем с просмотра расстояния между $i$th ключом и первым запросом. Затем мы также смотрим на значение внимания между первым ключом и $j$-м запросом. Обратите внимание, что соединение двух точек дает нам представление о том, насколько связаны $i$-й запрос и $j$-запрос.\star \times \tilde{Q} K \tag{2}\]

Звездное выражение ($\star$) обозначает псевдообратное выражение Мура-Пенроуза.

Теперь, когда у нас есть общее представление о том, как работает аппроксимация Нистрема в контексте внимания, давайте приступим к некоторой базовой реализации.

Цель состоит в том, чтобы увидеть, что аппроксимация Нистрема действительно может давать достаточно точные результаты, и что чем больше количество ключевых ориентиров, тем лучше аппроксимация. Считайте это формой эксперимента Монте-Карло.

Давайте начнем с импорта некоторых модулей.

  импортировать numpy как np
импортировать matplotlib.pyplot как plt
%config InlineBackend.figure_format="сетчатка"
  

Для простоты мы предполагаем очень простую модель со скрытой размерностью 2 и некоторыми точками данных, длина последовательности которых равна 5. Для простоты мы опускаем размерность партии.

Затем, в контексте внимания, мы получим следующие ключи и тензоры запросов, а также квадратную матрицу внимания пять на пять.

  д_модель = 2
seq_len = 5

Q = np.random.randn (seq_len, d_model)
K = np.random.randn (seq_len, d_model)
А = Q @ К.Т.
Форма
  

Таким образом, цель состоит в том, чтобы аппроксимировать эту квадратную матрицу внимания.

 массив ([[ 2.29571874, -0.7373519 , 0.32730778, -0.84730782, -1.16558083],
       [1,4346883, -0,32765206, 0,80095764, -0,39437617, 0,17889744],
       [1,38973136, -0,61066937, -0,53783773, -0,67968999, -1,82523199],
       [-1,80977456, 0.1036656, -2,39735444, 0,18320197, -2,33569844],
       [ 1,36516091, -0,40695455, 0,33580143, -0,47186895, -0,47836287]])
  

Давайте начнем нашу аппроксимацию, предположив наихудший случай, когда у нас есть доступ только к одному ориентиру. Это приводит нас к уравнению (1), в котором практически все операции выполнялись с векторами, а не с матрицами.

  num_landmarks = 1

Q_tilde = Q[:num_landmarks]
K_tilde = K[:num_landmarks]
  

Ссылаясь на уравнения (1) и (2), теперь мы можем записать аппроксимацию матрицы внимания следующим образом.\star \times \tilde{Q} K\]

  A_tilde = (Q @ K_tilde.T) @ np.linalg.pinv (Q_tilde @ K_tilde.T) @ (Q_tilde @ K.T)
A_tilde.shape
  

Как и ожидалось, размерность соответствует исходной матрице внимания. Если мы распечатаем приближение, мы должны ожидать точных совпадений в первой строке и столбце; остальная часть области матрицы размером четыре на четыре должна быть примерно такой же, как у оригинала.

  массив([[ 2.29571874, -0.7373519, 0.32730778, -0,84730782, -1,16558083],
       [1,4346883, -0,46080128, 0,20454799, -0,52951722, -0,72841901],
       [1,38973136, -0,44636176, 0,19813834, -0,51292444, -0,7055935],
       [-1,80977456, 0,58127361, -0,25802521, 0,66795471, 0,91885757],
       [ 1,36516091, -0,43847008, 0,19463525, -0,50385594, -0,69311861]])
  

Мы действительно можем быстро проверить, что первая строка и столбец точно совпадают; однако остальные 16 элементов довольно сложно сравнивать. Мы можем более систематически вычислять разницу между двумя матрицами, используя норму, такую ​​как норма Фробениуса.

  np.linalg.norm(A - A_tilde)
  

Если мы посмотрим на необработанное значение вычитания, мы увидим, что приближение не так уж плохо.

  массив([[ 0.00000000e+00, 0.00000000e+00, 0.00000000e+00,
         0,00000000e+00, 0,00000000e+00],
       [-2.22044605э-16, 1.33149223э-01, 5.96409654э-01,
         1.35141056э-01, 9.07316456э-01],
       [0,00000000e+00, -1,64307605e-01, -7,35976069e-01,
        -1,66765549e-01, -1,11963848e+00],
       [0,00000000e+00, -4,77608006e-01, -2,13932924e+00,
        -4,84752738э-01, -3,25455600э+00],
       [0,00000000e+00, 3,15155316e-02, 1,41166181e-01,
         3.19869853e-02, 2.14755744e-01]])
  

Подход Монте-Карло

Давайте распространим это маленькое испытание на более крупные матрицы, добавив один ориентир. Для простоты выполнения и реализации я в основном обернул каждый шаг, описанный выше, в виде функций.

Первая функция, norms_by_landmarks , получает матрицы запросов и ключей, затем аппроксимирует матрицу внимания, варьируя количество ориентиров. Норма Фробениуса используется для измерения того, насколько хороша аппроксимация. Теоретически мы должны ожидать увидеть нисходящий паттерн.

  def norms_by_landmarks(Q, K):
    результат = []
    А = Q @ К.Т.
    для num_landmarks в диапазоне (1, len (Q) + 1):
        Q_tilde = Q[:num_landmarks]
        K_tilde = K[:num_landmarks]
        A_tilde = ([email protected]_tilde.T) @ np.linalg.pinv(Q_tilde @ K_tilde.T) @ (Q_tilde @ K.T)
        result.append(np.linalg.norm(A - A_tilde))
    вернуть np.asarray (результат)
  

Вторая функция, run_experiment , является оболочкой первой. Он многократно проводит один и тот же эксперимент в течение определенного количества итераций. Цель повторения, по сути, состоит в том, чтобы исключить вероятность везения, когда некоторые случайно инициализированные ключи и матрицы запросов настроены таким образом, что приближение Нистрема работает слишком хорошо или плохо для данной задачи. Повторяя эксперимент и усредняя результат — что лежит в основе приближений Монте-Карло — мы можем быть более уверены в нашем конечном результате.

  def run_experiments (d_model, seq_len, num_iter = 10):
    результат = 0
    для _ в диапазоне (num_iter):
        Q = np.random.randn (seq_len, d_model)
        K = np.random.randn (seq_len, d_model)
        норма = нормы_по_ориентирам (Q, K)
        результат += норма
    вернуть результат / num_iter
  

Здесь мы предполагаем, что длина последовательности равна 50, а скрытый размер модели (или размер встраивания) равен 10.И поехали!

  норм = run_experiments(d_model=10, seq_len=50)
plt.plot (диапазон (длина (нормы)), нормы)
plt.show()
  

Хотя в окончательном результате есть некоторый шум, мы видим, что за пределами определенного измерения аппроксимация дает почти точные результаты. В этом случае, кажется, происходит около 10 ориентиров.

Трансформеры теперь захватили большую часть мира машинного обучения, даже за пределами НЛП. Недавно я наткнулся на статью под названием Pretrained Transformers are Universal Computing Engines.По-видимому, предварительно обученные LM-трансформеры могут очень хорошо выполнять задачи с минимальной тонкой настройкой. В частности, даже если часть сети с прямой связью и вниманием заморожена, что составляет почти 99 процентов всей архитектуры модели, LM-трансформеры могут быть микронастроены для широкого круга задач, которые даже не связаны конкретно с НЛП.

Хотя, безусловно, существует вероятность того, что в новом будущем исследователи объявят о новой архитектуре модели SOTA, аналогично тому, как трансформаторы сделали LSTM устаревшими во многих областях, я думаю, что трансформаторы останутся здесь надолго.И, безусловно, интересно увидеть попытки сделать его еще лучше, легче и быстрее. Nyströmformer был одной из таких попыток, и я надеюсь увидеть больше.

с отображением линейной карты для мобильных картографических приложений — Thejaka Mahaulpatha, Chandrasekara, Thatthsara on Vimeo

Планирование пути на основе ориентиров с отображением линейной карты для мобильных картографических приложений — Thejaka Mahaulpatha, Pasindu Chandrasekara, Dananjaya Thathsara, Irendra Koswatte, Nimalika Fernando

еще предстоит интегрировать с основными навигационными средствами на базе мобильных телефонов. В географических регионах, где наземные знаки обычно используются сообществом для поддержки навигации, отсутствие их в электронных навигационных средствах делает их менее полезными для таких сообществ. В этом исследовании разработана навигационная модель на основе ориентиров с учетом их ценности для местного населения Шри-Ланки. Ориентиры могут быть заметными или нет, иметь смысл только в определенное время суток или иметь разное значение для людей разных возрастных групп. Мы предполагаем, что атрибуты ориентиров можно использовать для придания им значения силы для навигации.В этом исследовании три параметра, их видимость в разное время суток, горизонтальное распространение ориентира и их высота рассматриваются как атрибуты, которые придают ориентиру силу.
Во-первых, чтобы придать большее значение ориентирам, мы разработали алгоритм, в котором при выборе наилучшего маршрута для навигации учитывается не только расстояние маршрута, но и сила ориентиров. В качестве основы используется алгоритм A*, который выводит возможные кратчайшие пути с учетом только расстояния. Этот алгоритм был усовершенствован для вывода оптимальных путей с учетом как расстояния, так и силы ориентиров вдоль него. Если маршрут имеет большую силу, связанную с достопримечательностями, он имеет приоритет. Сила маршрута определяется исходя из количества видимых на нем ориентиров и их силы. Для подсчета количества ориентиров вдоль маршрута используется буфер ориентиров. Дневная/ночная видимость и высота/разброс используются для расчета силы ориентиров вдоль маршрута.
Мы обнаружили, что после размещения ориентиров на экране мобильного устройства, которые имеют ограниченный размер, карта становится слишком перегруженной, и становится трудно читать навигационный путь. Это более заметно, когда путь имеет много поворотов. Поэтому, во-вторых, чтобы более эффективно использовать ограниченный мобильный экран, мы уменьшаем выбранный путь до линейной карты, которая показывает путь, уменьшая кривые, но подчеркивая повороты маркерами. Линейная карта показывает ориентиры вокруг значимых поворотов и обеспечивает руководство на основе ориентиров. Подтверждения поворота рассчитываются на основе ориентиров. Алгоритм Дугласа-Пекера используется для получения линейного пути и улучшен для определения поворотов и отображения ориентиров вокруг этих поворотов.
Реализация прототипа выполняется с использованием мобильного веб-подхода для уменьшения зависимости от платформы. В разработанном простом мобильном веб-приложении jQuery mobile и php используются для разработки пользовательского интерфейса и реализации на стороне сервера соответственно. В качестве пространственной базы данных используется PostgreSQL с возможностями postGIS и pgRouting.Веб-службы и интеллектуальные запросы используются для реализации основных функций связи с пространственной базой данных и внешним интерфейсом. В настоящее время приложение все еще внедряется и тестируется в Шри-Ланке, и о результатах будет сообщено в надлежащее время.

OWL на линейном телевидении — знаковое событие для киберспорта, говорит президент Immortals

В субботу вечером моя семья листает телеканалы в поисках чего-нибудь посмотреть. Это почти ритуал — проверьте HGTV, Food Network, ESPN, Animal Planet — несмотря на то, что вы уже знаете, что, вероятно, идет по каждому каналу. Прошедшая суббота была другой. Случайно моя мама пролистнула мимо ESPN2 во время полуфинала Overwatch League. Она остановилась. Кричащие заклинатели были шоком, а мигающие цвета — тем более.

Мама написала мне. Я думаю, игра, о которой вы пишете, идет по телевизору , — написала она. Вы это знаете? Прошло несколько секунд. Это захватывающе.Я понятия не имею, что происходит .

Связанный: Ovewatch League будет транслироваться на ESPN и ABC

Дисней и ABC. Лига Overwatch продолжит трансляцию с Disney и во втором сезоне. (Сделка с Twitch на 90 миллионов долларов остается неизменной.) Сказать, что эта сделка огромна, значит не сказать ничего. Ожидается, что сотни часов программ будут транслироваться по включенным сетям, согласно ESPN. Это не первый раз, когда киберспорт транслируется по телевидению, но это все еще «знаковая» сделка, сказал Dot Esports президент Immortals Ари Сигал.

«Это не что иное, как знаковая сделка для Overwatch League и киберспорта в целом», — сказал Сигал. «И я говорю это не потому, что это узаконивает киберспорт. Этот термин является закодированным языком, который предполагает, что киберспорт незаконен, пока кто-то другой не сочтет его законным.Вместо этого Сигал указал на «косвенное влияние» Лиги Overwatch на ESPN, ABC и Disney.

«Сотни тысяч людей увидят гранд-финал Overwatch League потому, что они находятся в месте, где работает ESPN, или когда они в последний раз выключали телевизор, ESPN был на, — сказал Сигал.

Это не обязательно означает, что эти непрямые Overwatch зрители League of Legends станут фанатами, но в конечном итоге это может привлечь случайных зрителей или потенциальных фанатов. По словам Сигала, последующий эффект от потребления Лиги Overwatch без поиска ее «очень мощный». И это не только из-за ESPN.

«Все сосредоточены на потребительском рынке в возрасте от 18 до 34 лет, а это то, чего хотят достичь бренды, но завтрашние 18–34-летние — это сегодняшние 15-летние», — сказал Сигал. «Регулярное освещение Disney и Disney XD дает нам возможность напрямую обслуживать следующую волну фанатов Overwatch из ».

Как и в случае с телевизорами, настроенными на ESPN для любителей спорта, многие семьи держат свои телевизоры настроенными на Disney XD.В следующий раз, когда они включат телевизор, Overwatch League может быть включена. «По праву основное внимание было уделено ESPN, что является катастрофическим событием для киберспортивных СМИ», — добавил Сигал. «Но я лично считаю, что компонент Disney XD не менее захватывающий».

Помимо привлечения новых зрителей в лигу Overwatch , сделка приносит дополнительные преимущества командам, участвующим в лиге. Двенадцать команд Overwatch League составляют лигу в первом сезоне, но Blizzard надеется привлечь еще несколько команд во втором сезоне. Как президент Immortals, Сигал заинтересован в успехе Overwatch League’s Los Angeles Valiant, который принадлежит его компании. «Хорошо это или плохо, но все, что мы делаем, пронизывает бизнес-направление, — сказал Сигал. «Что-то должно финансировать всю эту деятельность».

Сделка с Disney значительно повышает ценность киберспорта с точки зрения спонсорства.Как эндемичные, так и неэндемичные бренды обращаются к сторонним агентствам для расчета спонсорской стоимости, а эти агентства смотрят на цифры и впечатления. Медийные показы оцениваются по-разному: Twitch и прямые трансляции имеют большой вес, но сделка с линейным кабельным телевидением больше нравится более традиционным брендам.

«Показы Primetime ESPN по линейному кабелю — это огромная ценность любого спонсорства, — сказал Сигал. «Я разговаривал по телефону со многими нынешними и потенциальными партнерами, чтобы сообщить им о захватывающей разработке и объяснить, как это повысит узнаваемость благодаря партнерству с нами.

В конце концов, вопрос не в том, нужно ли киберспорту телевидение для успеха или телевидению нужен киберспорт, чтобы оставаться актуальным, — сказал Сигал. Это сложнее, чем это. Легитимность киберспорта не зависит от того, насколько он успешен на линейном телевидении. «Я не думаю, что киберспорту нужны кадры из белых мужчин в возрасте от 50 до 60 лет, чтобы считать законным, чтобы был законным », — сказал Сигал.

Моя мама, вероятно, никогда не станет преданной фанаткой Overwatch , но трансляция ESPN2 затянула ее на два часа, несмотря на то, что она не совсем понимала происходящие матчи.Она звонила мне и задавала вопросы. К концу двух часов у нее появился любимый игрок. Это всего лишь один пример косвенной ценности сделки Disney и Overwatch League, и она еще даже не демонстрировалась на «больших» каналах. Лига Overwatch выйдет в эфир на ESPN 27 июля, а последующие основные моменты будут показаны на канале ABC 29 июля.