- Интеграция с Яндекс.Метрика — База знаний FormDesigner
- Как создать и установить счетчик Яндекс.
- Яндекс. Метрика. От создания счётчика до настройки ключевых целей
- Как настроить цели в Яндекс.Метрике
- Как установить Яндекс Метрику на сайт за 5 минут
- История | Документация ClickHouse
- Пример записи ClickHouse: пример данных Яндекс.Метрика
- Яндекс.Метрика Аналитика — Безжалостные приложения
- Данные Яндекс.Метрики | Документация ClickHouse
Интеграция с Яндекс.Метрика — База знаний FormDesigner
Создание счётчика
Для добавления и настройки целей, нужно изначально зарегистрироваться на Яндекс, зайти на Яндекс.Метрика и создать счётчик:
Нажмите на иконку «Создать счётчик», придумайте ему название и введите свой сайт. Зайдите в настройки счётчика:
Номер счётчика
В настройках, вам нужно скопировать № счётчика (для дальнейшей интеграции с формой):
Добавление цели
Для продолжения работы с настройками кликаем по кнопке «Добавить цель». Всплывает окно настроек:
Интересующий нас тип условия «JavaScript событие» в цели, позволяет отслеживать события на сайте (заполнение формы и пр.),
Информация о достижении такой цели передается в Яндекс.Метрику с помощью JavaScript. Таким образом можно отслеживать практически любые произвольные события:
Добавление цели в форму
Выполнение посетителем сайта конкретного действия, является наша цель.
Чтобы добавить цели в вашу форму, зайдите в список форм, кликните «Настройки» формы и выберите в меню пункт «Аналитика»:
Введите в поле «Nº счётчика для Яндекс.Метрики» — номер счётчика Яндекс.Метрика, который вы ранее получили, и идентификатор цели, в поле «Идентификатор цели Яндекс.Метрики», который вы задали в JavaScript-событии:
Выполненным событием является отправление формы. Не забудьте сохранить настройки формы. Чтобы просмотреть отчёт о поставленных вами целях,то вам нужно зайти в «Отчёты» в Яндекс.Метрики.
Читайте также:
Как создать и установить счетчик Яндекс.
Метрики на сайт?
Как создать и установить на сайт счетчик Метрики?
- Чтобы создать счетчик Яндекс.Метрики, нужно зарегистрироваться в Яндексе (если еще не):
- Используя логин и пароль, заходим в Метрику:
- Добавляем счетчик:
- Задаем базовые параметры сайта, к которому будет привязан счетчик: имя, адрес сайта, часовой пояс, Вебвизор:
Настройку «Вебвизор, карта скроллинга, аналитика форм» переводим в режим «Вкл» – это полезные инструменты для анализа поведения пользователей на сайте.
- Перед тем, как установить Яндекс.Метрику собственно на площадку, выбираем способ установки.
В нашей компании программисты выбирают первый – ставить код Яндекс.Метрики в код страниц, потому что это проще и быстрее.
Как установить Яндекс.Метрику на сайт, куда конкретно вставлять код счетчика? Для разных CMS Яндекс.Метрика на сайт устанавливается по-разному:
- Для Битрикса код счетчиков добавляется в код файла header.php, который находится в шаблоне сайта либо /local/templates/ваша-тема/ либо /bitrix/templates/ваша-тема/. Счетчик Яндекс.Метрики ставится сразу после открывающего тега <body>:
- Для WordPress код счетчиков добавляется в код файла header.php, который находится в теме сайта /wp-content/themes/ваша-тема/, так же сразу после открывающего тега <body>:
- Для OpenCart счетчики добавляются в код файла header.tpl, который находится в шаблоне сайта /catalog/view/theme/ваша-тема/template/common. Счетчик Метрики – сразу после открывающего тега <body>:
С того момента, как завершилась установка счетчика Яндекс.Метрики, система начинает собирать данные и продвижение сайта в Яндексе можно оценивать по самым разным точным параметрам.
Чтобы рассказать, как настроить Яндекс.Метрику от А до Я, потребуется не одна большая и подробная статья. Здесь мы расскажем только про то, из чего складывается базовая настройка Яндекс.Метрики.
Цели
Цели Яндекс.Метрика определяет так: это то действие, которое владелец сайта ждет от пользователя. Это может быть просмотр или посещение страницы, скачивание файла, заполнение формы и так далее. Можно добавить цель и максимально подробно настроить:
Самое важное – настроить цели на отправку данных из всех форм, имеющихся на сайте, и на отправку данных из корзины (если это интернет-магазин). Это важно для конверсии (подробнее об этом в другой нашей статье).
Вот так будет выглядеть отчет по заданным целям:
Фильтры IP
Чтобы Метрика не учитывала посещения, просмотры и прочие действия с домашних и рабочих компьютеров, настройте фильтры на IP-адреса:
- дома, офиса;
- агентств-подрядчиков: разработчиков сайта, SEO, SMM, контекстной рекламы и других.
Доступ
В Яндекс.Метрику можно добавить несколько человек. Например, агентствам, работающих с сайтом, доступ на редактирование необходим, чтобы настроить цели и сегменты. Для этих людей доступ к счетчику можно и нужно настраивать разного уровня:
- Владелец – имеет доступ ко всем счетчикам, может удалять их и устанавливает уровень доступа для других.
- Гостевой доступ – может добавлять людей, которые могут просматривать и/или управлять счетчиком, но не могут удалять.
- Публичный доступ – доступ к статистике получает любой интернет-пользователь.
- Представительский доступ – совместное и равноправное управление счетчиком. По сути, несколько владельцев, которые могут управлять счетчиками и удалять их.
Добавить пользователей с различным доступом можно через «Настройку» – ввести логин пользователя в Яндексе, указать права:
Добавляйте в комментарии метки, чтобы не забыть, чей логин указан и для чего дан доступ – например, укажите должность:
Если вы давали доступ к счетчику агентству для разработки коммерческого предложения или прекратили сотрудничать с агентством, которое работало с сайтом, не забывайте закрывать доступы. Особенно, если они на редактирование.
Сегменты
Сегменты – это выделенные по заданным условиям части визитов или просмотров. Создавать сегменты нужно, чтобы видеть данные по интересующим вас условиям:
- географии;
- времени на сайте;
- конкретные страницы;
По настроенным сегментам можно получить статистику и подробные отчеты:
Внешний вид раздела «Сегменты». Указывается количество посетителей за 7 и 30 дней
Отчет по выбранному сегменту: график посещаемости, источники визитов
Рекомендуем настроить сегменты для брендового органического трафика – трафика, который набирается за счет запросов, содержащих бренд. Поведение, цели, ожидания пользователей из брендового и небрендового трафика различаются, поэтому и оценивать их полезно раздельно.
Например, у брендового трафика обычно гораздо меньше отказов, и брендовый трафик может вам искусственно улучшить картину при оценке поведенческих факторов, если его не исключить из анализа. А еще по такому сегменту можно оценивать узнаваемость бренда и заинтересованность в нем.
Найдите все запросы, содержащие название вашей организации, создайте отчет с помощью «Поисковой фразы» и введите запросы туда:
Вебвизор
Вебвизор – мощная технология Яндекс.Метрики, которая позволяет отследить поведение пользователя на странице: на что кликал, как долго просматривал, что выделял и как вообще перемещался по странице. Важно помнить, что данные в Вебвизоре хранятся 2 недели.
Вариантов условий показа много – как по визитам, так и по посетителям:
Укажите интересующие параметры: время, источники визита, географию, историю, устройства и так далее
Создайте портрет пользователя: укажите пол, возраст, историю визитов, поведение и другие характеристики
По выбранным характеристикам сформируется сводка:
Нажав на кнопку в третьем столбце, можно посмотреть запись поведения пользователя на сайте: как скроллил, что выделял, куда кликал и на каком моменте закончил просмотр.
Карта кликов
Карта кликов визуализирует статистику и показывает элементы, по которым пользователи кликают чаще всего. То есть те элементы, которые привлекают посетителей больше остальных, на какие кнопки нажимают и где видят кнопки, хотя там их нет (тут надо призадуматься над дизайном и, возможно, все же поставить кнопку).
Найти карту кликов можно в разделе «Карты»:
У карты кликов 5 режимов работы:
- Тепловая карта – теплыми цветами выделяются места с частыми кликами, холодными – с редкими.
- Монохромная карта – чем плотнее цвет на элементе, тем чаще его кликают.
- Клики по ссылкам и кнопкам – показывает частоту кликов на рабочие ссылки и кнопки.
- Карта прозрачности – на размытом фоне четко выделяются самые кликабельные участки страницы.
- Карта элементов – карта не областей, а конкретных элементов (изображений, текстовых блоков).
Например, для сайта seo.ru карта по ссылкам и кнопкам будет выглядеть так:
А выбирать режимы и фильтровать данные (выбирать сегменты, географию пользователей, период и другое) можно с помощью кнопок в верхнем правом углу.
Это очень важный инструмент, который помогает посмотреть на сайт глазами пользователя, обратить внимание на недостатки дизайна, выявить самое интересное для посетителей и развивать сайт в этом направлении.
Карта скроллинга
Карта скроллинга показывает, на каких местах страницы пользовали задерживаются чаще всего, какие элементы им нравятся больше остальных.
Чем теплее цвет, тем больше пользователей просматривает этот элемент. Справа внизу есть полоса диапазона цветов: можно выбрать цвет и посмотреть, что пользователи смотрят чаще или реже.
Так же, как и у карты кликов, в верхнем правом углу находится кнопка, за которой прячутся настройки показа (сегментация, временной период и так далее).
Индивидуальные настройки: избранное, организация виджетов, кастомизированные отчеты
Разобравшись с тем, как подключить Яндекс.Метрику к сайту и ознакомившись с основными функциями, настраивайте интерфейс под свои нужды.
Добавляйте отчеты в избранное, чтобы быстрее переходить к ним:
Заполняйте и организуйте дашборд так, как вам удобно:
Удаляйте или переставляйте виджеты сводки с помощью кнопки плитки.
Создайте кастомизированные отчеты – по собственным группам, сегментам и периодам, а также задайте расписание, по которому будете получать отчеты на почту. Как это сделать:
- Зайдите в стандартный отчет «Источники, сводка» и задайте для показа интересующие вас сегменты и параметры:
- Выберите «Сохранить как» в верхнем правом углу:
- Придумайте название для отчета:
- Вернитесь в «Мои отчеты» и убедитесь, что отчет сформировался:
- Кликните на него – откроется ваш новый отчет:
- А еще можно настроить отправку отчета на свой e-mail по расписанию (или e-mail клиента, если вы представляете агентство и решили отправлять ежемесячный отчет прямо из Метрики), кликнув на значок часов в верхнем правом углу:
- Укажите адрес почты, на которую должен приходить отчет, частоту и срок действия:
Самые полезные отчеты для SEO-специалистов
Разобраться с тем, как поставить Яндекс. Метрику, проще, чем с отчетами: их очень много, и очень сложно понять, куда смотреть и куда кликать. Да, во всех отчетах много полезной и подробной информации, но для поискового продвижения крайне важны несколько их них. Мы выбрали те, которые чаще всего используем в своей работе.
- Стандартные → Источники → Источники, сводка
Задача этого отчета – сравнить источники, с которых совершаются визит, то есть откуда пришел пользователь. Источники бывают разными: прямые заходы, из поиска, из соцсетей и так далее. Благодаря этому отчету можно выявить самые известные дороги к вашему сайту и самые скрытые.
Как найти отчет «Источники, сводка»
График источника «Посещения из поисковых систем»
- Стандартные → Источники → Поисковые запросы
Этот отчет помогает оценить отдачу от семантического ядра: вы увидите рейтинг поисковых систем, из которых приходят пользователи, и рейтинг запросов, по которым находят сайт. Сопоставив его со своей семантикой, можно подкорректировать ее и дополнить.
Как найти отчет «Поисковые запросы»
Диаграмма поисковых запросов
- Стандартные → Источники → Сайты
Этот отчет показывает результат внешнего продвижения: там показываются сайты, на которых размещены ссылки на ваш сайт. Можно оценить, насколько эффективно размещение ссылок на разных порталах.
Как найти отчет «Сайты»
График внешних переходов на сайт
- Стандартные → Содержание → Страницы входа
Отчет показывает, насколько хорошо работают оптимизированные страницы: какие из них пользователь просматривает дольше, с каких уходит рано, сколько было уникальных посетителей них. По этим данным можно понять, контент каких страниц нравится пользователям и на что ориентироваться при создании новых.
Как найти отчет «Страницы входа»
Отчет по страницам входа
- Технологии → Устройства
Отчет помогает понять, с помощью каких устройств и гаджетов пользователи обращаются к сайту, как выстраивается взаимодействие в зависимости от того, с десктопа посещение или с мобильного. Такие данные полезны для представления о пригодности страниц сайта для смартфонов и планшетов.
Как найти отчет «Устройства»
Отчет посещений сайта в разрезе устройств, с которых пользователи заходят на него
- Стандартные → Мониторинг → Результаты проверки
Показывает сбои в работе хостинга. Если сбоев много, пора менять хостинг.
Как найти отчет «Результаты проверки»
Временная шкала проверки сбоев в работе сайта
Важное уточнение: нельзя не забывать, что для адекватной оценки SEO-работ вместе с Метрикой нужно смотреть результаты Google Analytics (в другой статье мы рассказывали, как ее настроить).
В Метрике много других полезных и интересных функций, и освоив всю ту базу, о которой мы здесь рассказали, можно смело переходить к самостоятельному изучению и подстраиванию системы под свои интересы. А любую дополнительную и более подробную информацию можно найти в Яндекс.Помощи.
Яндекс. Метрика. От создания счётчика до настройки ключевых целей
Что такое счетчик Метрики и где его взять
Яндекс.Метрика — бесплатный инструмент для анализа интернет-рекламы. Она собирает информацию о посетителях сайта — кто они, из каких источников и по каким запросам приходят, какие действия совершают. На основе этой информации можно понять, как привлекать на сайт больше покупателей и тратить на это меньше денег.
Чтобы Метрика собирала данные, нужно настроить счетчик — код, который создается системой автоматически. Ваша задача добавить его на сайт и задать цели. После чего с помощью данных Метрики вы сможете проводить анализ рекламных кампаний в Директе.
Начнем с создания счетчика. Для этого зайдите в свой аккаунт Яндекс.Метрики. В левом верхнем углу кликните на «Добавить счетчик»:
Заполните поля и поставьте галочку, чтобы принять условия пользовательского соглашения:
Имя — рекомендуем использовать название компании.
Адрес сайта — указывается ссылка без http/https.
Выберите свой часовой пояс и укажите почту для уведомлений. На данном этапе можно подключить вебвизор, карту скроллинга и аналитику форм. Эти сервисы снимают короткие видео и фиксируют поведение пользователей на сайте — куда кликают, на что обращают внимание, как далеко заходят. Подключить их можно и позже.
После нажмите на «Создать счетчик», вы попадете в следующее меню:
Здесь вы можете скопировать код счетчика для установки на сайт и выбрать способ установки, подключить электронную коммерцию и контентную аналитику, а также задать дополнительные настройки.
! Для установки и проверки работоспособности счетчика обратитесь к специалистам, которые отвечают за поддержку сайта. Или закажите настройку Яндекс.Метрики в Aori — мы делали это уже много раз и знаем все тонкости.
После установки и настройки кода кликните «Начать пользоваться», и счетчик появится в списке. Или сразу перейдите к настройке целей.
Что такое цели и как их задать в Метрике
Цели показывают, сколько раз посетители совершали важные действия на сайте — покупали, оставляли заявку, переходили на страницу с контактами или в мессенджер. Чтобы видеть эту статистику, цели нужно настроить. Для этого кликните на название счетчика → «Цели» → «Добавить цель».
Выберите один из десяти типов целей. Это может быть просмотр нескольких страниц, посещение конкретной страницы, отправка формы и т.д. После выбора цели следуйте инструкции по добавлению нужных условий.
Ключевые цели
Ключевые цели — самые значимые цели Метрики, ориентируясь на которые стратегии Яндекс.Директа стараются привести максимум конверсий по указанной цене. Как это работает? Яндекс собирает статистику, по каким запросам и с каких площадок чаще всего приходят покупатели. А потом отдает им приоритет, увеличивая ставки для этих запросов и площадок.
Например, вы рекламируете магазин бытовой техники Ariston в Тюмени и хотите увеличить количество продаж. Из заданных ранее целей вы выбрали ключевую — оформление заказа на сайте. По статистике Яндекса больше всего покупателей приходит с поиска по запросам «стиральная машина аристон», «купить духовой шкаф ariston». Значит, в дальнейшем Яндекс будет увеличивать ставки для этих запросов на поиске.
Допускается добавление множества ключевых целей, но это может запутать алгоритмы оптимизации, поэтому рекомендованное количество — не более 2-3. Задавайте только цели, которые приносят прибыль — покупка, заявка, звонок и т.п.
При настройке ключевых целей нужно задать корректную ценность конверсии — оптимальную выгоду для бизнеса от достижения этой цели. Она указывается в рублях и считается по одной из формул:
Ценность конверсии = Прибыль от цели / Количество конверсий
Ценность конверсии = Прибыль от цели * Коэффициент конверсий по цели
Вернемся к примеру с магазином бытовой техники. Например, в среднем прибыль с онлайн-заказа равна 5000 ₽, а по телефону заказ подтверждает 90% покупателей.
Считаем:
Ценность конверсии (в данном случае онлайн-заказа) = 5000*90%=4500₽.
Ключевые цели учитываются всеми стратегиями, кроме «Оптимизация конверсий» и «Оптимизация рентабельности».
Подключение Метрики к Aori и настройка ключевых целей
Aori — больше чем сервис ведения рекламы. В интерфейсе системы можно не только управлять кампаниями, но и настраивать оптимизацию по ключевым целям и отслеживать статистику по их выполнению.
Для этого нужно связать Метрику с Aori. Зайдите в «Настройки кампании» → Яндекс → Счетчик.
Кликните «Выбрать» для счетчика:
Нажмите «Подключить» и вы попадете на страницу «Управление счетчиками»:
Кликните «Подключить аккаунт» и выберите «Яндекс.Метрика» → «Продолжить»
Разрешите Aori получать данные из Метрики, выберите нужные счетчики и нажмите «Продолжить». Готово!
Теперь вы будете видеть статистику из Метрики в Aori и сможете в несколько кликов задавать ключевые цели в интерфейсе системы.
Больше не надо прыгать с одной площадки на другую — вести рекламу и оценивать ее эффективность можно в интерфейсе Aori.
Чек-лист — от создания Метрики до подключения ключевых целей
Весь процесс по шагам:
-
Создайте счетчик в Яндекс. Метрике;
-
Скопируйте код и добавьте его на все страницы сайта;
-
Задайте цели, которые помогут отслеживать совершение важных действий — покупка, переход в мессенджер или заполнение заявки;
-
Свяжите счетчики Метрики с Aori в настройках кампании;
-
Задайте ключевые цели для повышения эффективности рекламы;
-
Ведите рекламу, отслеживайте статистику и анализируйте кампании в Aori.
Яндекс.Метрика — бесплатный многофункциональный сервис веб-аналитики. Если вы хотите оптимизировать рекламные кампании, опираясь на реальные данные о посетителях и конверсиях, без Метрики не обойтись. А подключение счетчиков и целей к Aori упростит процесс ведения и анализа рекламы.
Как настроить цели в Яндекс.Метрике
С Яндекс. Метрикой рано или поздно сталкивается каждый рекламодатель. С ее помощью можно построить много полезных отчетов и оценить эффективность рекламы. В этой статье мы разберем весь процесс настройки Метрики: от создания счетчика до работы с целями.
Получайте бонусы за инструменты Яндекса
Работаете с автостратегиями, ключевыми целями и смарт-баннерами? Получите до 10% от оборотов кампаний на личный счет и дополнительные проценты по партнерской программе eLama
ЗарегистрироватьсяИтак, Яндекс.Метрика — инструмент, в котором можно следить за посещаемостью сайтов и анализировать действия пользователей.
Метрика поможет:
- узнать, из каких источников приходят на сайт посетители;
- определить наиболее эффективные из этих источников;
- анализировать эффективность рекламы;
- оценить поведение пользователей на сайте.
При настройке счетчика Яндекс.Метрики необходимо создавать цели. Это те действия посетителя сайта, которые рекламодатель хочет отследить: просмотр определенного количества страниц, посещение конкретной страницы, нажатие кнопки, переход по ссылке, оплата заказа и т. д.
Как только пользователь попадает на сайт, Метрика начинает собирать информацию о нем и его поведении, а также фиксировать достижение целей — момент, когда посетитель выполнил условие, указанное в параметрах цели. Например, нажал на кнопку «Положить товар в корзину» или перешел на страницу с информацией о доставке. Получив эти данные, можно, например, проанализировать путь пользователя на сайте и понять, в какой момент люди чаще всего уходят, не оставив заявку.
Подготовительный этап: что делать перед настройкой целей
Проверить корректность работы счетчика
Банальный, но важный этап — убедиться, что счетчик Метрики установлен на всех страницах сайта и работает корректно.
В Службу Заботы eLama периодически поступают обращения о том, что цель в Метрике не срабатывает. Часто выясняется, что проблема не в цели, а в самом счетчике.
Проверить счетчик можно двумя способами:
- с помощью параметра _ym_debug=1 в консоли браузера;
- с помощью плагина для браузера.
Через параметр _ym_debug=1
1. Вызовите консоль браузера с помощью сочетания клавиш Ctrl + Shift + J (или ⌥ + ⌘ + J для iOS).
2. В адресной строке браузера добавьте к адресу страницы параметр _ym_debug=1 (обязательно укажите вопросительный знак перед параметром) и загрузите ее.
3. Если код установлен правильно, в консоли вы увидите номер счетчика и данные, которые отправляет код. Если в консоли отображается информация о номере счетчика и действии на странице (например, PageView), то счетчик работает корректно.
Через плагин для браузера
Существуют различные дополнения для браузеров, которые помогут проверить корректность работы счетчика на сайте.
1. Установите нужное расширение для вашего браузера, например для Chrome.
2. После установки справа от адресной строки появится значок.
3. Перейдите на нужный сайт и нажмите на этот значок дополнения.
Если счетчик установлен корректно, можно переходить к созданию целей.
Как создать цели в Метрике
Выберите вкладку «Цели» в левой вертикальной панели экрана, а затем нажмите «Добавить цель».
Укажите понятное и максимально подробное название, чтобы не запутаться, если целей будет много. Например, «Отправка формы обратного звонка» или «Посещение страницы благодарности» — подходящие названия, так вы сразу поймете, что это за цель. А от абстрактных вариантов «Посещение страниц» или «Нажатие кнопки» лучше отказаться. Особенно если страниц и кнопок на сайте больше одной.
Если планируете использовать цель для ретаргетинга, включите чекбокс «Ретаргетинг». Это не повлияет на саму цель и нужно, скорее, для удобства — цель попадет в раздел «Ретаргетинговые».
Следующий шаг — указать тип условия. Выбирайте тип цели в зависимости от действий, которые хотите отслеживать. На этом этапе важно понимать, что именно вы хотите фиксировать в качестве достижения цели и как полученные данные вам в дальнейшем помогут. О том, какие цели можно создать в Метрике, расскажем ниже.
Добавьте информацию о доходе: вы можете указать, сколько денег принесет достижение этой цели. Итоговые данные можно будет просматривать в отчетах. Нажмите «Добавить цель».
Какими бывают цели в Метрике
Все цели условно можно поделить по их использованию (назначению) и по условию достижения.
По использованию
Цели бывают:
- конверсионными,
- ретаргетинговыми.
Ретаргетинговые цели используются при создании условий подбора аудиторий в кампаниях, а конверсионные — для отслеживания показателей. На практике разницы между этими типами почти нет, а разделение служит для удобства управления. Более того, если конверсионная цель используется, например, для ретаргетинга в Директе, то в интерфейсе Метрики она автоматически станет ретаргетинговой.
По условию достижения
В Метрике есть 11 видов цели.
Количество просмотров
Цель будет считаться достигнутой, если пользователь просмотрит определенное число страниц сайта за один визит. Подходит для анализа вовлеченности пользователей. Эту цель можно использовать многостраничным сайтам (например, интернет-магазинам): чем больше страниц сайта просмотрит пользователь, тем он более заинтересован.
Чтобы настроить цель, укажите количество страниц сайта, которые должен посмотреть пользователь за один визит.
Посещение страниц
Вы указываете определенные страницы, которые вам важны, или задаете условие, которое они должны содержать. Например, цель будет считаться выполненной, если пользователь перейдет на страницу с благодарностью за оставленную заявку.
Доступны 4 условия:
- url: совпадает — укажите точный адрес целевой страницы. При переходе на эту страницу цель будет считаться достигнутой.
- url: содержит — укажите часть URL. Этот вариант подходит, если у вас несколько целевых страниц и их можно объединить одним условием. Например, определенная группа товаров в интернет-магазине.
- url: начинается с — укажите только начальную часть URL. Условие подходит для отслеживания посещения подкаталогов.
- url: регулярное выражение — можно отслеживать страницы, соответствующие произвольным шаблонам. Например, если вы хотите отследить не все страницы подкаталога, а некоторые из них. Подробнее о работе с регулярными выражениями, читайте в справке Яндекса.
JavaScript-событие
Позволяет отслеживать не страницы, а события на сайте, при выполнении которых не меняется URL страницы. Например, заполнение формы, нажатие кнопки и т. д. Чтобы настроить эту цель, вам пригодятся навыки программирования. Подробнее о том, как это сделать, читайте в справке Яндекса.
Составная цель
Состоит из нескольких последовательных действий, которые вы хотите фиксировать. Эту цель хорошо использовать, чтобы понимать путь пользователя на сайте. Например, в какой момент пользователи, не оставившие заявку, покидают сайт.
Для настройки цели добавьте необходимые шаги (не более 5). В качестве шагов можно использовать цели «Посещение страниц» и «JavaScript-событие».
Клик по номеру телефона
Пригодится, если вы не пользуетесь коллтрекингом. Цель будет считаться выполненной, когда посетитель нажмет на ссылку с номером телефона.
Можно настроить:
- Для всех номеров на сайте. Метрика распознает номер по наличию tel в ссылках. Например, <a href=»tel:+70123456789″>+7 012 345-67-89</a>.
- Для определенного номера. Метрика будет искать tel:<указанный номер> в ссылках.
Вы сможете собирать минимальную аналитику по звонкам и использовать ее для оптимизации кампаний.
Клик по email
Достигается, когда посетитель нажимает на ссылку с email-адресом.
Можно отслеживать клики:
- По всем email-адресам. Метрика будет искать mailto:<указанный адрес> в ссылках и фиксировать клики по всем адресам.
- По конкретному email-адресу. Укажите его в поле так же, как он указан в ссылке. Например, [email protected]. Убедитесь, что написание полностью совпадает.
Отправка формы
Позволяет отслеживать отправку форм, например при оформлении заказа. В отличие от настройки «JavaScript-событие», в этом типе цели не нужно вносить дополнительных изменений в код сайта. Но сам сайт должен соответствовать следующим требованиям:
- Форма создана с помощью тега form. Если форма сделана через теги div, она отслеживаться не будет.
- Форма отправляется через элемент button type=»submit». Если отправка реализована через button type=»button», цель достигаться не будет.
- Элемент button type=»submit» должен находиться внутри элемента form.
Выберите, для каких форм нужно создать цель. Если это «Конкретная форма», укажите в поле страницу сайта, на которой она размещена, и нажмите кнопку «Перейти и выбрать форму».
В появившемся окне Метрика подсветит формы, которые удалось найти на странице. Формы доступны только на страницах, где были визиты в течение последних 30 дней.
Переход в мессенджер
Помогает отслеживать переходы посетителей сайта по ссылкам в мессенджеры.
Используя цель, можно узнать:
- сколько посетителей переходят в мессенджеры;
- из каких источников трафика выполняется эта цель.
Для настройки цели выберите, для каких мессенджеров нужно создать цель:
- Для всех мессенджеров. Метрика распознает мессенджеры по наличию их URL в ссылках. Например, <a href=»messenger.com»>Написать</a>.
- Для определенного мессенджера. Используйте этот способ, например, для отслеживания разных мессенджеров. Метрика будет искать <указанный адрес> в ссылках. Доступные мессенджеры: Яндекс.Мессенджер, Facebook, Skype, Telegram, Viber, WhatsApp, ВКонтакте.
Скачивание файлов
Позволяет отслеживать скачивание всех файлов на сайте или только некоторых из них. Рекомендуем ознакомиться с поддерживаемыми типами файлов до настройки цели.
Если вы выбрали «Конкретная файл», укажите название файла в поле. Например, имя_файла\.*. Убедитесь, что написание полностью совпадает.
Поиск по сайту
Поможет узнать, насколько часто посетители пользуются поиском на сайте. Если на сайте есть возможность найти товар, услугу или информацию с помощью поиска, вы можете это отслеживать.
Проверьте, какой GET-параметр используется для поиска на вашем сайте. Найти нужный параметр можно в справке.
- Если q, text, query или search, переходите к созданию цели.
- Если другой, нажмите «Дополнительные настройки» и в поле введите параметр.
Клик по кнопке
Помогает отслеживать нажатие на кнопки и другие кликабельные элементы. Метрика считает элементы кликабельными, если в них есть теги a, button, div и input.
Чтобы настроить цель, укажите в поле страницу сайта, на которой размещена кнопка. По умолчанию будет показан самый популярный URL. Затем Метрика предложит вам выбрать элемент.
В режиме выбора элемента наведите курсор мыши на нужную вам кнопку, отметьте ее и нажмите «Отслеживать клики». Чтобы перейти на другую страницу или открыть всплывающее окно, выберите «Взаимодействие с сайтом».
После того как вы настроили цели, важно проверить, что они правильно работают.
Как узнать, работает ли цель
1. Перейдите на сайт и выполните действие, указанное в цели.
Важно: если в настройках счетчика задан фильтр «Не учитывать мои визиты», проверьте цели на сайте в режиме инкогнито.
2. Затем перейдите в отчет «Конверсии» и проверьте, появились ли данные по выполненной вами цели.
Иногда рекламодатели начинают проверять свою выполненную цель в рекламных отчетах. Важно понимать, что ваш визит не является рекламным и увидеть его в отчетах группы «Директ» вы не сможете.
Что еще важно учитывать при работе с целями
1. Если вы решили отредактировать цель, то накопленная ранее статистика не изменится.
2. В отчетах нет статистики по удаленным целям.
3. В Метрике можно настроить ограниченное количество целей — не более 200 для одного счетчика. Учитывайте, что при удалении цели статистика по ней не сохранится.
4. Часто рекламодатели сравнивают конверсии по цели в Директе с конверсиями по той же цели в Метрике. В большинстве случаев данные не сходятся. Дело в том, что конверсии в Директе считаются иначе, чем конверсии в Метрике. Чтобы корректно сопоставлять данные из Метрики и Директа, важно помнить, что:
- Конверсия в Директе = целевой визит в Метрике.
- В Метрике необходимо смотреть отчет «Директ, сводка».
- В обоих отчетах должна быть одинаковая модель атрибуции — «Последний переход». При выборе любых других атрибуций возможны расхождения в статистике. Например, при выборе атрибуции «Последний переход из Директа» в отчеты Метрики могут попадать визиты из любых других источников, если им предшествовал визит по рекламе Директа.
Подводя итоги
Настраивать цели в Метрике не очень сложно. Главное — внимательно изучить терминологию и ознакомиться с инструкцией. Если у вас возникли сложности в процессе настройки — пишите в Службу Заботы eLama. Мы считаем вопросы о Метрике одними из самых интересных и поможем вам разобраться.
Как установить Яндекс Метрику на сайт за 5 минут
Автор Константин Дубоносов На чтение 14 мин Просмотров 1.4к. Опубликовано Обновлено
Как установить метрику на сайт инструкция по шагам с примерами. Коротко инструкция выглядит так:
- Переходим по адресу https://metrika.yandex.ru/ (если у Вас есть аккаунт на Яндексе)
- Нажимаем желтую кнопку Добавить счётчик
- Указываем название (любое понятное для Вас)
- Вставляем адрес сайта (можно с https://, www или без – это неважно)
- Ставим галочку ☑️ Я принимаю условия Пользовательского соглашения
- Кликаем на кнопку Создать счётчик
- Прокручиваем вниз и на чёрном фоне нажимаем кнопку Скопировать код
- Вставить (Ctrl+V) скопированный код на сайт в пределах тегов <head></head> или <body></body>
А теперь подробней и в картинках.
Как устанавливать Яндекс Метрику на сайт
Яндекс Метрика – один из сервисов Яндекса, предоставляющий услуги бесплатной веб-аналитики сайта. Для получения доступа к сервису необходимо иметь почту на Яндекс типа @yandex.ru, которая является пропуском ко всем сервисам Яндекс.
Если у Вас нет почты на Яндекс, вот инструкция – как зарегистрироваться на Яндекс.
Для тех, кто уже завёл почту на Яндекс – то идём по адресу https://metrika.yandex.ru/
Если у Вас на логине нет счётчиков метрики
- которые сделали вы (но забыли)
- к которым вам предоставили доступ на этот логин
- которые были автоматически сделаны для Яндекс Справочника
То вы увидите следующую картину
Нажимаем Добавить счётчик, и оказываемся тут https://metrika.yandex.ru/add
- Указываем имя счётчика (видно только вам)
- Указываем Адрес сайта (домен или полный путь сайта)
Домен или полный путь сайта. Например, example.ru или example.ru/category/. https:// и www убираются автоматически
⊗ Дополнительный адреса – не надо, если не понимаете зачем
Дополнительные адреса сайта. Используются для мониторинга доступности сайта, фильтрации посторонних данных из отчетов и сбора статистики по внутренним переходам.
⊗ Принимать данные только с указанных адресов – не надо, если не понимаете зачем
Эта опция не позволит владельцам сторонних сайтов случайно или умышленно отправлять ненужные данные в ваши отчеты. Например, сторонний сервис или домен шлёт данному счётчику данные о пользователях, сделках, метках и т.д.
Вебвизор, карта скроллинга, аналитика форм
Это 3 самые крутые отчёта в Яндекс Метрике, которые дают визуальную аналитику страниц сайта.
Подробные записи действий посетителей на сайте: движения мышью, прокручивание страницы и клики.
Включая Вебвизор, вы обязуетесь соблюдать п.15 пользовательского соглашения Яндекс.Метрики. Вебвизор записывает действия посетителей на сайте, в том числе содержимое полей форм — при этом данные в конфиденциальных полях автоматически заменяются на «звездочки». Отключить запись полей можно в настройках Вебвизора.✅ Включаем обязательно, очень крутая штука.
Ставим галочку ☑️ Я принимаю условия Пользовательского соглашения
Нажимаем Создать счётчик
Настройка Яндекс Метрики для сайта
Электронная коммерция
Если у вас не интернет магазин, Вы не используете готовый конструктор сайтов или шаблон со встроенными функциями передачи данных в метрику, а так же если вы лично не можете настроить передачу данных с сайта в метрику (+Вас нет знакомого программиста, который делал Вам сайт), то просто не включайте эту функцию. Она не будет работать просто так.
Во всех остальных случаях вы можете это всегда настроить потом (когда сделаете передачу данных). В целом интересная функция если хотите анализировать суммы покупок.
Контентная аналитика
Опять же, эта функция нужна в том случае, если у Вас прикручен блог к сайту или сайт и есть блог (типа WordPress), где размечен текст специальными тегами Schema.org или Open Graph. Вообщем при простой настройке она Вам не нужна.
Но если, у Вас всё-таки есть разметка за счёт качественного шаблона или CMS (ну или конструктора сайтов), то это даст доступ к отчёту Контент в Яндекс Метрике
Дополнительные настройки
Тут можете ничего не изменять и оставить всё как есть
Для тех кому интересно что это значит подробности в спойлера.
Валюта
Валюта, которая по умолчанию используется для задания ценности цели, а также для данных по доходу Директа и электронной коммерции. Ну тут понятно я думаю.
Тайм-аут визита в минутах
Время бездействия посетителя на сайте, после которого визит считается завершенным. Действия посетителя на сайте по истечении установленного времени будут считаться в рамках нового визита. От этого параметра зависит как часто у Вас в отчёте будут 🏠внутренние переходы.
Это такая ситуация, что после того, как пользователь “уснул” на сайте и не “шевелиться” столько минут, сколько вы указали, то его визит записывается заново, если он вдруг “проснулся”. Такое пробуждение записывается как новый визит, а так как он и так был на сайте, а не пришёл с других страниц интернета, то это считается во внутренний переход.
Для XML сайтов
XML сайт это сайт, страницы которого являются простыми XML файлами с MIME типом “text/xml” “application/xml“. Короче говоря это такой язык разметки (как HTML), который в котором элемент noscript не должен использоваться. Иначе обрамленный этим тегом кода на XML сайте будет некорректно работать. Ставить эту галочку нужно, если у Вас XML сайт
В одну строку
Эта функция убирает все отступы и абзацы в коде счётчика и делает его в сроку. Может кому и надо, обычно не надо включать.
Альтернативный CDN
Позволяет корректно учитывать посещения из регионов, в которых ограничен доступ к ресурсам Яндекса. Использование этой опции может снизить скорость загрузки кода счётчика. CDN Сеть доставки(и дистрибуции) содержимого (англ. Content Delivery Network или Content Distribution Network) – географически распределённая сетевая инфраструктура, позволяющая оптимизировать скорость загрузки сайта (контента). Проще говоря, если похожий кусок кода физически находиться ближе к вашему хостинг провайдеру, то он подгрузиться быстрей, чем весь сайт целиком будет лететь к Вам из Владивостока через интернет.
Устаревший код счётчика
Ставьте, конечно, если хотите использовать предыдущую версию Вебвизора. Актуальная версия кода счетчика поддерживает только Вебвизор 2.0.Ключевое отличие второго от первого в том, что Вебвизор 2.0 не требует детальной настройки и записывает именно то содержимое сайта, которое видели посетители.
Информер Метрики
Это вариант всем посетителям сайта иметь доступ в реальном времени за последние 7 дней о статистике сайта по
- посетителям
- визитам
- просмотрам
Включив данную опцию надо выбрать его внешний вид и какие именно данные будут отображаться первыми.
При переустановке счётчика с этой настройкой или при первой установке с этой настройкой лучше выбрать место расположения кода счётчика метрики в подвале сайта. Иначе он будет висеть прямо в самом верху сайта.
Установка кода счётчика метрики на сайт
Рассмотрим 3 способа как установить метрику на сайт, которые нам рекомендуем сам Яндекс.
Установка Метрики через HTML
Это самая общая инструкция на все варианты, где у Вас есть доступ к коду сайта. Далее идёт мини-инструкция с пояснениями от Яндекса.
Давайте разбираться, что она означает:
- Добавьте код счетчика в HTML-код всех страниц сайта – означает, что лучше вставлять в такую часть сайта, которая сквозным образом присутствует на всех страницах. Обычно это “шапка” (header) сайта или “подвал” (footer) сайта. Иначе говоря, добавив код счётчика в такую часть он будет присутствовать на всех страницах, где представлена эта часть.
- разместить в пределах тегов <head> </head> или <body> </body> – для тех кто далёк от HTML, но хочет самостоятельно установить код счётчика, то вот ориентиры общие ориентиры при просмотре кода сайта
<head> //сразу после открывающего тега head ....код сайта... //перед закрывающим тегом head </head> //после закрывающего тега head и перед открывающим тегом body
<body> //после открывающего тега body ....код сайта... //перед закрывающим тегом body </body>
- как можно ближе к началу страницы – скорей всего это перед закрывающим тегом head (но это лично моё мнение)
- так он будет раньше загружаться и сможет отправить данные о просмотре в Метрику, даже если посетитель почти сразу же закроет страницу – тут они говорят про то, что код грузиться у пользователя сверху вниз, поэтому чем выше вы его вставите, тем быстрее пойдет запись посещения пользователя в данные счётчика.
- Если вы установили код на сайт, а потом поменяли настройки счетчика, код нужно обновить на всех страницах – это на случай, если вы вдруг решили добавить какие-то функции в счётчик, что нажатие на них в настройках не меняет кода на сайте и его надо переустановить.
Во-первых копируем код из черного окна нажатием на жёлтую кнопку Скопировать код
Во-вторых вставляем скопированный код перед закрывающим тегом </head> на вашем сайте.
Далее нажимаем кнопку Начать пользоваться
и оказываемся на странице https://metrika.yandex.ru/list где у нашего счётчика теперь есть статус иконкой, имя, номер.
Если вы всё сделали корректно, то надо нажать на иконку и она через несколько секунд станет зеленой.
Статусы кода счётчика Яндекс Метрика
Итак, это самый общий путь как установить метрику на сайт. Давайте рассмотрим оставшиеся 2 способа. CMS и конструкторы сайтов, а так же установка Метрики через Google Tag Manager.
CMS и конструкторы сайтов
Начнём с популярных CMS и конструкторов, если не хватает именно вашей – пишите в комментарии и я добавлю информацию о том, как установить метрику на сайт именно для Вашей CMS.
Как узнать номер счётчика метрики
Для тех кто читал инструкцию сначала, это очевидно. Но не все читают сначала, это нормально. Далее нам пригодиться номер счётчика метрики поэтому вот минимум 3 места где можно его скопировать, если вы его сделали.
Tilda
На Тильде поставить Метрику дадут только на платном тарифе или на бесплатном тест-драйве.
Оказавшись на странице проектов https://tilda.cc/projects/ нажимаем на свой проект, после чего оказываемся внутри и уже там нажимаем на Настройка сайта
Далее переходим на вкладку Аналитика и там мелким шрифтом находим ссылку ввести вручную
после чего можем скопировать номер счётчика со страницы https://metrika.yandex.ru/list (он состоит из 8 цифр) и вставить в это поле (смотри выше).
Не забудьте нажать Сохранить изменения в верхнем правом углу, иначе ничего не выйдет.
Второй вариант – находим после слов Яндекс Метрика кнопку Подключить, нажимаем на нее и нас перебрасывает https://oauth.yandex.ru/authorize
Чтобы всё получилось вы должны быть в этом же браузере быть залогинены под той почтой, где вы сделали счётчик метрики. Если вы именно в этой почте (читай логине), то нажимаем Разрешить, если нет, то Выбрать другой аккаунт.
Если всё прошло отлично, то окно с доступом закроется само, после чего надо вернуться на страницу настроек сайта вашего проекта (если этого не случилось автоматически). Уже вместо кнопки подключить в той же вкладке будет список счётчиков (если у Вас их много). надо выбрать 1 из выпадающего списка.
Потом просто нажимаем Сохранить изменения в верхнем правом углу. Теперь всё должно работать корректно, счётчик подключен.
Так же инструкция от Tilda по ссылке http://help-ru.tilda.ws/statistic/yandex-metrika
Битрикс
1-С Битрикс одна из самых популярных CMS для e-commerce, которая существует уже довольно давно.
Готовая инструкция от 1c-bitrix по подключению счётчика метрики https://dev.1c-bitrix.ru/learning/course/index.php?COURSE_ID=41&LESSON_ID=11805
В данном случае придётся один раз залезть в код шаблона сайта.
Обратите внимание как именно вы сохраняете изменение в коде шаблона. От “того может зависеть работоспособность части шаблона. А еще лучше скачайте оригинал перед внесением изменений.
Кстати, вариант по-проще, если у Вас оплаченная лицензия 1-С Битрикс, то можно установить вот такое расширение
Ссылка на установку http://marketplace.1c-bitrix.ru/solutions/slam.counters/#tab-about-link, где если у Вас вдруг нет лицензии можно списаться с разработчиками и попросить выслать Вам архив. Полученный архив можно установить в обход официального маркетплейса.
Если всё получилось и установилось остаётся только вставить код счётчика в соответствующее окно и сохранить
под header здесь имеется ввиду <head>OpenCart
Установка на OpenCart (помимо прямой вставки кода в шаблон сайта) произсожит через бесплатный плагин
Ссылка на плагин https://www.opencart.com/index.php?route=marketplace/extension/info&extension_id=32175&page=1
Joomla
Установка Яндекс Метрики на Joomla больше напоминает вариант с размещением через HTML или как вариант 2 – размещение html-блока.
Подробная инструкция по ссылке http://joomla.ru/articles/promotion/2593-yandex-metrica
Creatium и PlatformaLP
Соединил эти 2 конструктора, так как они являются дочерними. PlatformaLP больше для одностраничников, а Creatium для полноценных сайтов.
В аккаунте PlatformaLP на странице https://app.platformalp.ru/#!/pages/ Страницы переходим в Настройки нужного нам сайта.
Внутри переходим на вкладку Метрика и Скрипты и нажимаем Добавить плагин, после чего выбираем Яндекс Метрика
Потом
- Называем плагин, так как вам удобно или так, чтобы можно было отличить по названию
- Выбираем расположение (head, начало body, конец body)
- Указываем номер счётчика из 8 цифр
- Если надо включаем CDN (выше писал что это такое)
- Нажимаем сохранить
В Creatium всё примерно так же, выбрав сайт переходим во вкладку Плагины
В плагинах выбираем или Новый плагин и потом ищем из выпадающего списка Яндекс Метрику либо сразу кликаем на Подключить в готовом варианте YandexMetrika
Там заполняем уже знакомые поля
- Имя плагина
- Положение (тут 2 варианта перед </head> или после <body>)
- Номер счётчика из 8 цифр
- Обязательно включаем вебвизор (без этой галочки он не будет работать, даже если вы указали на в настройках Метрики чтобы он был)
- Альтернативный CDN по вкусу (если возвращает ошибку статус, то включите) и Сохранить
Как установить метрику на сайт в другие CMS
Не хочется перечислять все возможные CMS и конструкторы, поэтому я описал только самые часто спрашиваемые. Все остальные интеграции и ссылки на статьи в конкретных CMS и конструкторах, написанные самими разработчиками можно найти на странице
https://metrika.yandex.ru/about/info/integrations
Если и там не понятно, пишите в комментарии – Я помогу разобраться.
Системы управления тегами
Как видно из примеров выше, у каждого сайта может быть множество различных плагинов, кодов для интеграции со сторонними сервисами аналитики, сбора информации и т.д. В тот момент, когда их становиться очень много помогают системы управления тегами.
Это третий из возможных вариантов размещения кода счётчика метрики на ваш сайт. Он подразумевает размещение кода системы управления тегами, через которые вы уже размещаете все остальные коды. То есть – это код размещения кодов (и не только)
В описании указаны 2 наиболее популярных
- Google Tag Manager подробно рассмотрено в данной статье Как поставить Яндекс Метрику через Google Tag Manager и коротко как установить GTM на сайт
- Tealium – не будет рассмотрено в данной статье.
Во-первых хотелось бы сказать спасибо, всем кто дочитал до конца, я за вами слежу. Вас мало, но Я вас ценю.
Во-вторых очень я очень надеюсь, что это одна из самых подробных статей, о том как установить метрику на сайт через HTML и для отдельных CMS.
В итоге жду вопросов и комментариев, если что-то не понятно.
История | Документация ClickHouse
- Введение
ClickHouse изначально был разработан для поддержки Яндекс.Метрики, второй по величине платформы веб-аналитики в мире, и продолжает оставаться основным компонентом этой системы. Благодаря более чем 13 триллионам записей в базе данных и более чем 20 миллиардам событий ежедневно, ClickHouse позволяет создавать настраиваемые отчеты на лету непосредственно из неагрегированных данных. В этой статье кратко рассматриваются цели ClickHouse на ранних этапах его развития.
Яндекс.Метрика «на лету» строит настраиваемые отчеты на основе обращений и сессий, с произвольными сегментами, определяемыми пользователем. Для этого часто требуется построение сложных агрегатов, таких как количество уникальных пользователей. Новые данные для построения отчета поступают в режиме реального времени.
По состоянию на апрель 2014 года Яндекс.Метрика ежедневно отслеживала около 12 миллиардов событий (просмотров страниц и кликов). Все эти события необходимо сохранять для построения настраиваемых отчетов. Для одного запроса может потребоваться сканирование миллионов строк за несколько сотен миллисекунд или сотен миллионов строк всего за несколько секунд.
Использование в Яндекс.Метрике и других сервисах Яндекса
ClickHouse выполняет несколько задач в Яндекс.Метрике.
Его основная задача — построение отчетов в режиме онлайн с использованием неагрегированных данных. Он использует кластер из 374 серверов, на которых хранится более 20,3 триллиона строк в базе данных. Объем сжатых данных составляет около 2 ПБ без учета дубликатов и реплик. Объем несжатых данных (в формате TSV) составит примерно 17 ПБ.
ClickHouse также играет ключевую роль в следующих процессах:
- Хранение данных для воспроизведения сеанса от Яндекс.Метрика.
- Обработка промежуточных данных.
- Создание глобальных отчетов с помощью Analytics.
- Выполняемые запросы для отладки движка Яндекс.Метрики.
- Анализ журналов из API и пользовательского интерфейса.
На сегодняшний день существует несколько десятков инсталляций ClickHouse в других сервисах и отделах Яндекса: вертикали поиска, электронная коммерция, реклама, бизнес-аналитика, мобильная разработка, персональные сервисы и другие.
Агрегированные и неагрегированные данные
Существует широко распространенное мнение, что для эффективного расчета статистики необходимо агрегировать данные, поскольку это уменьшает объем данных.
Но агрегирование данных имеет ряд ограничений:
- У вас должен быть заранее определенный список необходимых отчетов.
- Пользователь не может создавать собственные отчеты.
- При агрегировании по большому количеству отдельных ключей объем данных практически не уменьшается, поэтому агрегирование бесполезно.
- Для большого количества отчетов существует слишком много вариантов агрегирования (комбинаторный взрыв).
- При агрегировании ключей с высокой мощностью (таких как URL-адреса) объем данных не уменьшается значительно (менее чем в два раза).
- По этой причине объем данных с агрегированием может увеличиваться, а не сокращаться.
- Пользователи не просматривают все отчеты, которые мы для них создаем. Большая часть этих вычислений бесполезна.
- Логическая целостность данных может быть нарушена для различных агрегатов.
Если мы ничего не агрегируем и не работаем с неагрегированными данными, это может уменьшить объем вычислений.
Однако при агрегации значительная часть работы переводится в автономный режим и выполняется относительно спокойно.Напротив, онлайн-расчеты требуют максимально быстрого расчета, поскольку пользователь ждет результата.
Яндекс.Метрика имеет специализированную систему агрегирования данных Metrage, которая использовалась для большинства отчетов.
Начиная с 2009 года Яндекс.Метрика также использовала специализированную базу данных OLAP для неагрегированных данных под названием OLAPServer, которая ранее использовалась для построения отчетов.
OLAPServer хорошо работал с неагрегированными данными, но имел множество ограничений, которые не позволяли использовать его для всех отчетов должным образом.К ним относятся отсутствие поддержки типов данных (только числа) и невозможность постепенного обновления данных в режиме реального времени (это можно было сделать только путем ежедневной перезаписи данных). OLAPServer — это не СУБД, а специализированная БД.
Первоначальной целью ClickHouse было снятие ограничений OLAPServer и решение проблемы работы с неагрегированными данными для всех отчетов, но с годами он превратился в универсальную систему управления базами данных, подходящую для широкого круга задач. аналитические задачи.
Пример записи ClickHouse: пример данных Яндекс.Метрика
1. Описание
См. Официальное руководство: https: //clickhouse.tech/docs/en/getting-started/tutorial/
Яндекс.Метрика — это сервис веб-аналитики, и примерный набор данных не охватывает его полную функциональность, поэтому нужно создать только две таблицы:
ЯндексМетрика — сервис сетевого анализа. Набор данных примера не включает все его функции, поэтому можно создать только две таблицы:
обращений — это таблица с каждым действием, выполненным всеми пользователями на всех веб-сайтах, на которые распространяется услуга.
посещений — это таблица, которая содержит предварительно созданные сеансы вместо отдельных действий.
Хитов — это таблица, в которой указаны все действия, выполненные всеми пользователями на всех веб-сайтах, на которые распространяется услуга.
посещений — это таблица заранее созданных сеансов, а не отдельных операций.
2. Достаем таблицу из подготовленного раздела
2.1 Скачать данные
Из-за ограничений внутренней сети компании данные не могут быть загружены непосредственно на сервер.
Здесь мы используем систему Windows для загрузки данных и загрузки их на сервер Linux
https://clickhouse-datasets.s3.yandex.net/hits/partitions/hits_v1.tar
https://clickhouse-datasets.s3.yandex.net/visits/partitions/visits_v1.tar
2.2 Импорт данных
(1) Загрузить на сервер
[[адрес электронной почты защищен] ~] # ll / tpdata / data /
всего 4110280
-rw-r - r-- 1 root root 1271623680 14 сен 13:59 hits_v1.tar
-rw-r - r-- 1 root root 563968000 14 сентября 13:44 посещений_v1.деготь
[[электронная почта защищена] ~] #
(2) Импорт данных
Обратите внимание, что / var / lib / clickhouse — это текущий каталог данных. Если каталог данных был изменен, вам необходимо распаковать его в соответствующий каталог.
[[защищенные по электронной почте] данные] # tar xvf hits_v1.tar -C / var / lib / clickhouse
данные / наборы данных / hits_v1 /
данные / наборы данных / hits_v1 / format_version.txt
data / datasets / hits_v1 / detached /
data / datasets / hits_v1 / 201403_10_18_2 /
...
[[защищенные по электронной почте] данные] # tar xvf visit_v1.tar -C / var / lib / clickhouse
данные / наборы данных / посещения_в1 /
данные / наборы данных / visit_v1 / format_version.txt
data / datasets / visit_v1 / 20140317_20140323_3_4_1 /
...
(3) Перезапустить службу
[[email protected] data] # systemctl restart clickhouse-server
2.3 Простая статистика
[[данные, защищенные электронной почтой]] # clickhouse-client --password --query "ВЫБРАТЬ СЧЕТЧИК (*) ИЗ datasets.hits_v1"
Пароль для пользователя (по умолчанию):
8873898
[[защищенные по электронной почте] данные] # clickhouse-client --password --query "ВЫБРАТЬ КОЛИЧЕСТВО (*) ИЗ наборов данных.посещений_v1 "
Пароль для пользователя (по умолчанию):
1676861
[[защищенные по электронной почте] данные] #
3. Получить таблицу из сжатого файла TSV
3.1 Скачать сжатые файлы
https://clickhouse-datasets.s3.yandex.net/hits/tsv/hits_v1.tsv.xz
https://clickhouse-datasets.s3.yandex.net/visits/tsv/visits_v1.tsv.xz
[[данные, защищенные электронной почтой]] # ll
всего 6478640
drwxr-xr-x 3 root root 4096 14 сен 15:09 данные
-rw-r - r-- 1 root root 1271623680 14 сен 13:59 hits_v1.деготь
-rw-r - r-- 1 root root 841046840 14 сен, 16:37 hits_v1.tsv.xz
drwxr-xr-x 3 root root 4096 14 сентября 15:09 метаданные
-rw-r - r-- 1 root root 3532492212 14 сен, 15:38 ontime.csv.xz
-rw-r - r-- 1 root root 563968000 14 сен 13:44 посещений_v1.tar
-rw-r - r-- 1 root root 424963796 14 сентября 16:27 visit_v1.tsv.xz
[[защищенные по электронной почте] данные] #
3.2 Новая таблица данных
(1) Создать новую базу данных
[[email protected] ~] # clickhouse-client --password --query "СОЗДАТЬ БАЗУ ДАННЫХ, ЕСЛИ НЕ СУЩЕСТВУЕТ, руководство"
Пароль для пользователя (по умолчанию):
[[электронная почта защищена] ~] #
(2) Создайте новый учебник.hits_v1
СОЗДАТЬ ТАБЛИЦУ tutorial.hits_v1
(
`WatchID` UInt64,
`JavaEnable` UInt8,
Строка `Title`,
`GoodEvent` Int16,
`EventTime` DateTime,
Дата события,
`CounterID` UInt32,
`ClientIP` UInt32,
`ClientIP6` FixedString (16),
`RegionID` UInt32,
`UserID` UInt64,
`CounterClass` Int8,
`OS` UInt8,
UserAgent UInt8,
Строка URL,
Строка `Referer`,
Строка URLDomain,
Строка RefererDomain,
`Обновить` UInt8,
`IsRobot` UInt8,
Массив RefererCategories (UInt16),
Массив URLCategories (UInt16),
Массив URLRegions (UInt32),
Массив RefererRegions (UInt32),
`ResolutionWidth` UInt16,
`ResolutionHeight` UInt16,
`ResolutionDepth` UInt8,
`FlashMajor` UInt8,
`FlashMinor` UInt8,
Строка FlashMinor2,
`NetMajor` UInt8,
`NetMinor` UInt8,
UserAgentMajor UInt16,
`UserAgentMinor` FixedString (2),
CookieEnable UInt8,
`JavascriptEnable` UInt8,
`IsMobile` UInt8,
`MobilePhone` UInt8,
Строка MobilePhoneModel,
Строка Params,
`IPNetworkID` UInt32,
`TraficSourceID` Int8,
`SearchEngineID` UInt16,
Строка SearchPhrase,
`AdvEngineID` UInt8,
`IsArtifical` UInt8,
WindowClientWidth UInt16,
WindowClientHeight UInt16,
`ClientTimeZone` Int16,
ClientEventTime DateTime,
`SilverlightVersion1` UInt8,
`SilverlightVersion2` UInt8,
`SilverlightVersion3` UInt32,
`SilverlightVersion4` UInt16,
Строка PageCharset,
`CodeVersion` UInt32,
`IsLink` UInt8,
`IsDownload` UInt8,
`IsNotBounce` UInt8,
`FUniqID` UInt64,
`HID` UInt32,
`IsOldCounter` UInt8,
`IsEvent` UInt8,
`IsParameter` UInt8,
`DontCountHits` UInt8,
`WithHash` UInt8,
`HitColor` FixedString (1),
`UTCEventTime` DateTime,
`Возраст` UInt8,
`Секс` UInt8,
`Доход` UInt8,
`Интересы` UInt16,
`Роботность` UInt8,
Массив GeneralInterests (UInt16),
`RemoteIP` UInt32,
`RemoteIP6` FixedString (16),
`WindowName` Int32,
`OpenerName` Int32,
`HistoryLength` Int16,
`BrowserLanguage` FixedString (2),
`BrowserCountry` FixedString (2),
Строка SocialNetwork,
Строка SocialAction,
`HTTPError` UInt16,
`SendTiming` Int32,
`DNSTiming` Int32,
`ConnectTiming` Int32,
`ResponseStartTiming` Int32,
`ResponseEndTiming` Int32,
`FetchTiming` Int32,
`RedirectTiming` Int32,
`DOMInteractiveTiming` Int32,
`DOMContentLoadedTiming` Int32,
`DOMCompleteTiming` Int32,
`LoadEventStartTiming` Int32,
`LoadEventEndTiming` Int32,
`NSToDOMContentLoadedTiming` Int32,
`FirstPaintTiming` Int32,
`RedirectCount` Int8,
`SocialSourceNetworkID` UInt8,
Строка SocialSourcePage,
`ParamPrice` Int64,
Строка ParamOrderID,
`ParamCurrency` FixedString (3),
`ParamCurrencyID` UInt16,
Массив GoalsReached (UInt32),
Строка OpenstatServiceName,
Строка OpenstatCampaignID,
Строка OpenstatAdID,
Строка OpenstatSourceID,
Строка UTMSource,
Строка UTMMedium,
Строка UTMCampaign,
Строка UTMContent,
Строка UTMTerm,
Строка FromTag,
`HasGCLID` UInt8,
`RefererHash` UInt64,
`URLHash` UInt64,
`CLID` UInt32,
`YCLID` UInt64,
Строка ShareService,
Строка ShareURL,
Строка ShareTitle,
`ParsedParams` Вложенный (
Key1 String,
Key2 String,
Key3 String,
Key4 String,
Key5 String,
ValueDouble Float64),
`IslandID` FixedString (16),
`RequestNum` UInt32,
`RequestTry` UInt8
)
ДВИГАТЕЛЬ = MergeTree ()
РАЗДЕЛЕНИЕ ПО toYYYYMM (EventDate)
ЗАКАЗАТЬ (CounterID, EventDate, intHash42 (UserID))
ОБРАЗЕЦ ПО intHash42 (ID пользователя)
НАСТРОЙКИ index_granularity = 8192
(3) Создайте новый учебник.visit_v1
СОЗДАТЬ ТАБЛИЦУ tutorial.visits_v1
(
`CounterID` UInt32,
Дата начала,
`Знак` Int8,
`IsNew` UInt8,
`VisitID` UInt64,
`UserID` UInt64,
`StartTime` DateTime,
`Duration` UInt32,
`UTCStartTime` DateTime,
`PageViews` Int32,
`Hits` Int32,
`IsBounce` UInt8,
Строка `Referer`,
Строка StartURL,
Строка RefererDomain,
Строка StartURLDomain,
Строка EndURL,
LinkURL Строка,
`IsDownload` UInt8,
`TraficSourceID` Int8,
`SearchEngineID` UInt16,
Строка SearchPhrase,
`AdvEngineID` UInt8,
`PlaceID` Int32,
Массив RefererCategories (UInt16),
Массив URLCategories (UInt16),
Массив URLRegions (UInt32),
Массив RefererRegions (UInt32),
`IsYandex` UInt8,
`GoalReachesDepth` Int32,
`GoalReachesURL` Int32,
`GoalReachesAny` Int32,
`SocialSourceNetworkID` UInt8,
Строка SocialSourcePage,
Строка MobilePhoneModel,
ClientEventTime DateTime,
`RegionID` UInt32,
`ClientIP` UInt32,
`ClientIP6` FixedString (16),
`RemoteIP` UInt32,
`RemoteIP6` FixedString (16),
`IPNetworkID` UInt32,
`SilverlightVersion3` UInt32,
`CodeVersion` UInt32,
`ResolutionWidth` UInt16,
`ResolutionHeight` UInt16,
UserAgentMajor UInt16,
UserAgentMinor UInt16,
WindowClientWidth UInt16,
WindowClientHeight UInt16,
`SilverlightVersion2` UInt8,
`SilverlightVersion4` UInt16,
`FlashVersion3` UInt16,
`FlashVersion4` UInt16,
`ClientTimeZone` Int16,
`OS` UInt8,
UserAgent UInt8,
`ResolutionDepth` UInt8,
`FlashMajor` UInt8,
`FlashMinor` UInt8,
`NetMajor` UInt8,
`NetMinor` UInt8,
`MobilePhone` UInt8,
`SilverlightVersion1` UInt8,
`Возраст` UInt8,
`Секс` UInt8,
`Доход` UInt8,
`JavaEnable` UInt8,
CookieEnable UInt8,
`JavascriptEnable` UInt8,
`IsMobile` UInt8,
`BrowserLanguage` UInt16,
`BrowserCountry` UInt16,
`Интересы` UInt16,
`Роботность` UInt8,
Массив GeneralInterests (UInt16),
Массив Params (Строка),
`Goals` Вложенные (
ID UInt32,
Серийный UInt32,
EventTime DateTime,
Цена Int64,
Строка OrderID,
CurrencyID UInt32),
Массив WatchIDs (UInt64),
`ParamSumPrice` Int64,
`ParamCurrency` FixedString (3),
`ParamCurrencyID` UInt16,
`ClickLogID` UInt64,
`ClickEventID` Int32,
`ClickGoodEvent` Int32,
ClickEventTime DateTime,
`ClickPriorityID` Int32,
`ClickPhraseID` Int32,
ClickPageID Int32,
`ClickPlaceID` Int32,
`ClickTypeID` Int32,
ClickResourceID Int32,
`ClickCost` UInt32,
`ClickClientIP` UInt32,
`ClickDomainID` UInt32,
Строка ClickURL,
`ClickAttempt` UInt8,
`ClickOrderID` UInt32,
`ClickBannerID` UInt32,
`ClickMarketCategoryID` UInt32,
`ClickMarketPP` UInt32,
Строка ClickMarketCategoryName,
Строка ClickMarketPPName,
Строка ClickAWAPSCampaignName,
Строка ClickPageName,
`ClickTargetType` UInt16,
`ClickTargetPhraseID` UInt64,
`ClickContextType` UInt8,
`ClickSelectType` Int8,
Строка ClickOptions,
`ClickGroupBannerID` Int32,
Строка OpenstatServiceName,
Строка OpenstatCampaignID,
Строка OpenstatAdID,
Строка OpenstatSourceID,
Строка UTMSource,
Строка UTMMedium,
Строка UTMCampaign,
Строка UTMContent,
Строка UTMTerm,
Строка FromTag,
`HasGCLID` UInt8,
DateTime `FirstVisit`,
Дата `PredLastVisit`,
Дата последнего посещения,
`TotalVisits` UInt32,
`TraficSource` Вложенный (
ID Int8,
SearchEngineID UInt16,
AdvEngineID UInt8,
PlaceID UInt16,
SocialSourceNetworkID UInt8,
Строка домена,
SearchPhrase String,
SocialSourcePage String),
`Attendance` FixedString (16),
`CLID` UInt32,
`YCLID` UInt64,
UInt64 `NormalizedRefererHash`,
`SearchPhraseHash` UInt64,
`RefererDomainHash` UInt64,
`NormalizedStartURLHash` UInt64,
`StartURLDomainHash` UInt64,
`NormalizedEndURLHash` UInt64,
`TopLevelDomain` UInt64,
`URLScheme` UInt64,
`OpenstatServiceNameHash` UInt64,
`OpenstatCampaignIDHash` UInt64,
`OpenstatAdIDHash` UInt64,
`OpenstatSourceIDHash` UInt64,
UTMSourceHash UInt64,
UTMMediumHash UInt64,
UTMCampaignHash UInt64,
UTMContentHash UInt64,
UTMTermHash UInt64,
`FromHash` UInt64,
`WebVisorEnabled` UInt8,
`WebVisorActivity` UInt32,
`ParsedParams` Вложенный (
Key1 String,
Key2 String,
Key3 String,
Key4 String,
Key5 String,
ValueDouble Float64),
`Market` Вложенный (
Тип UInt8,
GoalID UInt32,
Строка OrderID,
OrderPrice Int64,
ПП UInt32,
DirectPlaceID UInt32,
DirectOrderID UInt32,
DirectBannerID UInt32,
GoodID String,
GoodName String,
GoodQuantity Int32,
GoodPrice Int64),
Фиксированная строка `IslandID` (16)
)
ДВИГАТЕЛЬ = CollapsingMergeTree (Знак)
РАЗДЕЛЕНИЕ ПО toYYYYMM (StartDate)
ЗАКАЗАТЬ ПО (CounterID, StartDate, intHash42 (UserID), VisitID)
ОБРАЗЕЦ ПО intHash42 (ID пользователя)
НАСТРОЙКИ index_granularity = 8192
3.3 Импорт данных
(1) Данные по давлению
[[защищенные по электронной почте] данные] # unxz hits_v1.tsv.xz
[[защищенная электронная почта] данные] # unxz visit_v1.tsv.xz
[[защищенная электронная почта] данные] # ll
всего 15439336
-rw-r - r-- 1 root root 1271623680 14 сен 13:59 hits_v1.tar
-rw-r - r-- 1 root root 7784351125 14 сен, 16:37 hits_v1.tsv
-rw-r - r-- 1 root root 3532492212 14 сен, 15:38 ontime.csv.xz
-rw-r - r-- 1 root root 563968000 14 сен 13:44 посещений_v1.tar
-rw-r - r-- 1 root root 2657415178 14 сен, 16:27 visit_v1.цв
[[защищенные по электронной почте] данные] #
(2) Импорт данных
[[email protected] данные] # cat hits_v1.tsv | clickhouse-client --password --query "INSERT INTO tutorial.hits_v1 FORMAT TSV" --max_insert_block_size = 100000
Пароль для пользователя (по умолчанию):
[[защищенная электронная почта] данные] # cat visit_v1.tsv | clickhouse-client --password --query "INSERT INTO tutorial.visits_v1 FORMAT TSV" --max_insert_block_size = 100000
Пароль для пользователя (по умолчанию):
[[защищенные по электронной почте] данные] #
3.4 Простой запрос
[[данные, защищенные электронной почтой]] # clickhouse-client --password --query "ОПТИМИЗИРОВАТЬ ТАБЛИЦУ tutorial.visits_v1 FINAL"
Пароль для пользователя (по умолчанию):
[[защищенные по электронной почте] данные] # clickhouse-client --password --query "ОПТИМИЗИРОВАТЬ ТАБЛИЦУ tutorial.hits_v1 FINAL"
Пароль для пользователя (по умолчанию):
[[защищенные по электронной почте] данные] #
[[данные, защищенные электронной почтой]] # clickhouse-client --password --query "ВЫБРАТЬ СЧЕТЧИК (*) ИЗ tutorial.hits_v1"
Пароль для пользователя (по умолчанию):
8873898
[[защищенные по электронной почте] данные] # clickhouse-client --password --query "ВЫБРАТЬ КОЛИЧЕСТВО (*) ИЗ учебника.посещений_v1 "
Пароль для пользователя (по умолчанию):
1676861
[[защищенные по электронной почте] данные] #
4. Пример запроса
ВЫБРАТЬ
StartURL AS URL,
AVG (Продолжительность) AS AvgDuration
ИЗ tutorial.visits_v1
ГДЕ StartDate МЕЖДУ «2014-03-23» И «2014-03-30»
ГРУППА ПО URL
ЗАКАЗАТЬ ПО СРЕДНЕЙ ПРОДОЛЖИТЕЛЬНОСТИ DESC
ПРЕДЕЛ 10
ВЫБРАТЬ
сумма (Знак) AS посещений,
sumIf (Знак, имеет (Goals.ID, 1105530)) AS goal_visits,
(100. * goal_visits) / посещений AS target_percent
ИЗ учебника.visit_v1
ГДЕ (CounterID = 912887) И (toYYYYMM (StartDate) = 201403) AND (домен (StartURL) = 'yandex.ru')
Яндекс.Метрика Аналитика — Безжалостные приложения
Особенности
- Повторы сеанса
- Ссылающиеся домены
- Данные в тот же день
- Аналитика каналов трафика
- Аналитика аудитории
- Поведенческая аналитика
- Аналитика производительности веб-сайтов
- Технологическая аналитика
- Настраиваемые и многофункциональные отчеты
- Специальная отчетность и мощная сегментация
- Бесплатно навсегда
- Без ограничений
Что такое Яндекс.Метрика Аналитика?
Это приложение, позволяющее легко подключить магазин Shopify к сервису Яндекс.Метрики без изменения HTML.
Яндекс.Метрика — бесплатный сервис аналитики посещаемости сайтов. Это похоже на Google Analytics с несколькими дополнительными уникальными функциями. Яндекс.Метрика — второй по величине сервис веб-аналитики в Европе. Он полностью соответствует GDPR.
Зачем нужно подключаться к Яндекс.Метрика Аналитика?
Следите за тем, как люди взаимодействуют с вашим сайтом — щелчки, прокрутка, движения мыши и нажатия клавиш записываются в видео.Выявите препятствия на пути к покупке, узнайте цель кликов и узнайте, как улучшить взаимодействие с пользователем.
Узнайте, какие домены отправляют трафик в ваш магазин, в два клика. Яндекс.Метрика позволяет определить точный URL, по которому переходят посетители на ваш сайт. Вам не нужно платить за дополнительные услуги SEO, чтобы найти свои обратные ссылки.
Опередите своих конкурентов. Отчеты обновляются каждые 5 минут. Вам не нужно ждать сутки, чтобы получить информацию о вашем трафике.Это позволяет вам анализировать, принимать решения и быстрее реагировать.
Сервис позволяет добавлять любые доступные поля в отчет и сравнивать метрики. Любые данные, которые вам нужны, в любой комбинации параметра и показателя. Настраивайте отчеты и добавляйте их в закладки. Получите сводную статистику по нескольким сайтам. Создавайте узко определенные сегменты с таким количеством критериев, которое вы хотите использовать. Сохраняйте, экспортируйте или планируйте отчеты.
Анализируйте данные о продажах в различных измерениях — выясните, какая категория продукта, торговая марка или модель работает лучше всего.Откройте для себя самые прибыльные регионы, аудитории или источники трафика. Если у вас уже настроено отслеживание электронной торговли в Google Analytics (Enhanced Ecommerce), вы можете включить отправку аналогичных данных в Яндекс.Метрику в один клик.
Обратите внимание! Приложение Яндекс.Метрика Analytics для Shopify не является официальным продуктом Яндекс.Метрики и было создано Simtech Development для упрощения процесса связи между магазинами Яндекс.Метрики и Shopify.
Данные Яндекс.Метрики | Документация ClickHouse
- Начало работы
- Примеры наборов данных
Dataset состоит из двух таблиц, содержащих анонимные данные о посещениях ( hits_v1
) и посещениях ( посещений_v1
) Яндекс.Метрика. Подробнее о Яндекс.Метрике читайте в разделе История ClickHouse.
Набор данных состоит из двух таблиц, любую из которых можно загрузить как сжатый файл tsv.xz
или как подготовленные разделы. В дополнение к этому, расширенная версия таблицы hits
, содержащая 100 миллионов строк, доступна в виде TSV по адресу https://datasets.clickhouse.com/hits/tsv/hits_100m_obfuscated_v1.tsv.xz и в виде подготовленных разделов по адресу https: / /datasets.clickhouse.com/hits/partitions/hits_100m_obfuscated_v1.tar.xz.
Получение таблиц из подготовленных разделов
Скачать и импортировать таблицу обращений:
завиток -O https://datasets.clickhouse.com/hits/partitions/hits_v1.tar
tar xvf hits_v1.tar -C / var / lib / clickhouse # путь к каталогу данных ClickHouse
# проверить права доступа к распакованным данным, при необходимости исправить
sudo service clickhouse-server перезапуск
clickhouse-client --query "ВЫБРАТЬ СЧЕТЧИК (*) ИЗ datasets.hits_v1"
Скачивание и импорт посещений:
curl -O https: // наборы данных.clickhouse.com/visits/partitions/visits_v1.tar
tar xvf visit_v1.tar -C / var / lib / clickhouse # путь к каталогу данных ClickHouse
# проверить права доступа к распакованным данным, при необходимости исправить
sudo service clickhouse-server перезапуск
clickhouse-client --query "ВЫБРАТЬ СЧЕТЧИК (*) ИЗ datasets.visits_v1"
Получение таблиц из сжатого файла TSV
Скачать и импортировать обращения из сжатого файла TSV:
завиток https://datasets.clickhouse.com/hits/tsv/hits_v1.tsv.xz | unxz --threads = `nproc`> hits_v1.цв
# Проверить контрольную сумму
md5sum hits_v1.tsv
# Контрольная сумма должна быть равна: f3631b6295bf06989c1437491f7592cb
# теперь создаем таблицу
clickhouse-client --query "СОЗДАТЬ БАЗУ ДАННЫХ, ЕСЛИ НЕ СУЩЕСТВУЕТ наборов данных"
# для hits_v1
clickhouse-client --query "СОЗДАТЬ ТАБЛИЦУ datasets.hits_v1 (WatchID UInt64, JavaEnable UInt8, строка заголовка, GoodEvent Int16, EventTime DateTime, EventDate Date, CounterID UInt32, ClientIP UInt32, ClientIP6 FixedString (16), RegionID UInt32, UserID UInt64, CounterClass Int8, OS UInt8, UserAgent UInt8, строка URL, строка Referer, строка URLDomain, строка RefererDomain, Refresh UInt8, IsRobot UInt8, RefererCategories Array (UInt16), URLCategories Array (UInt16), URLRegions Array (UInt32), RefererRegions (UInt32), RefererRegions), RefererRegions (UInt32), RefererRegions) ResolutionWidth UInt16, ResolutionHeight UInt16, ResolutionDepth UInt8, FlashMajor UInt8, FlashMinor UInt8, FlashMinor2 String, NetMajor UInt8, NetMinor UInt8, UserAgentMajor UInt16, UserAgentMinor FixedPring (2), String UIEnable UInt8, Javashone UInt8, Javashone UInt8, Javashone UInt8, Javashone UInt8, Javashone UInt8, Javashone UInt8, Javashone UInt8, Javashone UInt8 , IPNetworkID UInt32, TraficSourceID Int8, SearchEngineID UInt16, SearchPhrase String, AdvEngineID UInt8, IsArtif ical UInt8, WindowClientWidth UInt16, WindowClientHeight UInt16, ClientTimeZone Int16, ClientEventTime DateTime, SilverlightVersion1 UInt8, SilverlightVersion2 UInt8, SilverlightVersion3 UInt32, SilverlightVersion4 UIntounce, PageCharset String, UINT32, Isldot, IsldotUInt32, PageCharset UInt32, IsldotUInt32, IsldotUInt32, Isldot32 , IsEvent UInt8, IsParameter UInt8, DontCountHits UInt8, WithHash UInt8, HitColor FixedString (1), UTCEventTime DateTime, Age UInt8, Sex UInt8, Income UInt8, Interests UInt16, Robotness UInt8, GeneralInterests Array (UInt1632), RemoteIP6 ), WindowName Int32, OpenerName Int32, HistoryLength Int16, BrowserLanguage FixedString (2), BrowserCountry FixedString (2), SocialNetwork String, SocialAction String, HTTPError UInt16, SendTiming Int32, DNSTiming Int32, ConnectTiming Int32, ResponseStartTiming Intimse32, ResponseStartTiming Intiming Intetch32, ResponseStartTiming Intetch32, ResponseStartTiming Intiming Intetch32 RedirectTiming Int32, DO MInteractiveTiming Int32, DOMContentLoadedTiming Int32, DOMCompleteTiming Int32, LoadEventStartTiming Int32, LoadEventEndTiming Int32, NSToDOMContentLoadedTiming Int32, FirstPaintTiming Int32, RedirectCount INT8, SocialSourceNetworkID Uint8, SocialSourcePage String, ParamPrice Int64, ParamOrderID String, ParamCurrency FixedString (3), ParamCurrencyID UInt16, GoalsReached Array (UInt32) , Строка OpenstatServiceName, Строка OpenstatCampaignID, Строка OpenstatAdID, Строка OpenstatSourceID, Строка UTMSource, Строка UTMMedium, Строка UTMCampaign, Строка UTMContent, Строка UTMTerm, Строка FromTag, HasGCLID UInt8, RefererHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt64, URLHash UInt String, ShareTitle String, ParsedParams Nested (Key1 String, Key2 String, Key3 String, Key4 String, Key5 String, ValueDouble Float64), IslandID FixedString (16), RequestNum UInt32, RequestTry UInt8) ENGINE = MergeTree () PARTITION BY toYYYYMM (EventDate) ЗАКАЗАТЬ (Co unterID, EventDate, intHash42 (UserID)) ОБРАЗЕЦ ПО intHash42 (UserID) НАСТРОЙКИ index_granularity = 8192 "
# для hits_100m_obfuscated
clickhouse-client --query = "СОЗДАТЬ ТАБЛИЦУ hits_100m_obfuscated (WatchID UInt64, JavaEnable UInt8, строка заголовка, GoodEvent Int16, EventTime DateTime, EventDate Date, CounterID UInt32, ClientIP UInt32, RegionID UInt32, UserID UInt64, CounterClass Int8, OS UInt8, UserID UInt8, UserID UInt8, UserID , URL String, Referer String, Refresh UInt8, RefererCategoryID UInt16, RefererRegionID UInt32, URLCategoryID UInt16, URLRegionID UInt32, ResolutionWidth UInt16, ResolutionHeight UInt16, ResolutionDepth UInt8, FlashMajor Net UInt8, FlashMinor UIant8, FlashMajor Net UInt8, FlashMinor UIant8, FlashMinor UIinornt8, FlashMinor UIinornt8, FlashMinor UIinornt8, FlashMinor UIinornt8, FlashMinor UIinornt8 Фиксированная ClientEventTime DateTime, SilverlightVersion1 UInt8, Silv erlightVersion2 UInt8, SilverlightVersion3 UInt32, SilverlightVersion4 UInt16, PageCharset String, CodeVersion UInt32, IsLink UInt8, IsDownload UInt8, IsNotBounce UInt8, FUniqID UInt64, OriginalURL String, HID UInt32, IsOldCounter UInt8, IsOldCounter UIntmeter, IsOldCounter UIntmeter, с помощью IsOldCounter UIntmeter, IsOldCounter UIntmeter, IsOldCounter UIntmeter, IsOldCounter UIntmeter, IsOldCounter UIntmeter, IsOldCounter UIntmeter, IsOldCounter UIntmeter, IsOldCounter UIntmeter, Hitmeter (1), LocalEventTime DateTime, Возраст UInt8, Пол UInt8, Доход UInt8, Интересы UInt16, Роботность UInt8, RemoteIP UInt32, WindowName Int32, OpenerName Int32, HistoryLength Int16, BrowserLanguage FixedString (2), BrowserCountry FixedString (2), SocialAction String, SocialAction String, SocialAction String Строка, HTTPError UInt16, SendTiming UInt32, DNSTiming UInt32, ConnectTiming UInt32, ResponseStartTiming UInt32, ResponseEndTiming UInt32, FetchTiming UInt32, SocialSourceNetworkID UInt8, SocialSourcePage String, ParamPrice Int64, ParamOrderCurrency, String ID, ParamPrice Int64, ParamOrderCurrency (идентификатор параметра) OpenstatAdID String, OpenstatSourceID Строка, Строка UTMSource, Строка UTMMedium, Строка UTMCampaign, Строка UTMContent, Строка UTMTerm, Строка FromTag, HasGCLID UInt8, RefererHash UInt64, URLHash UInt64, CLID UInt32) ENGINE = MergeTree () PARTITION BY toYYYYMER (EventDate) intHash42 (UserID)) ОБРАЗЕЦ ПО intHash42 (UserID) НАСТРОЙКИ index_granularity = 8192 "
# импорт данных
кошка hits_v1.цв | clickhouse-client --query "INSERT INTO datasets.hits_v1 FORMAT TSV" --max_insert_block_size = 100000
# при желании вы можете оптимизировать таблицу
clickhouse-client --query "OPTIMIZE TABLE datasets.hits_v1 FINAL"
clickhouse-client --query "ВЫБРАТЬ СЧЕТЧИК (*) ИЗ datasets.hits_v1"
Скачать и импортировать посещения из сжатого tsv-файла:
завиток https://datasets.clickhouse.com/visits/tsv/visits_v1.tsv.xz | unxz --threads = `nproc`> visit_v1.tsv
# Проверить контрольную сумму
md5сумма посещений_v1.цв
# Контрольная сумма должна быть равна: 6dafe1a0f24e59e3fc2d0fed85601de6
# теперь создаем таблицу
clickhouse-client --query "СОЗДАТЬ БАЗУ ДАННЫХ, ЕСЛИ НЕ СУЩЕСТВУЕТ наборов данных"
clickhouse-client --query "СОЗДАТЬ ТАБЛИЦУ datasets.visits_v1 (CounterID UInt32, StartDate Date, Sign Int8, IsNew UInt8, VisitID UInt64, UserID UInt64, StartTime DateTime, Duration UInt32, UTCStartTime DateTime, PageViews Int32, Hits Int32, IsBounce UInt8 Строка, Строка StartURL, Строка RefererDomain, Строка StartURLDomain, Строка EndURL, Строка LinkURL, IsDownload UInt8, TraficSourceID Int8, SearchEngineID UInt16, Строка SearchPhrase, AdvEngineID UInt8, PlaceID Int32, RefererCategories Array (UInt16) Array (UIntategions), массив (UInt16), URLC16 Array (UIntategories) UInt32), RefererRegions Array (UInt32), IsYandex UInt8, GoalReachesDepth Int32, GoalReachesURL Int32, GoalReachesAny Int32, SocialSourceNetworkID UInt8, SocialSourcePage String, MobilePhoneModel String, ClientEventTime DateTime, RegionID с фиксированным идентификатором UIntring6, Client 16 (16), IPNetworkID UInt32, SilverlightVersion3 UInt32, CodeVersion UInt 32, ResolutionWidth UInt16, ResolutionHeight UInt16, UserAgentMajor UInt16, UserAgentMinor UInt16, WindowClientWidth UInt16, WindowClientHeight UInt16, SilverlightVersion2 UInt8, SilverlightVersion4 UInt16, FlashVersion3 UInt16, FlashVersion4 UIntone8, ClientT8 NetMajor UInt8, NetMinor UInt8, MobilePhone UInt8, SilverlightVersion1 UInt8, Возраст UInt8, Sex UInt8, Income UInt8, JavaEnable UInt8, CookieEnable UInt8, JavascriptEnable UInt8, IsMobile UInt8, BrowserLanguage UInt16, BrowserLanguage UInt16, Браузер UInt16, BrowserLanguage UInt16, Браузер UInt16, Браузер UInt16 , Массив Params (строка), Вложенные цели (ID UInt32, Serial UInt32, EventTime DateTime, Price Int64, OrderID String, CurrencyID UInt32), Массив WatchIDs (UInt64), ParamSumPrice Int64, ParamCurrency FixedString (3), ParamCurrencyID UInt16, ClickLogID ClickEventID Int32, ClickGoodEvent Int32, C lickEventTime DateTime, ClickPriorityID Int32, ClickPhraseID Int32, ClickPageID Int32, ClickPlaceID Int32, ClickTypeID Int32, ClickResourceID Int32, ClickCost UInt32, ClickClientIP UInt32, ClickDomainID UInt32, Строка ClickURL, ClickAttempt UIntoryMarket32, ClickOntategory, ClickAttempt UIntoryMarkT32, ClickOntategory, ClickAttempt UIntoryMark32, ClickOttempt , Строка ClickMarketPPName, Строка ClickAWAPSCampaignName, Строка ClickPageName, ClickTargetType UInt16, ClickTargetPhraseID UInt64, ClickContextType UInt8, ClickSelectType Int8, Строка ClickOptions, Строка ClickGroupBannerID Int32, OpenstatServiceNameTM, OpenstatMServiceNameTM, UenstatMServiceNameTM, OpenstatMServiceName String, UTMTerm String, FromTag String, HasGCLID UInt8, FirstVisit DateTime, PredLastVisit Date, LastVisit Date, TotalVisits UInt32, TraficSource Nested (ID Int8, SearchEngineID UInt16, Adv EngineID UInt8, PlaceID UInt16, SocialSourceNetworkID UInt8, строка домена, строка SearchPhrase, строка SocialSourcePage), Attendance FixedString (16), CLID UInt32, YCLID UInt64, NormalizedRefererHash UInt64, SearchPhraseHash UInt64, RefererDomainHash UInt64, Нормальный UInt64, URLScheme UInt64, OpenstatServiceNameHash UInt64, OpenstatCampaignIDHash UInt64, OpenstatAdIDHash UInt64, OpenstatSourceIDHash UInt64, UTMSourceHash UInt64, UTMMediumHash UInt64, UTMCampaignHash UInt64, UTMContentHash UInt64, UTMTermHash UInt64, FromHash UInt64, WebVisorEnabled uint8, WebVisorActivity UInt32, ParsedParams Уплотненный (Key1 String, Key2 String, Key3 String, Key4 String, Key5 String, ValueDouble Float64), Market Nested (Тип UInt8, GoalID UInt32, OrderID String, OrderPrice Int64, PP UInt32, DirectPlaceID UInt32, DirectOrderID UInt32, DirectBannerID UInt32, GoodID String, Good Строка имени, GoodQuantity Int32, GoodPrice Int64), IslandID FixedString (16)) ENGINE = CollapsingMergeTree (Sign) РАЗДЕЛЕНИЕ ПО toYYYYMM (StartDate) ORDER BY (CounterID, StartDate, intHash42 (UserID), VisitID) SAMPLE BY intHashINGS (User_ID) SETTular = 8192 "
# импорт данных
кошка visits_v1.цв | clickhouse-client --query "INSERT INTO datasets.visits_v1 FORMAT TSV" --max_insert_block_size = 100000
# при желании вы можете оптимизировать таблицу
clickhouse-client --query "OPTIMIZE TABLE datasets.visits_v1 FINAL"
clickhouse-client --query "ВЫБРАТЬ СЧЕТЧИК (*) ИЗ datasets.visits_v1"
Примеры запросов
УчебникClickHouse основан на наборе данных Яндекс.Метрики, и рекомендуемый способ начать работу с этим набором данных — просто пройти обучение.
Дополнительные примеры запросов к этим таблицам можно найти среди stateful-тестов ClickHouse (они называются test.попадает в
и тест . там заходит
).