С начала осени мы занимаемся переработкой архитектуры баз данных нашего трекера. Нам удалось добиться больших успехов в плане скорости редиректов и построения отчетов.
Сейчас ситуация обстоит примерно так:
1. Время отклика на любой нагрузке около 30мс! Нам не удалось эмулировать нагрузку в сотни миллионов кликов в сутки, но думаю мало кто способен купить столько трафика, да и теоретически трекер может переварить и столько. Чисто алгоритмически ему все равно, сколько трафика будет на входе. Все текущие тесты проходят на объемах в районе 30 миллионов в сутки на сложных кампаниях с кучей путей, лендов, офферов и рулсов.
2. Реализована уникальная система агрегации статистики. Трекер формирует все нужные в отчетах данные уже на этапе записи кликов, благодаря чему все базовые отчеты по кампаниям, офферам, лендам и т д генерируются мгновенно (десятки мс) за любые таймфреймы. Не могу раскрывать деталей как все устроено, но это действительно круто.
3. За последнюю неделю мы усовершенствовали систему генерации отчетов и спроецировали успехи с основными отчетами на отчеты внутри кампании. Нам удалось получать почти все отчеты любой глубины мгновенно. Там еще есть некоторые проблемы с токенами и реферами, в данный момент мы решаем их и встраиваем данные в интерфейс, но выглядит это уже фантастически. Кроме того, трекеру все равно сколько выводить данных, хоть постранично, хоть все сразу, за любой период, скорость генерации того или иного отчета теперь не зависит ни от количества кликов в кампании, ни от их количества в базе в целом. Т.е. вы можете мгновенно переходить по страницам отчета, сворачивать и разворачивать группировки, загружать CSV.
Отчеты, которые не удалось генерировать мгновенно, работают тоже очень быстро, потому что большинство нужных данных хранится в готовом виде.
На следующем этапе мы будем учиться генерировать разнообразные отчеты по офферам, лендам, источникам и т п. Ну например если хочется посмотреть отчет по всем паблишерам источника по всем кампании за весь период.
В плане функционала трекер сейчас находится на уровне других трекеров, все что нужно для работы есть, но без излишеств. Единственное, что хотелось бы добавить уже в бете – это анализатор ботов, который будет выдавать процентное содержание мобильных ботов на каждом паблишере. Анализирует очень точно, точнее вряд ли возможно. В целом многие предлагают свою помощь, спасибо им за неравнодушие к нашей работе.
Что начиналось “оптимизацией базы”, закончилось полной перестройкой всего ядра трекера, алгоритмов записи кликов и формирования всей статистики. В данным момент еще идет работа по улучшению интерфейса, дизайна, сайта, настраивается биллинг.