ГК «Деловые Линии»

Официальный пресс-центр

Какие новые технологии появились на рынке больших данных


Большие данные – уже не просто модная тема для дискуссий, а множество реальных проектов, приносящих бизнесу немалую пользу. Проекты в области больших данных стоят недешево. Поэтому очень важно не ошибиться при выборе технологии и просчитать все возможные риски. Об этом говорили участники секции "Большие данные" CNews Forum 2020.

Фото: pixabay.com

Технологические возможности

Владимир Егоров, генеральный директор ТУРБО, напомнил участникам конференции, что третья технологическая платформа, в основе которой лежат мобильные устройства и огромные массивы информации, постепенно завоевывает мир. Он рассказал о созданном компанией решении Turbo BI. Его основой является хранилище, которое позволяет формировать многомерные кубы на основе произвольно загружаемых данных, содержит встроенные функции по работе с математическими моделями, дает возможность создавать аналитические отчеты, панели и дэшборды и обеспечивает получение данных непосредственно из внешнего источника.

Данные в хранилище сгруппированы по направлениям – персонал, продажи, биллинг, главная книга, основные средства и др. Можно работать с группами данных и анализировать вложенную информацию до конкретной проводки. В ближайшее время будет проведена интеграция с языком R, что существенно расширит возможности использования математического аппарата для анализа данных, моделирования и прогнозирования.

По словам эксперта, особое внимание при создании решения было уделено визуализации – разработчики ориентировались на предпочтения поколения Z. Кроме того, в Turbo BI уже имеются перенастроенные базовые справочники, а настройка новых не требует программирования. Благодаря реализации концепции Low code пользователь может сам добавлять и выбирать объекты, указывать зависимости и тип представления.

Большинство крупных компаний до сих пор не используют большую часть собираемых данных для принятия решений, уверен Евгений Сандомирский, директор по развитию бизнеса EpamВ тоже время, мир медленно, но верно движется в сторону создания организаций, управляемых на основе данных (data-driven organization). В основе такой организации лежит разработка стратегии в области данных (data strategy) и формирование культуры их использования (data – driven culture).

«Стратегия в области данных дает новые возможности, но и создает новые вопросы. Только постепенное изменение культуры даст на них ответы, – говорит Евгений Сандомирский. – Начинать нужно, не дожидаясь их».

Источник: Epam, 2020

 

Он рассказал о разработанной Epam интегрированной платформе для повышения производительности сотрудников Epam Digital Workplace, которая дает единый цифровой доступ ко всем необходимым инструментам, процессам, данным. Комбинируя функциональность в зависимости от роли, платформа помогает принимать решения, обмениваться информацией, выполнять нужные действия, предоставлять рекомендации и легко перемещаться между инструментами и системами. Система располагается поверх существующих учетных систем, инфраструктуры и унаследованных баз данных, обеспечивая единую, состоящую из модулей глобальную платформу успеха.

По словам Алексея Сидорова, директора по управлению данными, главного евангелиста DenodoTechnologies, сегодня одной из важнейших тенденций в области управления данными стала виртуализация. Благодаря ей можно в режиме реального времени получать доступ к источникам самой разной информации.

Источник: Denodo, 2020

 

При этом совершенно не важно, где, в какой форме и каких форматах хранятся данные. Более того, они не устаревают, потому что попадают в виртуальную дата-фабрику непосредственно из источника. Там они проходят необходимую очистку и подготовку. Большое внимание уделяется обеспечению безопасности. Таким образом, у бизнеса появилась реальная возможность не только быстро получать необходимые данные, но и существенно сократить расходы на их обработку.

О сложностях, которые возникают при обработке больших данных, говорил и Алексей Струченко, начальник отдела больших данных «Инфосистемы Джет». По его мнению, большинство имеющихся сегодня на рынке решений имеют довольно высокую стоимость, длительный период Time-to-Value, их использование требует специальных знаний и значительных технических ресурсов. Как результат – бизнес использует не более 10% имеющейся информации. Алексей Струченко рекомендовал участникам конференции обратить внимание на решение, которое предлагает израильская компания SQream, – базу данных для доступного анализа больших массивов информации с помощью графических процессоров (GPU). Она позволяет анализировать данные до 20 раз большего объема, в 100 раз быстрее, и лишь за 10% от привычной стоимости.

Подробнее о решении рассказал Александр Рабкин, региональный директор SQream в РоссииSQream DB использует мощности тысяч параллельных вычислительных ядер в графических процессорах NvidiaС его помощью можно импортировать, хранить и анализировать от десятков до сотен терабайт данных. При этом стоимость решения существенно ниже аналогов благодаря сокращению затрат на инфраструктуру и специалистов.

Александр Рабкин поделился результатами тестирования SQream DB на Power9SQream DB использует для загрузки данных как CPU, так и GPU. Многоядерная архитектура IBM Power9 делает загрузку намного быстрее, чем сопоставимые системы на базе x86. Так, для набора данных TPC-H (SF 10 000) сервер IBM Power9 загружал данные почти в два раза быстрее, чем сервер на базе x86.

Кроме того, SQream DB на Power9 показывает результаты на 150-370% быстрее, чем на сопоставимых серверах x86, особенно для больших наборов данных. Это связано с более высокой пропускной способностью NVLink между CPU и GPU и высокой пропускной способностью архитектуры процессора Power9. Например, в наборе данных TPC-H (SF 10 000) Query 8 выполнялся за 25% времени на IBM Power9 по сравнению с сервером x86.

Станислав Павлов, директор в области серверных решений Huawei Russia R&D, рассказал о новом продукте компании – процессоре Kunpeng.

На сегодняшний день это самый высокопроизводительный процессор на ARM-архитектуре. Его можно использовать для серверов, вычислительных центров, работающих с большими данными, распределенных хранилищ. В России уже сформирована экосистема, в состав которой входят крупнейшие российские компании и вендоры, предлагающие всевозможные решения на базе Kunpeng.

Преимущества использования автоматизированных интеллектуальных средств анализа больших данных перед традиционным подходом, подразумевающим их ручной сбор и анализ при помощи специалиста, уже неоспоримы, говорит Илья Кузьминов, директор центра стратегической аналитики и больших данных ИСИЭЗ НИУ ВШЭ. В качестве примера он привел систему интеллектуального анализа больших данных iFora. Она состоит из отдельных модулей и позволяет комбинировать их для решения конкретных задач. В качестве примера эксперт привел опыт использования системы для выявления трендов цифровизации.

Большие данные для банков

О том, как большие данные помогают предотвратить отток клиентов, рассказал Юрий Сирота, старший вице-президент, руководитель департамента искусственного интеллекта и анализа данных, руководитель центра компетенций BI банка «УралСиб». По его мнению, некоторый естественный отток неизбежен, и эта цифра отличается от отрасли к отрасли. Но высокий показатель оттока – верный признак того, что бизнес делает что-то не так. «Удержание существующего клиента дешевле привлечения нового», – напомнил эксперт.

Для того, чтобы предотвратить отток клиентов, надо постоянно собирать данные о них, заблаговременно выявлять тех, кто подумывает об отказе от сотрудничества, и принимать меры, чтобы их удержать. Имеющиеся сегодня технологии позволяют делать это быстро и эффективно. Так, специалисты по искусственному интеллекту могут создать инструменты, необходимые для анализа поведения клиентов и выработки стратегии индивидуальной работы с ними. Программа максимум – получить от искусственного интеллекта конкретные рекомендации.

Конечно, математическая модель, а именно она лежит в основе работы искусственного интеллекта, не может гарантировать, что рекомендуемые меры будут на 100% эффективны. Однако, по мнению Юрия Сироты, стоимость ошибочной коммуникации существенно ниже упущенной выгоды от потери клиента.

Источник: УралСиб, 2020

 

Юрий Попов, директор департамента развития цифровых технологий банка «Хоум Кредит», уверен, что потенциал неиспользуемых данных и их превращения в полезную для бизнеса информацию практически безграничен. Он рассказал, как организована работа с большими данными в банке от момента появления бизнес-идеи до запуска пилотного проекта и последующего развертывания решения на все бизнес подразделения.

Сергей Серов, начальник управления Big Data и машинного обучения банка «Хоум Кредит» привел пример конкретного проекта, который был реализован в банке для повышения качества коммуникации с клиентами. В результате проекта была внедрена система анализа клиентских запросов как в чате, так и при голосовом обращении в режиме реального времени. На основе этой информации и клиентского профиля была доработана система динамических подсказок оператору, оптимизирован подбор продуктов банка и т.д.

Большие данные в логистике

Технологии больших данных помогают логистическим компаниям строить оптимальные маршруты, давать рекомендации по экономичному расходу топлива, следить за состоянием транспортных средств в режиме онлайн, контролировать действия водителя и минимизировать риск ошибок, отметил Фарид Мадани, генеральный директор ГК «Деловые Линии».

Также технология широко применяется для решения управленческих задач различных подразделений.

Из презентации ГК «Деловые Линии»

 

Он рассказал о реализованной в компании схеме сбора, хранения и обработки больших данных. Особое внимание Фарид Мадани уделил Self-Service BI – комплексному решению, разработанному экспертами BIA Technologies и позволяющему бизнес-пользователю быстро проверить гипотезу или провести анализ, не привлекая разработчиков.

Внедрение этого решения сократило время подготовки отчетов в 2-3 раза, улучшило качество сервиса и уменьшило издержки на работе персонала и расходе топлива.

Эксперт уверен, что в ближайшее время спрос на технологии больших данных со стороны логистических компаний будет расти. Они будут использоваться для повышения эффективности цепочек поставок и оптимизации логистических процессов, при внедрении всесторонней телеметрии: превентивной диагностики, онлайн-мониторинга, а также в ходе использования беспилотных транспортных средств.

Большие данные на производстве

«Мы повышаем эффективность компании за счет использования технологий искусственного интеллекта, выстраивая нефтяную компанию, управляемую на основе данных, математических моделей и цифровых двойников», – говорит Анджей Аршавский, руководитель центра разработки и монетизации данных дирекции по цифровой трансформации «Газпромнефть». Производственные системы столь сложны, что человек не в состоянии всегда принимать оптимальные решения. И сервисы визуализации информации, поиска и поддержки принятия решений позволят планировать и управлять производством эффективнее.

Он привел примеры сервисов на базе искусственного интеллекта, которые уже реализованы в компании. Это интеллектуальная расшифровка магнитограмм, модуль, позволяющий оптимизировать процесс добычи нефти и т.д. В перспективе планируется создать единую корпоративную цифровую платформу, которая позволит на 20% сократить сроки начала использования новых технологий, на 50% увеличить скорость доставки нового функционала от проектных команд до бизнес пользователей и более чем на 30% повысить эффективность работы продуктовых команд.

Источник: Газпромнефть, 2020

 

Большие данные для здравоохранения

Об использовании больших данных в сфере здравоохранения рассказал Алексей Бахаев, начальник управления информатизации Научно-исследовательского института организации здравоохранения и медицинского менеджмента (НИИ ОЗ ММ). Они помогают повысить доступность высокоуровневой экспертизы для всех врачей, оптимизировать рутинные процессы, наладить раннюю диагностику заболеваний, оперативно принимать управленческие решения и контролировать процесс лечения и реабилитации. Алексей Бахалов рассказал о проектах, реализованных НИИ ОЗ ММ для столичного департамента здравоохранения.