Какие новые технологии появились на рынке больших данных
- CNews.Ru
- Мероприятия, Мнение
- 20 ноября 2020
Большие данные – уже не просто модная тема для дискуссий, а множество реальных проектов, приносящих бизнесу немалую пользу. Проекты в области больших данных стоят недешево. Поэтому очень важно не ошибиться при выборе технологии и просчитать все возможные риски. Об этом говорили участники секции "Большие данные" CNews Forum 2020.
Технологические возможности
Владимир Егоров, генеральный директор ТУРБО, напомнил участникам конференции, что третья технологическая платформа, в основе которой лежат мобильные устройства и огромные массивы информации, постепенно завоевывает мир. Он рассказал о созданном компанией решении Turbo BI. Его основой является хранилище, которое позволяет формировать многомерные кубы на основе произвольно загружаемых данных, содержит встроенные функции по работе с математическими моделями, дает возможность создавать аналитические отчеты, панели и дэшборды и обеспечивает получение данных непосредственно из внешнего источника.
Данные в хранилище сгруппированы по направлениям – персонал, продажи, биллинг, главная книга, основные средства и др. Можно работать с группами данных и анализировать вложенную информацию до конкретной проводки. В ближайшее время будет проведена интеграция с языком R, что существенно расширит возможности использования математического аппарата для анализа данных, моделирования и прогнозирования.
По словам эксперта, особое внимание при создании решения было уделено визуализации – разработчики ориентировались на предпочтения поколения Z. Кроме того, в Turbo BI уже имеются перенастроенные базовые справочники, а настройка новых не требует программирования. Благодаря реализации концепции Low code пользователь может сам добавлять и выбирать объекты, указывать зависимости и тип представления.
Большинство крупных компаний до сих пор не используют большую часть собираемых данных для принятия решений, уверен Евгений Сандомирский, директор по развитию бизнеса Epam. В тоже время, мир медленно, но верно движется в сторону создания организаций, управляемых на основе данных (data-driven organization). В основе такой организации лежит разработка стратегии в области данных (data strategy) и формирование культуры их использования (data – driven culture).
«Стратегия в области данных дает новые возможности, но и создает новые вопросы. Только постепенное изменение культуры даст на них ответы, – говорит Евгений Сандомирский. – Начинать нужно, не дожидаясь их».
Он рассказал о разработанной Epam интегрированной платформе для повышения производительности сотрудников Epam Digital Workplace, которая дает единый цифровой доступ ко всем необходимым инструментам, процессам, данным. Комбинируя функциональность в зависимости от роли, платформа помогает принимать решения, обмениваться информацией, выполнять нужные действия, предоставлять рекомендации и легко перемещаться между инструментами и системами. Система располагается поверх существующих учетных систем, инфраструктуры и унаследованных баз данных, обеспечивая единую, состоящую из модулей глобальную платформу успеха.
По словам Алексея Сидорова, директора по управлению данными, главного евангелиста DenodoTechnologies, сегодня одной из важнейших тенденций в области управления данными стала виртуализация. Благодаря ей можно в режиме реального времени получать доступ к источникам самой разной информации.
При этом совершенно не важно, где, в какой форме и каких форматах хранятся данные. Более того, они не устаревают, потому что попадают в виртуальную дата-фабрику непосредственно из источника. Там они проходят необходимую очистку и подготовку. Большое внимание уделяется обеспечению безопасности. Таким образом, у бизнеса появилась реальная возможность не только быстро получать необходимые данные, но и существенно сократить расходы на их обработку.
О сложностях, которые возникают при обработке больших данных, говорил и Алексей Струченко, начальник отдела больших данных «Инфосистемы Джет». По его мнению, большинство имеющихся сегодня на рынке решений имеют довольно высокую стоимость, длительный период Time-to-Value, их использование требует специальных знаний и значительных технических ресурсов. Как результат – бизнес использует не более 10% имеющейся информации. Алексей Струченко рекомендовал участникам конференции обратить внимание на решение, которое предлагает израильская компания SQream, – базу данных для доступного анализа больших массивов информации с помощью графических процессоров (GPU). Она позволяет анализировать данные до 20 раз большего объема, в 100 раз быстрее, и лишь за 10% от привычной стоимости.
Подробнее о решении рассказал Александр Рабкин, региональный директор SQream в России. SQream DB использует мощности тысяч параллельных вычислительных ядер в графических процессорах Nvidia. С его помощью можно импортировать, хранить и анализировать от десятков до сотен терабайт данных. При этом стоимость решения существенно ниже аналогов благодаря сокращению затрат на инфраструктуру и специалистов.
Александр Рабкин поделился результатами тестирования SQream DB на Power9. SQream DB использует для загрузки данных как CPU, так и GPU. Многоядерная архитектура IBM Power9 делает загрузку намного быстрее, чем сопоставимые системы на базе x86. Так, для набора данных TPC-H (SF 10 000) сервер IBM Power9 загружал данные почти в два раза быстрее, чем сервер на базе x86.
Кроме того, SQream DB на Power9 показывает результаты на 150-370% быстрее, чем на сопоставимых серверах x86, особенно для больших наборов данных. Это связано с более высокой пропускной способностью NVLink между CPU и GPU и высокой пропускной способностью архитектуры процессора Power9. Например, в наборе данных TPC-H (SF 10 000) Query 8 выполнялся за 25% времени на IBM Power9 по сравнению с сервером x86.
Станислав Павлов, директор в области серверных решений Huawei Russia R&D, рассказал о новом продукте компании – процессоре Kunpeng.
На сегодняшний день это самый высокопроизводительный процессор на ARM-архитектуре. Его можно использовать для серверов, вычислительных центров, работающих с большими данными, распределенных хранилищ. В России уже сформирована экосистема, в состав которой входят крупнейшие российские компании и вендоры, предлагающие всевозможные решения на базе Kunpeng.
Преимущества использования автоматизированных интеллектуальных средств анализа больших данных перед традиционным подходом, подразумевающим их ручной сбор и анализ при помощи специалиста, уже неоспоримы, говорит Илья Кузьминов, директор центра стратегической аналитики и больших данных ИСИЭЗ НИУ ВШЭ. В качестве примера он привел систему интеллектуального анализа больших данных iFora. Она состоит из отдельных модулей и позволяет комбинировать их для решения конкретных задач. В качестве примера эксперт привел опыт использования системы для выявления трендов цифровизации.
Большие данные для банков
О том, как большие данные помогают предотвратить отток клиентов, рассказал Юрий Сирота, старший вице-президент, руководитель департамента искусственного интеллекта и анализа данных, руководитель центра компетенций BI банка «УралСиб». По его мнению, некоторый естественный отток неизбежен, и эта цифра отличается от отрасли к отрасли. Но высокий показатель оттока – верный признак того, что бизнес делает что-то не так. «Удержание существующего клиента дешевле привлечения нового», – напомнил эксперт.
Для того, чтобы предотвратить отток клиентов, надо постоянно собирать данные о них, заблаговременно выявлять тех, кто подумывает об отказе от сотрудничества, и принимать меры, чтобы их удержать. Имеющиеся сегодня технологии позволяют делать это быстро и эффективно. Так, специалисты по искусственному интеллекту могут создать инструменты, необходимые для анализа поведения клиентов и выработки стратегии индивидуальной работы с ними. Программа максимум – получить от искусственного интеллекта конкретные рекомендации.
Конечно, математическая модель, а именно она лежит в основе работы искусственного интеллекта, не может гарантировать, что рекомендуемые меры будут на 100% эффективны. Однако, по мнению Юрия Сироты, стоимость ошибочной коммуникации существенно ниже упущенной выгоды от потери клиента.
Юрий Попов, директор департамента развития цифровых технологий банка «Хоум Кредит», уверен, что потенциал неиспользуемых данных и их превращения в полезную для бизнеса информацию практически безграничен. Он рассказал, как организована работа с большими данными в банке от момента появления бизнес-идеи до запуска пилотного проекта и последующего развертывания решения на все бизнес подразделения.
Сергей Серов, начальник управления Big Data и машинного обучения банка «Хоум Кредит» привел пример конкретного проекта, который был реализован в банке для повышения качества коммуникации с клиентами. В результате проекта была внедрена система анализа клиентских запросов как в чате, так и при голосовом обращении в режиме реального времени. На основе этой информации и клиентского профиля была доработана система динамических подсказок оператору, оптимизирован подбор продуктов банка и т.д.
Большие данные в логистике
Технологии больших данных помогают логистическим компаниям строить оптимальные маршруты, давать рекомендации по экономичному расходу топлива, следить за состоянием транспортных средств в режиме онлайн, контролировать действия водителя и минимизировать риск ошибок, отметил Фарид Мадани, генеральный директор ГК «Деловые Линии».
Также технология широко применяется для решения управленческих задач различных подразделений.
Он рассказал о реализованной в компании схеме сбора, хранения и обработки больших данных. Особое внимание Фарид Мадани уделил Self-Service BI – комплексному решению, разработанному экспертами BIA Technologies и позволяющему бизнес-пользователю быстро проверить гипотезу или провести анализ, не привлекая разработчиков.
Внедрение этого решения сократило время подготовки отчетов в 2-3 раза, улучшило качество сервиса и уменьшило издержки на работе персонала и расходе топлива.
Эксперт уверен, что в ближайшее время спрос на технологии больших данных со стороны логистических компаний будет расти. Они будут использоваться для повышения эффективности цепочек поставок и оптимизации логистических процессов, при внедрении всесторонней телеметрии: превентивной диагностики, онлайн-мониторинга, а также в ходе использования беспилотных транспортных средств.
Большие данные на производстве
«Мы повышаем эффективность компании за счет использования технологий искусственного интеллекта, выстраивая нефтяную компанию, управляемую на основе данных, математических моделей и цифровых двойников», – говорит Анджей Аршавский, руководитель центра разработки и монетизации данных дирекции по цифровой трансформации «Газпромнефть». Производственные системы столь сложны, что человек не в состоянии всегда принимать оптимальные решения. И сервисы визуализации информации, поиска и поддержки принятия решений позволят планировать и управлять производством эффективнее.
Он привел примеры сервисов на базе искусственного интеллекта, которые уже реализованы в компании. Это интеллектуальная расшифровка магнитограмм, модуль, позволяющий оптимизировать процесс добычи нефти и т.д. В перспективе планируется создать единую корпоративную цифровую платформу, которая позволит на 20% сократить сроки начала использования новых технологий, на 50% увеличить скорость доставки нового функционала от проектных команд до бизнес пользователей и более чем на 30% повысить эффективность работы продуктовых команд.
Большие данные для здравоохранения
Об использовании больших данных в сфере здравоохранения рассказал Алексей Бахаев, начальник управления информатизации Научно-исследовательского института организации здравоохранения и медицинского менеджмента (НИИ ОЗ ММ). Они помогают повысить доступность высокоуровневой экспертизы для всех врачей, оптимизировать рутинные процессы, наладить раннюю диагностику заболеваний, оперативно принимать управленческие решения и контролировать процесс лечения и реабилитации. Алексей Бахалов рассказал о проектах, реализованных НИИ ОЗ ММ для столичного департамента здравоохранения.
Ссылка на источник: https://events.cnews.ru/articles/2020-11-20_kakie_novye_tehnologii_poyavilis