Что такое большие данные и почему они так важны?

Thursday, April 25, 2024

Данные - это информация, но это только часть истории. Одна деталь о событии или фактическом факте о здоровье человека - это не так много данных для работы. Когда мы говорим о данных мы думаем об этом как о сборе, организации и хранении информации.

В эпоху Интернета компании и организации по всему миру собрали так много данных, что сейчас мы говорим о вещах в экспоненциально более крупном масштабе. Теперь появился такой термин как «Большие данные», и это оказывает огромное влияние на всю нашу жизнь.

Что такое большие данные?

Большие данные или «Big Data» - это набор данных настолько большой, что наши традиционные средства управления информацией не подходят для работы с ними. Эта коллекция может принимать различные формы.

Примеры больших данных

Твиты, хранящиеся на серверах Twitter
Информация, которую Google получает от отслеживания передвижения автомобилей
Данные медицинских страховых компаний о том, кто, какое и в какой больнице получает лечение
Покупки и места покупок, которые появляются на кредитных карточках
Что люди смотрят на Netflix, когда, где и как долго

Что такое технология больших данных?

Наши ПК могут обрабатывать довольно много данных. Представьте себе всю информацию, которую можно впихнуть в одну таблицу. Программное обеспечение базы данных способно обрабатывать еще более высокие объемы информации. Эти инструменты могут втискиваться в данные одного жесткого диска, которые в противном случае требовали бы полки, заполненные коробками с папками.

Но этих инструментов недостаточно для обработки всего объема информации, которую мы называем большими данными. Для этого были разработаны новые методы. Облачные вычисления выгружают работу наших компьютеров на удаленных серверах. Оттуда существует множество способов доступа и использования информации.

Использование больших данных

Большие данные не возникали сами по себе. Несколько тенденций способствовали их существованию.

Интернет вещи

Интернет, который вы сейчас знаете, - это Интернет людей. Здесь люди взаимодействуют друг с другом и с машинами, облегчающими эту связь. Вы просматриваете сайты, которые разрабатывают люди. Вы читаете слова, которые люди печатали.

Интернет вещи - это то, где устройства общаются напрямую друг с другом без участия человека. Одно устройство контролирует погоду. Интеллектуальный термостат получает доступ к этой информации и корректирует температуру в вашем доме.

Большие данные и Интернет вещи взаимозависимы. Эти устройства могут самостоятельно выполнять свои действия благодаря всем доступным им данным. Таким образом, чем больше устройств функционирует, тем больше данных генерируется.

Машинное обучение

Машинное обучение означает способность компьютера учиться на данных. Машинное обучение также содержит рекомендации по содержанию на YouTube и Netflix.

Эти предсказания обусловлены алгоритмами. Алгоритм поиска Google? Алгоритм, который определяет то, что вы видите в новостной ленте Вконтакте? Это все работа машинного обучения.

Это всего лишь несколько примеров того, как алгоритмы машинного обучения влияют на наш повседневный опыт.

Искусственный интеллект

Искусственный интеллект - следующий шаг после машинного обучения. Здесь компьютер не только изучает данные, но и использует эту информацию для принятия своих собственных решений и формирования своего собственного поведения.

Microsoft и Google продемонстрировали усилия по созданию человекоподобных роботов. Facebook использует искусственный интеллект, чтобы помочь предотвратить самоубийства. Технология развивается со невероятной скоростью, было даже несколько случаев, когда мышление компьютера превосходило человеческое.

Что такое анализ больших данных?

Источники больших данных не говорят нам ничего сами по себе. Кто-то должен понять всю эту информацию. Это то, что касается области аналитики больших данных: глядя на непонятно большие объемы информации и видя то, что мы можем узнать.

больших данных

Сегодня все больше организаций начинают новые проекты больших данных, и конкурируют, чтобы предложить свою конкретную форму анализа больших данных во многих различных областях. Именно благодаря этим действиям большие данные влияют на нашу жизнь.

Почему люди это делают? Потому что с правильным пониманием большие данные могут принести много пользы.

Преимущества больших данных

Люди стремятся использовать большие данные для улучшения нашей жизни. Вот некоторые из областей, где работают большие данные.

Большие данные в здравоохранении

Индустрия здравоохранения не является самой быстрой при внедрении новых технологий. Некоторые больницы все еще переходят от бумаги к цифровым средствам хранения. Тем не менее, есть области, где большие данные имеют значение. Одна из них - область интеграции. Страховщики и больницы работают над объединением данных из разных источников, таких как претензии, рентгеновские снимки, заметки врачей и рецепты.

Большие данные в здравоохранении

Многие считают, что, если данные о здравоохранении будут лучше интегрированы, это может обеспечить более качественные услуги по более низкой цене.

Большие данные в области финансов

Финансовая индустрия одета в идею принятия решений на основе компьютерного анализа. Вспышки на фондовых биржах происходят из-за автоматизированной торговли, при этом машины быстро продают акции без вмешательства человека, исходя из того, что происходит на рынке. Это называется высокочастотной торговлей.

Большие данные в области финансов

Теперь ученые финансовых данных используют большие данные, чтобы предсказать, какие активы будут успешными, и когда могут произойти будущие проблемы. Банки также видят большие данные как способ увеличить свой доход.

Большие данные в электронной торговле и маркетинге

При посещении магазина мы генерируем много информации. В магазине кредитные и дисконтные карты отслеживают каждую покупку. Некоторые магазины используют камеры или даже отслеживают наши телефоны, чтобы увидеть, какая часть магазина занимает наше самое пристальное внимание. В Интернете мы должны создавать учетные записи перед покупкой, позволяя сайтам не только отслеживать, что мы покупаем, но и каждый элемент, который мы рассматриваем.

Магазины основывают свои макеты на потребительском интересе и поведении. Интернет-продавцы решают, что мы видим на основе демографической информации и других показателей.

Существует большой спрос на такое понимание, которое вытекает из мониторинга наших интересов и поведения в Интернете. Facebook и Google являются прибыльными техническими гигантами из-за их способности продавать рекламу, которая лучше ориентирована на конкретные группы потребителей, чем на другие рекламные методы и платформы. Они могут сделать это благодаря всей информации, которую мы предоставляем, когда используем их услуги.

Являются ли большие данные опасными?

Большие данные приходят с большими обещаниями, но они также сопряжены с риском. Во-первых, это эрозия частной жизни. Большое количество людей знают о каждом из нас, больше чем в любой момент человеческой истории. Не только легко найти, где мы живем, но и куда мы идем, кого мы любим, как мы живем, и что мы думаем.

Это делает людей и общество более открытыми для манипуляций. Нас могут обмануть, украв наши пароли от кредитных карт или повлиять на голосование за кандидатов, которых мы бы не поддержали. Больше данных предлагает больше способов рекламодателям и медиа-компаниям формировать наши желания и ценности.

У нас больше данных, чем раньше, и данные хранятся в большем количестве мест. Это создает больше целей для атаки. Нарушения данных теперь являются обычным явлением, и то, что происходит с нашими данными, которые находятся вне нашего контроля.

Даже компании, которые могут сделать достойную работу по защите наших данных от внешнего нападения, часто делают сомнительные вещи с этими данными.

Тогда есть риск того, что люди делают с информацией, большие данные позволяют им прогнозировать. Должны ли мы усилить полицейскую деятельность в районах, которые, как мы прогнозируем, будут иметь больше преступлений? Увеличиваем ли мы цены для онлайн-покупателей, которые живут в богатых районах?

Нахождение способов безопасного хранения наших данных, соблюдение конфиденциальности и поддержание наших ценностей будут постоянными проблемами, поскольку тенденция к большим данным продолжается. Но независимо от того, как мы к этому относимся, к лучшему или худшему, все мы живем в мире больших данных.