24 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Что нужно сделать для снижения стоимости облака AWS

Как сократить расходы в Облаке: 9 советов

По внутренней статистике Яндекс.Облака до 35% расходов (!) на облачные сервисы можно оптимизировать. Мы подготовили для вас 9 советов, как это сделать.

1. Планируйте по-новому

Особенности планирования ресурсов в облаке достаточно сильно отличаются от стандартной инфраструктуры. Уже на этапе тестирования (пробного периода) внимательно сравните информацию о загрузке ресурсов, которая предоставляется бесплатно из сервиса мониторинга, с данными Биллинга в денежном выражении. Это поможет определить, когда были запущены и оплачены лишние виртуальные машины (ВМ), как запускаются сервисы, на какие дни приходятся пики и плато нагрузки.

2. Анализируйте аномалии

Используя выгрузку в CSV и возможности сервисов анализа и визуализации данных, посмотрите, на что именно ушли деньги. На графиках хорошо видны всплески потребления баз данных. Задайтесь вопросом, какой продукт в это время тестировался, в рамках какого проекта случился всплеск, насколько это необходимо, успешен проект или нет. Мы рекомендуем для этой задачи сервис Yandex DataLens, но вы можете использовать любой привычный инструмент.

3. Исключите случайности

Глубокий анализ информации из сервиса мониторинга и оценка потребления сервиса Compute Cloud позволяет отслеживать расходы, чтобы они не выходили за пределы. У наших клиентов был случай, когда сотрудники забыли отключить дорогостоящую GPU-карту. В другом кейсе потребление ядер платформы Intel ® Cascade Lake резко подскочило и указало на то, что запущен какой-то проект, после чего потребовался анализ его успешности и целесообразности.

4. Прерывайте ВМ

Используйте прерываемые ВМ, которые будут принудительно остановлены в течение 24 часов. Данные при этом сохраняются. Они оптимально подходят для тестовых задач или для обсчёта большого количества данных за короткое время. При этом скидка может достигать 70%. Сервис Instance Groups позволяет автоматизировать запуск прерываемых ВМ, и таким образом экономить. Если в проекте заняты 100 ВМ, их можно запускать не все сразу, а периодически (например, блок машин через каждые 15 минут). Вероятность того, что 100 машин будут остановлены сервисом одновременно, практически стремится к нулю.

5. Используйте ядра частично

Если для проекта критически важна постоянная работа инфраструктуры и прерываемая ВМ не подходит, подумайте о ВМ с частичным использованием ядра. Скидка на виртуальные ядра составит до 65%, при этом вы гарантированно получите ту долю ядра, которую купите. Есть вероятность получить и до 100% ядра, если ваши соседи в этот момент не будут им пользоваться. Вариант подходит для пилота или демостенда.

6. Готовьтесь к пиковой нагрузке с автоскейлингом

Автоматизация масштабирования в Instance Groups помогает при волатильном спросе на ВМ. Вы просто настраиваете правила и задаёте условия, и сервис автоматически включает или выключает машины. Снижается риск человеческой ошибки, вероятность что-либо недоглядеть или забыть запустить.

7. Доверьтесь Managed Services

Использование наших управляемых сервисов позволяет оптимизировать расходы скорее на инфраструктуру в целом, чем именно на облачные ресурсы. Причём итоговая экономия может составлять от 20 до 80% для баз данных и достигать 150% для Managed Service for Kubernetes ® . Используя наши managed-сервисы, вы освобождаете сотрудников от рутинных задач. Яндекс.Облако отказоустойчиво, отвечает за обновление, техподдержку, мониторинг всего, что происходит. А ваши специалисты могут потратить время на продукты компании, что более ценно для развития бизнеса, чем администрирование базы данных.

8. Храните данные в Object Storage

Когда приходится записывать терабайты данных, один из вариантов оптимизировать расходы — использовать объектное хранилище Object Storage для определённых типов данных вместо хранения на дисках ВМ. В частности, сервис позволяет сократить затраты на хранение бэкапов, видео- и аудиофайлов. С Object Storage вам не нужно самостоятельно разворачивать отказоустойчивую систему через дублирование ВМ.

9. Считайте с Cloud Functions

На конференции Yandex Scale был представлен новый способ оптимизировать расходы: это сервис Cloud Functions, который позволяет решать задачи и платить только за вычисления. Например, для автоматизации системы учёта транзакций это самый дешёвый вариант эксплуатации. При этом затраты на надёжность также достаточно низкие, поскольку Cloud Functions при необходимости автоматически масштабируется.

Планы

Сервисы Яндекс.Облака постоянно совершенствуются, раздел Биллинг меняется, и в ближайшее время планируется запустить четыре интересные опции. Это:

  1. Автоматизированная выгрузка данных из Биллинга в Yandex DataLens (сейчас для настройки необходимо обратиться в техподдержку).
  2. Дополнительный инструмент анализа labels. Если ваши 10 ВМ заняты в разных проектах, полезно понимать, сколько одна ВМ потратила денег за отчётный период. Если присвоить ВМ лейбл, станет доступна информация о машине. Также появятся гибкие возможности получить целостную картину затрат на проект, что достаточно сложно на собственной инфраструктуре.
  3. Функция бюджеты (предоплатное потребление) поможет гарантировать, что за месяц компания не потратит больше определённой суммы. Когда предел будет достигнут — придёт уведомление от службы поддержки, а потом виртуальные ресурсы приостановятся.
  4. Прогнозирование затрат за любой отчётный период на основе истории потребления упростит управление расходами в Яндекс.Облаке, а также позволит избежать проблем с нулевым лицевым счётом.

Также рекомендуем посмотреть подробный доклад об экономике Облака с конференции Yandex Scale: за что снимаются деньги со счёта, как происходит переход из триала в платное пользование, чем полезны детализация и анализ и не только.

Сравнение услуг облачных провайдеров: Microsoft Azure, AWS или Google Cloud

Сравнение услуг облачных провайдеров: Microsoft Azure, AWS или Google Cloud

Облачные технологии прочно вошли в повседневную жизнь пользователей, а для крупного и среднего бизнеса они стали неотъемлемой частью информационных и технологических процессов.

Сравнение услуг облачных провайдеров: Microsoft Azure, AWS или Google Cloud

Если вы готовитесь к переносу своих мощностей в облако, у вас наверняка возникнет вопрос: какую платформу выбрать и почему именно с ней вы должны работать в дальнейшем. В этой статье мы приведем несколько сравнительных характеристик (вычисления, аналитика, хранение, сеть, ценообразование), с помощью которых можно понять, с какой платформой вам будет комфортнее и выгоднее работать в будущем.

AWS против Microsoft Azure и Google Cloud Platform

Во-первых, скажем несколько слов о каждой из платформ:

Amazon Web Services. Созданная в 2006 году, облачная платформа Amazon стала первооткрывателем в данной области, благодаря чему завоевала немалый рынок. С постоянными нововведениями и улучшениями на протяжении многих лет, AWS представила более 70 услуг с широким спектром покрытия по всему миру. Серверы доступны в 14 географических регионах. Рыночная доля компании неуклонно растет, во втором квартале 2016 года облачные технологии Амазон охватывали 31% рынка.

Microsoft Azure. Система была запущена в 2010 году и развивается очень быстрыми темпами. Microsoft Azure сейчас представляет собой многогранную сложную систему, которая обеспечивает поддержку множества различных услуг, языков программирования и фреймворков. В составе облака более 60 служб и центров обработки данных в 38 различных географических регионах. В настоящее время Microsoft Azure занимает 11% рынка.

Google Cloud Platform. Представленная в 2011 году, Google Cloud Platform является самой молодой облачной платформой и, в первую очередь, удовлетворяет потребности поиска Google и Youtube.

В настоящее время у компании представлено более 50 услуг и 6 глобальных центров обработки данных. Google Cloud Platform на рынке облачных услуг имеет 5% долю.

Компьютерные вычисления

Вычислительные мощности являются фундаментальным процессом для существования IT-бизнеса. Преимуществом облачных технологий является то, что у вас всегда под рукой мощный и расширяемый инструмент, с которым вы можете взаимодействовать удаленно и масштабировать в любое время суток.

Читать еще:  Всё про ремонт жёсткого диска своими руками

В Amazon Web Services центральной вычислительной службой является сервис Elastic Compute Cloud (EC2). EC2 стал главным синонимом для понятия «масштабируемые вычисления по требованию». Для того, чтобы еще более тщательно планировать и снижать расходы при запуске проектов, компания ввела новые подсервисы, такие как AWS Elastic Beanstalk, Amazon EC2 Container Service.

На данный момент AWS поддерживает 7 различных семейств экземпляров и 38 типов экземпляров. Он одновременно предлагает и региональную поддержку, и поддержку зоны.

Основа вычислительных систем Microsoft Azure – это классические виртуальные машины и высокопроизводительные Virtual Machine Scale Sets. Клиентские приложения для Windows могут быть развернуты с помощью сервиса RemoteApp. Azure Virtual Machine включает 4 различных семейства, 33 типа экземпляров, которые вы можете развернуть в разных регионах. Но поддержка определенной зоны региона пока не поддерживается.

Google Cloud Platform использует сервис Compute Engine для обработки вычислительных процессов. Одним из главных недостатков является ценообразование, оно менее гибкое по сравнению с AWS и Azure.

Compute Engine поддерживает большинство основных облачных услуг – развертывание контейнера, масштабируемость и обработка данных. Google Cloud поддерживает 4 семейств экземпляров, 18 различных типов экземпляров, а также обеспечивает как региональное размещение, так и выбор зоны.

Если выбирать лидера, то AWS и Microsoft Azure сейчас наиболее востребованные облачные платформы. Предлагаемые вычислительные мощности у компаний находятся практически на равных уровнях, список предлагаемых сервисов также постоянно растет.

Аналитика

Платформы облачных вычислений обеспечивают также мощные аналитические инструменты для бизнеса.

В области анализа данных AWS сделал большой скачок, отдельный сервис Quick Sight – предоставляет собой легкую в использовании бизнес-аналитику с готовыми шаблонами и по стоимости в 10 раз дешевле, чем традиционные BI-решения.

Сервис Microsoft Azure за последние годы сильно улучшил инструменты аналитики и машинного обучения, создав отдельное направление, включающее подсистему обработки аналитики Data Lake Analytics и машинное обучение в составе Cortana Intelligence Suite.

Google Cloud Platform запустил также отдельное направление по аналитике больших данных и имеет большие перспективы развития в будущем. Уже сейчас программные среды Cloud Vision API, Cloud Speech API, и Google Translate API имеют множественные интеграции в сторонние сервисы и приложения.

Место хранения

Хранение информации является связующим звеном облачных вычислений, поскольку оно позволяет собрать все виды информации в одном хранилище.

AWS Simple Storage Service, известный как S3, в значительной степени является промышленным стандартом. В целом, S3 создало понятие объектно-ориентированного хранения данных, а для архивации данных был создан отдельный сервис Amazon Glacier.

Azure и Google Cloud Platform имеют также достаточно надежные и мощные средства хранения.

Преимуществом Azure становится внедрение функций резервного копирования и восстановления данных внутри облачного хранилища. Также одним из важнейших решений стал подсервис StorSimple – гибридное облачное хранилище для корпоративных клиентов, которое позволяет сократить затраты до 60%.

Сравнение функцией сети является важным аспектом, так как для создания изолированного облака необходим не только источник вычислительных ресурсов, но и отдельный VPN доступ и адрес в сети.

В Amazon Web Services вы можете использовать Virtual Private Cloud для создания VPN с настройкой подсети, таблицы маршрутизации, частных диапазонов IP-адресов и сетевых шлюзов. Кроме того, есть сервис Route 53 для реализации веб-службы DNS.

Microsoft Azure также предлагает обширные инструменты настройки сетей. Виртуальная сеть (VNET) позволяет установить VPN, настроить публичный IP , подключить гибридное облако, а также активизировать межсетевой экран и DNS.

Предложения Google Cloud Platform не столь обширны. Платформа пока имеет только виртуальную сеть Cloud с поддержкой подсетей Public IP, собственный брандмауэр, и необходимые настройки DNS.

Ценообразование

Облачные сервисы имеют довольные различные подходы к ценообразованию использования облачных сервисов.

AWS использует несколько моделей оплаты:

  • По требованию: Вы платите только за ресурсы и услуги, которые вы используете
  • Резервирование: Вы выбираете необходимое количество ресурсов, которые вы хотите заказать авансом от 1 до 3-х лет и оплачиваете на основе использования. Часто на такие предложения действуют хорошие скидки (до 75 %).
  • Частичное резервирование. Чем больше ресурсов используешь, тем меньше стоимость предоставленных услуг

Округление в Amazon Web Services работает на основе часов использования.

Microsoft Azure использует более гибкую систему ценообразования, оплата идет за пользование облачными ресурсами, с округлением по минутам. Вы можете использовать готовые подписки MSDN с определенным количеством денежных средств на облачные вычисления, либо оплачивать ресурсы обычным способом с ежемесячным выставлением счетов. Скидки также работают на основе объема заказанных услуг.

Google Cloud Platform имеет схожую систему выставление счетов как и Azure, но с округлением использования ресурсов за период в течение 10 минут.

Каждая платформа предлагает ценовой калькулятор, который помогает оценить затраты. В плане удобства, Microsoft Azure вышел вперед, сервис предлагает оценить затраты не только с помощью калькулятора на сайте, но и при создании новых проектов, непосредственно в портале управления.

Битва титанов в облаках: кто станет лидером на рынке cloud-сервисов

В Bank of America назвали компании, которые в этом году будут лидировать на рынке облачных технологий. Это — Amazon, Microsoft, Alphabet и Adobe. Рассказываем о них подробнее.

1. Amazon

По оценкам аналитика Джастина Поста из Bank of America, AWS (облачный сервис Amazon) и реклама позволят компании увеличить прибыль на $4,7 млрд в этом году. Эксперт также отметил, что доходы от AWS во втором полугодии могут уменьшиться, поэтому компания сосредоточит свое внимание на расширении облачного бизнеса.

Основной бизнес Amazon — онлайн-торговля — продолжает стабильно развиваться, но именно облачный сегмент Amazon Web Services в последние годы стал главным фактором роста компании. При этом Amazon лидирует на рынке облачных вычислений с долей около 39%.

Аналитики Bank of America ожидают удорожания акций Amazon в этом году на 24% от текущей цены, до $2,330.

2. Microsoft

Джастин Пост считает, что выручка облачного сервиса Microsoft Azure вырастет в этом году в сравнении с 2019-м на 46% — до $25 млрд. Эксперт ожидает роста доходов вплоть до 2023 года. В минувшем октябре Microsoft обошла Amazon в борьбе за облачный контракт Министерства обороны США на $10 млрд. Пост уверен, что полученный контракт позволит разработчику софта нарастить продажи Azure в ближайшие четыре года на 43%.

Microsoft занимает второе место с долей облачного рынка 19%. Кроме того, компания уже сейчас является лидером в таком сегменте облачного рынка, как IaaS.

На облачном рынке есть три основных вида услуг. Так называемые SaaS, или «программное обеспечение как услуга»; PaaS, или «платформа как услуга»; и IaaS, или «инфраструктура как услуга».

Сейчас годовая цель акций Microsoft от Bank of America установлена на отметке в $162, что ниже текущих уровней.

Однако многие эксперты в последние дни обновили свои оценки компании. Так, в Raymond James повысили прогноз по акциям Microsoft с $163 до $192. Аналитики Stifel Nicolaus повысили годовую цель бумаг с $160 до $175.

Аналитик из Wedbush Дэниел Айвс повысил цель бумаг до $195, ожидая, что Azure и Office 365 будут оставаться главными двигателями роста компании.

3. Alphabet

Облачный сервис Google Cloud компании Alphabet замыкает тройку лидеров. Однако выручка от этого сервиса в последнем квартале подскочила на 71% и, по подсчетам Поста, может достичь $13,4 млрд в 2020 году. Более того, аналитик считает, что один только облачный бизнес Google способен достичь стоимости в $107 млрд.

Читать еще:  ТОП-35 Самых Полезных Горячих Клавиш в Браузере Chrome

В Bank of America рекомендуют покупать акции Alphabet, ожидая их удорожания от текущего уровня цены на 11%, до $1620 .

4. Adobe

За последние несколько лет Adobe успешно перенесла свои популярные инструменты для редактирования фотографий и фильмов в облако и создала продукт Creative Cloud. Аналитик Кэш Рэнган из Bank of America считает, что число подписчиков Creative Cloud к 2023 году может удвоиться в сравнении с 2018 годом и достичь 29 млн. Adobe может заработает на этом рынке $128 млрд в 2022 году. Из них $31 млрд приходится на Creative Cloud, $13 млрд — на Document Cloud и $84 млрд — на Digital Experience.

Сейчас годовая цель акций Adobe от Bank of America — $350, что соответствует текущему уровню цены.

В последние дни несколько аналитиков повысили прогнозы по акциям Adobe: в Credit Suisse — с $350 до $385, в Jefferies — с $370 до $390.

Как эксперты оценили рынок облачных услуг

Облачные вычисления покажут самый устойчивый рост в следующие десять лет. Внедрение и совершенствование облачных технологий будут оставаться приоритетной задачей компаний на долгие годы.

«К 2022 году до 60% компаний во всем мире будут использовать облачные сервисы от внешних поставщиков. Это вдвое больше, чем в 2018 году. Поэтому мы ожидаем увеличения инвестиций в это направление бизнеса технологических компаний», — считает вице-президент консалтинговой фирмы Gartner Сид Наг.

За ближайшие три года объем облачных услуг вырастет по всему миру почти на $127 млрд, до $354,6 млрд, подсчитали в Gartner. В этом году хай-тек-компании нарастят выручку от продаж облачных услуг на 17%, до $266,4 млрд, благодаря консолидации центров обработки данных. Такой вид услуг, как SaaS, обеспечит хай-тек-компании суммарной выручкой в $116 млрд, а IaaS станет самым быстрорастущим облачным сегментом 2020 года — его продажи вырастут на 24%, до $50 млрд.

Начать инвестировать можно прямо сейчас на РБК Quote. Проект реализован совместно с банком ВТБ.

Как обнаруживают открытые облачные хранилища Amazon.

В последнее время на нас хлынул поток новостей про обнаружение в открытом доступе различной конфиденциальной информации. В подавляющем большинстве случаев это инциденты, связанные с неправильно сконфигурированными облачными серверами Amazon S3 (AWS).

Владельцы таких облачных хранилищ (в терминологии AWS это Bucket – ведро, но мне больше нравится слово хранилище) попросту забывают корректно выставить разрешения, оставляя публичный доступ к данным. Что интересно, сам Amazon предоставляет множество вариантов проверки прав доступа и всячески предупреждает, если пользователю Everyone выставлены разрешения на доступ.

По-видимому, ИТ-администраторы не обращают внимание на такие мелочи. -)

Отдельно стоит задать риторический вопрос – зачем вообще файлы с критически-важным содержимым (номера кредитных карт, документы с грифом «совершенно секретно» и т.п.) хранят в публичных облаках? И почему собственно не проводится регулярная инвентаризация данных? Вопрос риторический, поскольку для решения такой проблемы на рынке давно существуют программы класса data discovery как самостоятельные продукты или компоненты DLP-систем.

Про самые громкие случаи мы писали довольно подробно:

В 90% случаев все эти нарушения хранения конфиденциальных данных были обнаружены сторонними исследователями безопасности, осуществляющими целенаправленный поиск открытых серверов AWS.

Не сильно вдаваясь в технические детали, попробую «на пальцах» объяснить, как производится поиск таких неправильно сконфигурированных облачных хранилищ Amazon S3.

Во-первых, надо понимать, что нет никакого реестра хранилищ (разумеется, он есть у самого Amazon, но в открытый доступ его никто не выложит). Поэтому, чтобы обнаружить хранилище, надо применить метод перебора. Составляется обычный текстовый словарь, куда включаются названия компаний (например, Uber), различные термины (например, production, backup) и т.д. Затем специальный скрипт начинает перебор, подставляя в качестве имени хранилища все возможные варианты из словаря. Например, для Uber будет найдено хранилище uber.s3.amazonaws.com (ясно, что это хранилище не принадлежит компании Uber, но для примера сойдет).

Во-вторых, большинство обнаруженных перебором хранилищ будет нормально сконфигурировано, и вы не получите доступ к их содержимому. Попытка просмотреть содержимое таких хранилищ завершится ошибкой «Access Denied». Поэтому хороший скрипт умеет сразу проверять доступность найденных хранилищ и делает листинг их содержимого, проходясь по всем вложенным директориям.

В-третьих, самое главное – если исследователи все-таки обнаруживают какие-то конфиденциальные данные, они немедленно уведомляют владельцев хранилища об этом. Хотя, в случае с Uber там все было немного по-другому. -)

В заключение приведу несколько полезных ссылок:

Как мы мигрировали с железа на AWS: проблемы и решения

Меня зовут Илья, я CTO компании Wikr Group. Мы занимаемся созданием и развитием контент-проектов во всем мире. Ежемесячно наши ресурсы посещают более 100 млн уникальных пользователей.

Изначально все наши проекты были созданы на WordPress, а серверы проекта хостились на железе. С ростом географии сервисов по всему миру мы были вынуждены покупать сервера в Бразилии, Штатах, Германии — во всех точках присутствия. Это было неудобно с точки зрения администрирования: возникали трудности с сетапами, добавлением новых инстансов. Когда нужно было масштабироваться, мы тратили по несколько дней на ожидание, пока новый сервер доставят в стойку. И после — пока получим ответ от службы поддержки. Ввиду всего этого нам хотелось быть гибкими, быстро деплоиться и управлять всем из одного места.

К тому же наш продукт — это контент, а работа с контентом подразумевает большое количество статики, в нашем случае картинок. Ежемесячно со всех наших ресурсов мы отдаем около 100 Тб статики. Обслуживать с железных дисков такие объемы данных стало неудобно.

Так было решено переехать в облако. Это надежно, удобно и позволяет гарантировать целостность данных. Выбрали Amazon Web Services.

Почему AWS?

Amazon — лидер, именно он диктует правила клауда в мире. С AWS конкурируют Google Cloud, Microsoft Azure, Digital Ocean и т. д. Но так сложилось исторически, что на тот момент мы уже пользовались некоторыми сервисами Amazon — к примеру, Route 53 DNS Service‎ для балансинсировки запросов. Нам было проще расширяться, интегрировать и синхронизировать остальные сервисы уже оттуда.

К тому же, у Amazon есть очень много дата-центров по всему миру, которые связаны между собой. Как я писал выше, наши серверы тоже размещались в разных странах Европы и Америки, и поэтому мы намеревались переехать на ту же структуру — только теперь соединенную в одну сеть намного более быстрыми каналами.

Переход на S3 и EFS

S3 — это хранилище объектов, один из сервисов в AWS. Первым делом мы интегрировали этот сервис в наши внутренние (не контентные) сайты: порядка 12 аналитических и других приложений, написанных на PHP 7 и Symfony 3. Переписали код, чтобы раздавать внутреннюю статику напрямую из S3, однако контентные сайты все равно продолжали работать на железе. Часть проблем осталась: нам все еще приходилось поднимать WordPress во всех регионах, где мы запускались.

Следующим этапом миграции был переход на сетевую файловую систему EFS.

На этом этапе мы столкнулись с проблемой, которая обошлась нам в сутки простоя. Amazon EFS использует кредитную систему для определения того, когда файловые системы могут исчерпать выделенные для них ресурсы. Есть такое понятие, как пропускная способность: мы можем прогнать через сетевую файловую систему определенное количество трафика с определённой скоростью. Если эти кредиты исчерпываются, то пропускная способность и скорость становится равна 0. Именно это с нами и случилось: в один прекрасный день отдача файлов прекратилась.

Читать еще:  Как установить Кали Линукс на компьютер: виртуал или реал?

Написали в саппорт, и нам в ответ скинули статью, где рассказано, как все рассчитывается, предложили нам самостоятельно рассчитать необходимые размеры трафика. Оказалось, что чем больше его объем, тем больше кредитов предоставляется. Таким образом, для корректной работы пришлось «раздуть» EFS файлами-заглушками из 4 Гб (это был только код, так как все картинки в S3) до 30 Гб.

Теперь мы уже заранее рассчитываем, какое количество трафика нам будет обеспечено. Когда необходимо, предварительно увеличиваем размер файловой системы, чтобы получить больший кредит.

Специфика работы RDS

У нас есть несколько регионов. Мастер-база находится только в одном из этих регионов, а слейвы — в каждом. Для того чтобы подключиться к мастеру, нам нужно разрешить подключение из других зон. В рамках одного региона это можно реализовать, указав source секьюрити-группы инстансов, которым нужен доступ к мастеру. Но с инстансами из другого региона так сделать не получится. Потому необходимо прописывать их внешние IP как разрешенные.

В результате приходится считаться с тем, что этот фактор мешает динамически кросс-регионно скейлить инстансы, которым необходим доступ к мастер-базе.

Единая админка

Мы работаем на 7 разных локациях по всему миру, и, соответственно, у нас 7 редакционных команд. Очень много ребят оттуда работает удаленно — это локальные редакторы, переводчики, создатели контента, специалисты по постпродакшену. Они все работают с контентом через админку.

Поэтому возникла задача на уровне AWS логически разделять, как будет работать роутинг в административной и фронтовой частях наших сайтов.

Нашли такое решение: сделали одну мастер-базу в Европе. Записывать новые данные мы можем только на мастер, а считываем с региональных слейвов. Чтобы все записывать в одно место, мы сделали между регионами ipsec-туннель — VPN, который пропускает трафик через шифрованный туннель в Европу, в локацию админки. Таким образом, к примеру, когда контент-редакторы из Бразилии редактируют материалы, информация идет по цепочке из Южной Америки в Европу.

Наша текущая архитектура

Денежные вопросы

Минус миграции с железа в облако может быть только один — это дорого. С нашими масштабами эти затраты оправданы. Но если идет речь о небольшом стартапе, то, возможно, будет проще купить VPS.

Работа в облаке учит работать с ресурсами, все тщательно просчитывать и избавляет от необходимости брать сервера «на вырост». Мы берём только те сервера, которые подходят именно под наши задачи. Например, если нужно 3 двухъядерных инстанса — столько и возьмем. Так не приходится платить больше и терять на простое.

Сэкономить возможно и на оптимизации хостинга. AWS предлагает обратить внимание на так называемые спот-инстансы — инстансы, которые продаются на их бирже по принципу аукциона. Так можно поймать самые низкие цены. Однако надо понимать, что позже их цена может повыситься, и они «схлопнутся». Потому на них нельзя построить основную рабочую группу, но вполне можно крутить те задачи, для которых даунтайм не критичен. Например, один из уровней кэша.

Другой способ сэкономить — использовать резерв инстансов. Мы пока что им не пользовались, так как у наших проектов идет активный рост, и нам пока что сложно точно спрогнозировать масштабы.

При этом нужно понимать, что Amazon — это не всегда панацея. К примеру, у AWS дорогой CDN. Мы используем сервис компании CloudFlare — это обходится в десятки раз дешевле. Если комбинировать услуги разных поставщиков, можно добиться большей эффективности — и в плане работы системы, и в плане траты средств.

Итоги и выводы

Мы начали миграцию весной, и она продолжается до сих пор. Самое сложное — перенос «живого» трафика с 70-100 тыс. пользователей онлайн. На повестке дня — работа над автоскейлингом. Это позволит работать с незапланированным трафиком, который наша существующая архитектура может не выдержать. Автоскейлинг позволит добавлять дополнительные инстансы на пиковых нагрузках, а затем их отключать.

Главные рекомендации — тщательно считать трафик и рассматривать комбинации сервисов, которые позволят сэкономить. И ещё не допускать беспорядка в именованиях, группах, тегах, документации — это касается не только облака. Порядок — залог успеха 🙂

Из литературы могу посоветовать книгу «AWS Certified Solutions Architect Official Study Guide» — там доступно рассказано о принципах работы с Amazon. Есть также одноименные видеоуроки.

Если вы только начинаете работать с AWS, обязательно пообщайтесь с теми людьми, кто уже имеет такой опыт. Мы всегда готовы подсказать и дать совет: пишите в комментариях или в личные сообщения.

Как обнаруживают открытые облачные хранилища Amazon.

В последнее время на нас хлынул поток новостей про обнаружение в открытом доступе различной конфиденциальной информации. В подавляющем большинстве случаев это инциденты, связанные с неправильно сконфигурированными облачными серверами Amazon S3 (AWS).

Владельцы таких облачных хранилищ (в терминологии AWS это Bucket – ведро, но мне больше нравится слово хранилище) попросту забывают корректно выставить разрешения, оставляя публичный доступ к данным. Что интересно, сам Amazon предоставляет множество вариантов проверки прав доступа и всячески предупреждает, если пользователю Everyone выставлены разрешения на доступ.

По-видимому, ИТ-администраторы не обращают внимание на такие мелочи. -)

Отдельно стоит задать риторический вопрос – зачем вообще файлы с критически-важным содержимым (номера кредитных карт, документы с грифом «совершенно секретно» и т.п.) хранят в публичных облаках? И почему собственно не проводится регулярная инвентаризация данных? Вопрос риторический, поскольку для решения такой проблемы на рынке давно существуют программы класса data discovery как самостоятельные продукты или компоненты DLP-систем.

Про самые громкие случаи мы писали довольно подробно:

В 90% случаев все эти нарушения хранения конфиденциальных данных были обнаружены сторонними исследователями безопасности, осуществляющими целенаправленный поиск открытых серверов AWS.

Не сильно вдаваясь в технические детали, попробую «на пальцах» объяснить, как производится поиск таких неправильно сконфигурированных облачных хранилищ Amazon S3.

Во-первых, надо понимать, что нет никакого реестра хранилищ (разумеется, он есть у самого Amazon, но в открытый доступ его никто не выложит). Поэтому, чтобы обнаружить хранилище, надо применить метод перебора. Составляется обычный текстовый словарь, куда включаются названия компаний (например, Uber), различные термины (например, production, backup) и т.д. Затем специальный скрипт начинает перебор, подставляя в качестве имени хранилища все возможные варианты из словаря. Например, для Uber будет найдено хранилище uber.s3.amazonaws.com (ясно, что это хранилище не принадлежит компании Uber, но для примера сойдет).

Во-вторых, большинство обнаруженных перебором хранилищ будет нормально сконфигурировано, и вы не получите доступ к их содержимому. Попытка просмотреть содержимое таких хранилищ завершится ошибкой «Access Denied». Поэтому хороший скрипт умеет сразу проверять доступность найденных хранилищ и делает листинг их содержимого, проходясь по всем вложенным директориям.

В-третьих, самое главное – если исследователи все-таки обнаруживают какие-то конфиденциальные данные, они немедленно уведомляют владельцев хранилища об этом. Хотя, в случае с Uber там все было немного по-другому. -)

В заключение приведу несколько полезных ссылок:

голоса
Рейтинг статьи
Ссылка на основную публикацию
Статьи c упоминанием слов: