Схема работы кэша
Кэш – это специально отведенный небольшой участок памяти с большей скоростью обмена данными, чем у традиционной. Существует он ввиду несоответствия между вычислительными мощностями процессоров и скоростью считывания информации со стандартных накопителей памяти.
Прогресс требовал увеличения объемов для хранения данных , в то время как быстрота их обработки отставала с самого зарождения компьютеров. Именно из-за этого и был разработан такой «мост». Процесс занесения информации в кэш-память получил название «кэширование ». Собственно, поэтому и важно её своевременно очищать – для сохранения эффективности считывания.
Алгоритм кэширования в браузерах
Зачастую, говоря о кэшировании, многие вспоминают о cache -файлах в браузерах. И неудивительно, так как их очистка – один из основных советов, который дают пользователям при возникновении ошибок.
Накапливаются они вместе с числом просмотренных сайтов – с них часть сведений загружается в кэш-память, преследуя этим две цели : ускорить общее время загрузки и уменьшить нагрузку на сетевой трафик. При повторном заходе на сайт, происходит проверка на актуальность данных между сервером и клиентом. Что должно быть сохранено, а что нет, решает создатель веб-страницы.
В операционных системах Windows, файлы кэш-памяти занимают приличное пространство. Сохраняются разнообразные временные файлы , созданные после запуска или изменения какой-либо программы, превью изображений и музыкальных композиций, точки восстановления ОС.
Контролирует данный процесс, так называемый кэш-менеджер
, который периодически избавляется
от неактуальных ресурсов. Причем, именно эта периодичность и является ключевым фактором эффективной
работы: если файлы удалять слишком часто, то система будет тратить время, считывая их вновь, а если слишком редко – попросту не останется места для новых сведений.
На смартфонах с операционной системой Android ситуация выглядит похожим образом, за одним существенным «но» — объем предоставленной памяти значительно ниже
, чем на персональном компьютере. Помимо этого, программы после запуска хранятся в трей-листе, откуда их потом можно заново развернуть
, со всеми сохраненными изменениями, совершенными в последней сессии.
К сожалению, ОС не очень хорошо справляется с очисткой лишних файлов, из-за чего, при длительном пользовании, приложения могут работать некорректно , а само быстродействие телефона значительно снизится . Для предотвращения этого, рекомендуется использовать сторонние программы , которые производят очистку, например, Clean Master.
С быстрым доступом к нему, содержащий информацию, которая может быть запрошена с наибольшей вероятностью. Доступ к данным в кэше осуществляется быстрее, чем выборка исходных данных из более медленной памяти или удаленного источника, однако её объём существенно ограничен по сравнению с хранилищем исходных данных.
Впервые слово «cache» в компьютерном контексте было использовано в 1967 году во время подготовки статьи для публикации в журнале «». Статья касалась усовершенствования памяти в разрабатываемой модели 85 из серии IBM System/360 . Редактор журнала Лайл Джонсон попросил придумать более описательный термин, нежели «высокоскоростной буфер», но из-за отсутствия идей сам предложил слово «cache». Статья была опубликована в начале 1968 года, авторы были премированы IBM , их работа получила распространение и впоследствии была улучшена, а слово «кэш» вскоре стало использоваться в компьютерной литературе как общепринятый термин .
Кэш - это память с большей скоростью доступа, предназначенная для ускорения обращения к данным, содержащимся постоянно в памяти с меньшей скоростью доступа (далее «основная память»). Кэширование применяется ЦПУ , жёсткими дисками , браузерами , веб-серверами , службами DNS и WINS .
Кэш состоит из набора записей. Каждая запись ассоциирована с элементом данных или блоком данных (небольшой части данных), которая является копией элемента данных в основной памяти. Каждая запись имеет идентификатор , часто называемый тегом , определяющий соответствие между элементами данных в кэше и их копиями в основной памяти.
Когда клиент кэша (ЦПУ, веб-браузер, операционная система) обращается к данным, прежде всего исследуется кэш. Если в кэше найдена запись с идентификатором, совпадающим с идентификатором затребованного элемента данных, то используются элементы данных в кэше. Такой случай называется попаданием кэша . Если в кэше не найдена запись, содержащая затребованный элемент данных, то он читается из основной памяти в кэш, и становится доступным для последующих обращений. Такой случай называется промахом кэша . Процент обращений к кэшу, когда в нём найден результат, называется уровнем попаданий , или коэффициентом попаданий в кэш.
Например, веб-браузер проверяет локальный кэш на диске на наличие локальной копии веб-страницы, соответствующей запрошенному URL. В этом примере URL - это идентификатор, а содержимое веб-страницы - это элементы данных.
Если кэш ограничен в объёме, то при промахе может быть принято решение отбросить некоторую запись для освобождения пространства. Для выбора отбрасываемой записи используются разные алгоритмы вытеснения .
При модификации элементов данных в кэше выполняется их обновление в основной памяти. Задержка во времени между модификацией данных в кэше и обновлением основной памяти управляется так называемой политикой записи .
В кэше с немедленной записью каждое изменение вызывает синхронное обновление данных в основной памяти.
В кэше с отложенной записью (или обратной записью ) обновление происходит в случае вытеснения элемента данных, периодически или по запросу клиента. Для отслеживания модифицированных элементов данных записи кэша хранят признак модификации (изменённый или «грязный» ). Промах в кэше с отложенной записью может потребовать два обращения к основной памяти: первое для записи заменяемых данных из кэша, второе для чтения необходимого элемента данных.
В случае, если данные в основной памяти могут быть изменены независимо от кэша, то запись кэша может стать неактуальной . Протоколы взаимодействия между кэшами, которые сохраняют согласованность данных, называют протоколами когерентности кэша .
Существует три варианта обмена информацией между кэш-памятью различных уровней, или, как говорят, кэш-архитектуры: инклюзивная, эксклюзивная и неэксклюзивная.
Эксклюзивная кэш-память предполагает уникальность информации, находящейся в различных уровнях кэша (предпочитает фирма AMD).
В неэксклюзивной кэши могут вести себя как угодно.
Кэш центрального процессора разделён на несколько уровней. Максимальное количество кэшей - четыре. В универсальном процессоре в настоящее время число уровней может достигать трёх. Кэш-память уровня N+1, как правило, больше по размеру и медленнее по скорости доступа и передаче данных, чем кэш-память уровня N.
Одна из фундаментальных характеристик кэш-памяти - уровень ассоциативности - отображает её логическую сегментацию, которая вызвана тем, что последовательный перебор всех строк кэша в поисках необходимых данных потребовал бы десятков тактов и свёл бы на нет весь выигрыш от использования встроенной в ЦП памяти. Поэтому ячейки ОЗУ жёстко привязываются к строкам кэш-памяти (в каждой строке могут быть данные из фиксированного набора адресов), что значительно сокращает время поиска.
При одинаковом объёме кэша схема с большей ассоциативностью будет наименее быстрой, но наиболее эффективной (после четырёхпотоковой реализации прирост «удельной эффективности» на один поток растет мало).
Многие периферийные устройства хранения данных используют внутренний кэш для ускорения работы, в частности, жёсткие диски используют кэш-память от 1 до 256 Мбайт (модели с поддержкой NCQ /TCQ используют её для хранения и обработки запросов), устройства чтения CD/DVD/BD-дисков также кэшируют прочитанную информацию для ускорения повторного обращения.
Операционная система также использует часть оперативной памяти в качестве кэша дисковых операций (например, для внешних устройств, не обладающих собственной кэш-памятью, в том числе жёстких дисков, flash-памяти и гибких дисков). Часто для кэширования жёстких дисков предоставляется вся свободная (не выделенная процессам) оперативная память.
Применение кэширования внешних накопителей обусловлено следующими факторами:
При чтении кэш позволяет прочитать блок один раз, затем хранить одну копию блока в оперативной памяти для всех процессов и выдавать содержимое блока «мгновенно» (по сравнению с запросом к диску). Существует техника «предзапроса» - в фоновом режиме операционной системой считываются в кэш также несколько следующих блоков (после нужного).
При записи кэш позволяет сгруппировать короткие записи в более крупные, которые эффективнее обрабатываются накопителями, либо избежать записи промежуточных модификаций. При этом все промежуточные состояния блока видны процессам из оперативной памяти.
Кэширование внешних устройств хранения значительно увеличивает производительность системы за счёт оптимизации использования ввода-вывода. Преимуществом технологии является прозрачная (незаметная для программ) автоматическая оптимизация использования памяти-дисков при неизменности логики приложений, работающих с файлами.
Недостатком кэширования записи является промежуток времени между запросом на запись от программы и фактической записью блока на диск, а также изменение порядка выполнения записей, что может приводить к потерям информации или несогласованности структур при сбое питания или зависании системы. Данная проблема сглаживается принудительной периодической синхронизацией (записью изменённых строк кэша) и журналированием файловых систем.
При чтении данных кэш-память даёт однозначный выигрыш в производительности. При записи данных выигрыш можно получить только ценой снижения надёжности. Поэтому в различных приложениях может быть выбрана та или иная политика записи кэш-памяти.
Существуют две основные политики записи кэш-памяти - сквозная запись (write-through) и отложенная запись (write-back):
Изначально все заголовки буферов помещаются в список свободных буферов. Если процесс намеревается прочитать или модифицировать блок, то он выполняет следующий алгоритм:
Процесс читает данные в полученный буфер и освобождает его. В случае модификации процесс перед освобождением помечает буфер как «грязный». При освобождении буфер помещается в голову списка свободных буферов.
Таким образом:
Если список свободных буферов пуст, то выполняется алгоритм вытеснения буфера. Алгоритм вытеснения существенно влияет на производительность кэша. Существуют следующие алгоритмы:
Применение того или иного алгоритма зависит от стратегии кэширования данных. LRU наиболее эффективен, если данные гарантированно будут повторно использованы в ближайшее время. MRU наиболее эффективен, если данные гарантированно не будут повторно использованы в ближайшее время. В случае, если приложение явно указывает стратегию кэширования для некоторого набора данных, то кэш будет функционировать наиболее эффективно.
Кэш оперативной памяти состоит из следующих элементов:
В процессе передачи информации по сети может использоваться кэширование интернет-страниц - процесс сохранения часто запрашиваемых документов на (промежуточных) прокси-серверах или машине пользователя, с целью предотвращения их постоянной загрузки с сервера-источника и уменьшения трафика . Таким образом, информация перемещается ближе к пользователю. Управление кэшированием осуществляется при помощи HTTP -заголовков.
Как вариант, кэширование веб-страниц может осуществляться с помощью CMS конкретного сайта для снижения нагрузки на сервер при большой посещаемости. Кэширование может производиться как в память, так и в файловый кэш . Недостаток кэширования заключается в том, что изменения, внесенные на одном браузере, могут не сразу отражаться в другом браузере, в котором данные берутся из кэш-памяти.
Многие программы записывают куда-либо промежуточные или вспомогательные результаты работы, чтобы не вычислять их каждый раз, когда они понадобятся. Это ускоряет работу, но требует дополнительной памяти (оперативной или дисковой). Примером такого кэширования является.
В процессе работы с Android-устройствами (да и не только с ними) пользователи часто встречаются с таким термином как «кэш». Интернет переполнен программами и рекомендациями, предлагающими очистить кэш, удалить Cache, скачать игровой кэш и так далее. При этом многие пользователи часто даже не понимают, с чем имеют дело, механически выполняя требуемые от них операции. В этом материале я расскажу, что это такое кэшированные данные телефонах Андроид, каковы принципы работы с кэшом и как его удалить.
Каждый раз, когда вы используете ваше Android-устройство для игр, работы с интернет-сайтами и так далее, ваш смартфон сохраняет определённую информацию о них у себя в памяти (настройки, копии страниц и так далее). Эти сохранённые данные позволяют ускорить работу с данным сайтом, приложением и так далее, ведь теперь нет необходимости всякий раз загружать их заново, а можно воспользоваться данными о них, уже находящимися в памяти телефона. Такие данные называются «кэшированными данными», и расположены они в промежуточном буфере с быстрым доступом, который и называется «кэшем».
Соответственно, кэшированные данные – это информация, полученная из какого-либо сайта или приложения, находящаяся в памяти вашего мобильного устройства Андроид. Эти данные будут востребованы при входе на сайт, настройки и страницы которого были кэшированы прежде, при запуске приложения, данные о котором были кэшированы ранее и так далее.
При этом, если мы имеем дело с «кэшем» какой-либо игры, то в данном случае имеется ввиду игровой архив, содержащий текстуры, графику, аудио, видео, настройки игры и прочее подобное. Причём в большинстве случаев без такого «кэша» игра просто не запустится, потому необходимо не только иметь кэш игры, но и установить его по нужному адресу, описанному в инструкции к игре.
Для корректного запуска игры не забудьте установить кэш
После того, как мы определились с тем, что это такое кэш и что значит кэшированные данные на телефоне. Необходимо разъяснить вопрос о том, зачем необходимо регулярно чистить кэш и удалять данные с него.
Также вам обязательно нужно знать для чего необходима папка занимающее более ГБ памяти вашего устройства и как удалив её освободить значимую часть памяти Андроид устройства.
В процессе работы вашего устройства его Cache начинает переполняться множеством разнообразных данных. Фотографии, которые вы когда-то смотрели, сайты, которые как-то посещали, приложения, которые запускали – все это оставляет след в памяти вашего устройства. Причём, в большинстве случаев, такие кэшированные данные лежат бесполезным грузом, ведь существует множество сайтов, которые мы посетили только раз, приложения, которые запускали только раз, фото, которые более не посмотрим и так далее.
Поэтому, дабы кэшированные данные не забивали память вашего устройства под завязку и не способствовали появлению ошибки , рекомендуется регулярно чистить кэш. Как это сделать я расскажу ниже.
Определившись с тем, что означают кэшированные данные и зачем необходимо очищать Cache, рассмотрим вопрос эффективной очистки кэша.
Очистку кэша можно выполнить несколькими способами, а именно:
Теперь мы разобрались, что значит очистить кэшированные данные на телефоне, и с помощью каких методов это можно сделать.
Выше я подробно разобрал что это кэшированные данные на телефоне, для чего они служат, и каким образом их можно удалить. Несмотря на полезный характер использования кэша, его необходимо регулярно очищать с целью профилактики переполнения устройства ненужными данными. Скачайте для этого удобную программу из упомянутых выше, настройте автоматическую очистку Cache раз в сутки – и проблема с кэшем на вашем устройстве будет эффективно решена.
Вконтакте
Компьютер, увы, не моментально выполняет команды, которые получает от людей. Для ускорения этого процесса применяется ряд хитростей, и почетное место среди них принадлежит кэшированию. Что это такое? Чем являются кэшированные данные? Как этот процесс собственно происходит? Что такое кэшированные данные в смартфоне "Самсунг", к примеру, и отличаются они чем-то от тех, что в компьютере? Давайте приступим к получению ответов на эти вопросы.
Так называют промежуточный буфер, который обеспечивает быстрый доступ к информации, вероятность запроса которой выше всего. Все данные содержатся в нём. Важным преимуществом является то, что извлечь всю необходимую информацию из кэша можно значительно быстрее, чем из исходного хранилища. Но существует значительный недостаток - размер. Кэшированные данные применяются в браузерах, жестких дисках, ЦПУ, веб-серверах, службах WINS и DNS. Основой структуры являются наборы записей. Каждая из них ассоциирована с определённым элементом или блоком данных, которые выступают копией того, что есть в основной памяти. Записи имеют идентификатор (тег), с помощью которого и определяется соответствие. Давайте посмотрим с немного другой точки зрения: что такое кэшированные данные в телефоне "Самсунг" или другого производителя? Отличаются ли они от тех, что создаются в компьютере? С принципиальной точки зрения - нет, разница исключительно в размере.
Когда клиент (они были перечислены выше) запрашивает данные, то первое, что делает компьютер - исследует кэш. Если в нём находится необходимая запись, то она и используется. В этих случаях происходит попадание. Периодически данные из КЭШа копируются в основную память. Но если нужная запись не была найдена, то происходит поиск содержимого в базовом хранилище. Вся взятая информация переносится в кэш, чтобы к ней потом можно было обращаться более быстро. Процент, когда запросы увенчиваются успехом, называется уровнем или коэффициентом попадания.
При использовании, допустим, веб-браузером осуществляется проверка локального кэша с целью найти копию страницы. Учитывая ограниченность данного при промахе принимается решение отбросить часть информации, чтобы освободить пространство. Чтобы решить, что именно будет заменено, используют различные алгоритмы вытеснения. Кстати, если говорить о том, что такое кэшированные данные на "Андроиде", то в массе своей они используются для работы с картинками и данными приложений.
Во время модификации содержимого кэша обновляют данные и в основной памяти. Временная задержка, которая проходит между внесением информации, зависит от политики записи. Существует два основных типа:
Может быть и такое, что информация в промежуточном буфере становится неактуальной. Это происходит при изменении данных в основной памяти без внесения корректировок в кэш. Для согласованности всех процессов редактирования используют протоколы когерентности.
С увеличением частотности процессоров и повышением производительности оперативной памяти появилось новое проблемное место - ограниченность интерфейса Что из этого может подметить знающий человек? Кэш-память очень полезна, если частота в ОЗУ меньше чем в процессоре. Многие из них имеют свой собственный промежуточный буфер, чтобы уменьшить время доступа к оперативной памяти, которая действует медленнее, нежели регистры. В ЦП, которые поддерживают виртуальную адресацию, часто размещают небольшой, но очень быстрый буфер трансляций адресов. Но в других случаях кэш не очень полезен, а иногда только создаёт проблемы (но это обычно в компьютерах, которые подверглись модификации непрофессионалом). Кстати, говоря о том, что такое кэшированные данные в памяти смартфона, надо отметить, что из-за маленького размера устройства приходится создавать новые миниатюрные реализации кэша. Сейчас некоторые телефоны могут похвастаться параметрами, как у передовых компьютеров десять лет назад - а какая разница в их размере!
Их количество обычно равняется трём или четырём. Чем больше уровень памяти, тем она объемнее и медленнее:
Это фундаментальная характеристика. Ассоциативность кэшированных данных необходима для отображения логической сегментации. Она, в свою очередь, нужна из-за того, что последовательный перебор всех имеющихся строк занимает десятки тактов и сводит на нёт все преимущества. Поэтому используется жесткая привязка ячеек ОЗУ к данным кэша, для сокращения времени поиска. Если сравнивать промежуточные буферы, у которых одинаковый объем, но разная ассоциативность, то тот, у кого она большая, будет работать менее быстро, но с значительной удельной эффективностью.
Как видите, кэшированные данные при определённых условиях позволяет вашему компьютеру действовать более быстро. Но, увы, существует ещё довольно много аспектов, над которыми можно работать длительное время.
Недавно у меня был достаточно горячий конфликт с популярным PHP пакетом для электронной коммерции. В результате мне захотелось рассказать об одной распространенной ошибке в архитектуре веб приложений.
Пакет с которым я работал, интенсивно использовал кэширование. Он не мог отдавать более 10 страниц в секунду, если не были включены некоторые «опциональные» настройки кэша. Очевидно что с такой производительностью они на самом деле не опциональны, а обязательны.
Я думаю, что когда у Вас есть такой замечательный инструмент как memcached, так и хочется использовать его для решения любой проблемы с производительностью. Но во многих случаях он не должен быть первым инструментом который Вы пытаетесь использовать. И вот почему:
- Кэширование может работать не для всех пользователе й - Вы открываете страницу - она загружается быстро. Но так ли это для всех пользователей? Кэширование очень часто позволяет оптимизировать время загрузки для большинства посетителей, но часто в реальности Вам надо чтобы страница загружалась быстро для всех без исключения (если следовать принципу six sigma). На практике запрос может промахиваться мимо кэша всегда для одного и того же пользователя, что еще более усугубляет ситуацию (Прим. переводчика : Я знаю совершенно реальный случай, когда в электронном магазине кэш срабатывал для 99% процентов пользователей и не работал для 1% посетителей имевших длинную историю покупок, как результат магазин работал медленно как раз для активных покупателей).
- Кэширование может уводить Вас в сторону от решения проблемы - Вы смотрите на наиболее медленно загружающуюся страницу и пытаетесь ее оптимизировать. Но хитрость здесь в том, что в реальности проблема с производительностью может лежать в другой области (опять six sigma). Вы «залечиваете» проблему кэшируя, например, страницу целиком, но сама проблема с производительностью никуда не уходит и остается скрытой (Прим. переводчика : с тем чтобы всплыть на других страницах еще и еще и еще раз).
- Управление кэшем в реальности непростая задача - Вы когда-нибудь боролись с "убеганием кэша " или с ситуацией когда большое количество элементов кэша инвалидируются одновременно?
Кэширование должно рассматриваться как бремя без которого многие приложения не могут жить. Вы должны пытаться избегать этого бремени до тех пор, пока не исчерпаете весь арсенал легко применимых способов оптимизации.
Перед тем как вводить оптимизацию убедитесь что Вы прошлись по этому достаточно простому списку:
- Вы понимаете план исполнения каждого запроса? Если нет, установите long_query_time=0 и используйте команду mk-query-digest, чтобы получить полный список запросов. Выполните для каждого из них EXPLAIN, проанализируйте план исполнения.
Вы используете SELECT * чтобы потом использовать только небольшой набор столбцов? Или вы выбираете из БД много строк, но используете только некоторые из них? Если это так - то вы выбираете слишком много данных, ограничивая оптимизацию уровня СУБД, такую например как использование индексов.
Знаете ли Вы сколько именно запросов Вы используете для генерации одной страницы? Все ли они действительно необходимы? Можно ли какие-то из этих запросов превратить в один запрос или вообще убрать? (Прим. переводчика : Очень распространенная проблема. Реально знаю случай когда на странице отображался список учеников в классе, а затем в цикле для каждого ученика запрашивалась дополнительная информация, включая название класса. После переделки количество запросов сократилось с 61 до 3-х).
Думаю что как вывод можно сказать: «Оптимизация очень редко уменьшает сложность приложения. Старайтесь избегать усложнения, за счет оптимизации только того, что действительно надо оптимизировать» - цитата со слайда Джастина - instrumentation-for-php .
С точки зрения долговременной перспективы, многим приложениям следует сохранять архитектуру простой и не поддаваться соблазну решать проблемы так «как это делают реальные пацаны».
Прим. переводчика
: Совершенно реальный диалог произошедший не так давно:
- Так у нас проблемы с производительностью, надо добавить кэширование, вертикальное партиционирование и NoSQL DB для логинов
- Парни - я тут посмотрел EXPLAIN - у Вас fullscan запрос на 4,000 строк, я попробовал создать индекс- все ускорилось в 26 раз.
Несколько замечаний к переводу
1. Термин cache stampeding - я перевел как убегание кэша
(был соблазн перевести как «просрачивание», но это было бы неправильно). Если коротко, это ситуация, когда например определенный запрос выполняется достаточно долго и результаты этого запроса кэшируются, когда затем эти данные рано или поздно уходят из кэша, и одновременно рендерится 10 страниц на которых эти данные нужны, то в БД отправляется 10 медленных запрсов, вместо одного. Обычно с этим борются пере запрашивая данные до того как они будут выкинуты из кэша. см например
2. Хочу обратить внимание, что в статье не
говорится что кэшировать данные не надо. Их надо кэшировать, но только после того как Вы попробуете несколько простых способов оптимизации запросов к БД. Иными словами начинать надо с простого.
