Отчет о тестировании масштабируемости крупномасштабных хранилищ документов Настоящий документ предоставляется на условиях «как есть». Информация и суждения, представленные в документе, включая URL-адреса и другие упоминания интернет-сайтов, могут быть изменены без предварительного уведомления. Все риски, связанные с использованием настоящего документа и информации в нем, лежат на вас. Некоторые из представленных в документе примеров служат только для иллюстрации и являются вымышленными. Любые совпадения с реальными объектами следует рассматривать как случайные. Настоящий документ не предоставляет вам юридических прав на интеллектуальную собственность в отношении каких-либо продуктов Майкрософт. Копирование и использование настоящего документа разрешается для внутренних справочных целей. © Корпорация Майкрософт (Microsoft Corporation), 2011. Все права защищены. 1 Отчет о тестировании масштабируемости крупномасштабных хранилищ документов Пол Эндрю (Paul Andrew), Пол Лёнинг (Paul Learning), Барри Уэлдбаум (Barry Waldbaum), Франк Мараско (Frank Marasco) Корпорация Майкрософт Октябрь 2011 г. Область применения: Microsoft® SharePoint® Server 2010, Microsoft FAST Search Server 2010 for SharePoint. Аннотация Этот технический документ предоставляет сведения о тестовой лабораторной среде, использованной в Майкрософт с целью демонстрации крупномасштабных баз данных контента SharePoint Server 2010. В нем содержатся сведения о заполнении двух баз данных контента SharePoint Server документами общим числом в 120 миллионов, что составило более 30 терабайт (ТБ) баз данных SQL Server®, об индексировании этого контента с помощью FAST Search Server 2010 for SharePoint и описание нагрузочного тестирования, выполненного на созданных серверах SharePoint Server и FAST Search Server 2010 for SharePoint, а также результаты этого тестирования с заключениями по ним. 2 Содержание Введение ................................................................................................................................................................................ 5 Цели тестирования ............................................................................................................................................................ 5 Участвовавшие партнеры по оборудованию .................................................................................................................. 5 Определение тестированной рабочей нагрузки ................................................................................................................ 6 Описание архитектуры горизонтального масштабирования архива документов ...................................................... 7 Применявшиеся тестовые транзакции ............................................................................................................................ 7 Определения тестовых транзакций и базовых параметров ......................................................................................... 8 Базовый тестовый набор .................................................................................................................................................. 9 Тестовые серии ................................................................................................................................................................ 10 Тестовая нагрузка ............................................................................................................................................................ 11 Регистрация использования ресурсов во время тестов............................................................................................... 12 Сведения об архитектуре оборудования тестовой фермы ............................................................................................. 12 Виртуальные серверы ..................................................................................................................................................... 15 Дисковое хранилище ...................................................................................................................................................... 16 Архитектура тестовой фермы SharePoint Server и SQL Server ......................................................................................... 18 Веб-сайты IIS фермы SharePoint ..................................................................................................................................... 19 Базы данных SQL Server .................................................................................................................................................. 20 Индексы контента FAST Search Server 2010 for SharePoint .......................................................................................... 21 Метод, график проекта и процесс создания фермы ........................................................................................................ 22 График проекта ................................................................................................................................................................ 22 Порядок создания образцов документов ..................................................................................................................... 22 Характеристики производительности крупномасштабной отправки документов ................................................... 23 Число операций ввода-вывода в секунду (IOPS) .......................................................................................................... 25 Обход документов FAST Search Server 2010 for SharePoint ......................................................................................... 27 Результаты тестирования ................................................................................................................................................... 29 Серия тестов A: различное число пользователей ........................................................................................................ 29 Серия тестов B: различный объем оперативной памяти сервера SQL Server ............................................................ 32 Серия тестов С: изменение наборов транзакций ......................................................................................................... 34 Серия тестов D: различный объем оперативной памяти интерфейсных веб-серверов ........................................... 36 Серия тестов E: изменение числа интерфейсных веб-серверов ................................................................................. 38 Серия тестов F: различное число ЦП сервера SQL Server ............................................................................................ 41 Тестирование пакета обновления 1 (SP1) и накопительного пакета обновления (CU) за июнь .............................. 44 Резервное копирование базы данных контента SQL Server ........................................................................................ 45 3 Заключения .......................................................................................................................................................................... 45 Рекомендации ..................................................................................................................................................................... 45 Рекомендации, связанные с SQL Server 2008 R2 .......................................................................................................... 45 Рекомендации, связанные с SharePoint Server 2010 .................................................................................................... 46 Рекомендации, связанные с FAST Search Server for SharePoint 2010.......................................................................... 46 Ссылки .................................................................................................................................................................................. 47 4 Введение Цели тестирования В этом техническом документе описываются результаты крупномасштабного тестирования SharePoint Server, проведенного Майкрософт в июне 2011 г. Цель тестирования заключалась в публикации требований к масштабированию хранилищ архива документов, основанных на серверах SharePoint Server, при необходимости значительно увеличить емкость хранения. Тестирование включало создание большого числа типичных документов (средним размером в 256 КБ), загрузку их в ферму SharePoint, создание индекса FAST Search Server 2010 for SharePoint для этих документов, а затем выполнение тестов с помощью Microsoft Visual Studio® 2010 Ultimate для моделирования использования. С помощью данного тестирования мы собирались продемонстрировать методы вертикального и горизонтального масштабирования. Вертикальное масштабирование обозначает использование дополнительного оборудования для увеличения объема доступных ресурсов и масштабирования одной среды, которой в данном случае является база данных контента SharePoint. Под базой данных контента SharePoint подразумеваются все семейства веб-сайтов, все метаданные и большие двоичные объекты (BLOB), связанные с этими семействами, к которым имеет доступ сервер SharePoint Server. Горизонтальное масштабирование обозначает создание нескольких сред, что в данном примере будет соответствовать нескольким базам данных контента SharePoint. Обратите внимание, что база данных контента — это не просто база данных SQL Server, это и различные конфигурационные данные и любые большие двоичные объекты документов вне зависимости от места хранения этих объектов. Рабочая нагрузка, которую мы тестировали для данного отчета, касается в основном архива документов. Она включает в себя большое количество типичных документов Microsoft Office, сохраненных для архивных целей. Хранение в данном сценарии предполагается в основном долгосрочным с нечастым доступом. Участвовавшие партнеры по оборудованию Этот тест был осуществлен благодаря поддержке нескольких партнеров Майкрософт по оборудованию. NEC Corporation of America Корпорация NEC предоставила сервер NEC Express5800/A1080a (GX) с 8 ЦП и 1 ТБ ОЗУ. В каждом процессоре имелось по 8 ядер, что в сумме составило 64 ядра на сервер. Как описано ниже, этот сервер использовался для выполнения Microsoft Hyper-V с набором виртуальных машин, из которых были сформированы фермы серверов SharePoint Server и FAST Search Server 2010 for SharePoint. Рис. 1. NEC Express Server 5800 5 Источник: www.necam.com/servers/enterprise Спецификации сервера NEC Express 5800/A1080a 8 ЦП Westmere (E7-8870), каждый с 10 процессорными ядрами. 1 ТБ памяти. Каждый модуль «процессор-память» состоит из 1 ЦП (10 ядер) и 16 DIMM. 2 двухпортовых 8G FC HBA. 5 жестких дисков. Intel Корпорация Intel предоставила второй сервер NEC Express5800/A1080a, также содержащий 8 ЦП и 1 ТБ ОЗУ. Intel еще более усовершенствовала этот компьютер, добавив ЦП Westmere EX, содержащие по 10 ядер, что в сумме составило 80 ядер на сервер. Как описано ниже, этот сервер использовался для выполнения индексаторов Microsoft SQL Server и FAST Search Server 2010 for SharePoint напрямую на компьютере без использования HyperV. EMC Компания EMC предоставила хранилище SAN, EMC VNX 5700, содержащее 300 ТБ высокопроизводительных дисков. EMC VNX5700 Unified Storage Источник: http://www.emc.com/collateral/software/15-min-guide/h8527-vnx-virt-msapp-t10.pdf Спецификации EMC VNX 5700: Диски по 2 ТБ, 15 дисков на 3U DAE, 5 модулей, что в сумме составляет 75 дисков и 150 ТБ (номинальная емкость). Диски по 600 ГБ, 25 дисков на 2U DAE, 10 модулей, что в сумме составляет 250 дисков и 150 ТБ (номинальная емкость). 2 процессора хранилища (SP). 2 модуля резервных батарей. Определение тестированной рабочей нагрузки 6 Данный нагрузочный тест был разработан с целью демонстрации возможностей SharePoint Server 2010 в области работы с большими архивами документов. Рабочая нагрузка архива документов характеризуется большим количеством документов, которые медленно добавляются, нечасто используются и почти никогда не обновляются. Индекс FAST Search Документы Библиотека документов Drop Box Маршрутизация контента Базы данных заархивированного контента Рис. 2. Работа с большими архивами документов Описание архитектуры горизонтального масштабирования архива документов В ферме SharePoint с несколькими базами данных контента рекомендуется обеспечивать маршрутизацию контента, чтобы отправлять документы в подходящую базу данных контента из начальной входной библиотеки. В тестах, описанных в этом отчете, маршрутизация контента не была настроена; мы сосредоточились на масштабируемости и производительности установки. Если для добавления документов в одну из нескольких баз данных контента SharePoint используется маршрутизация контента, можно использовать FAST Search Server 2010 for SharePoint для обеспечения оптимального поиска документов в одной или нескольких базах данных контента. FAST Search Server 2010 for SharePoint создает индекс со всеми документами из всех баз данных контента, поэтому во время поиска можно использовать метаданные, уточнения для выбора по дате, автору или другим свойствам, а также применять полнотекстовый поиск. Применявшиеся тестовые транзакции Этот технический документ содержит результаты ряда тестов производительности, проведенных на SharePoint Server 2010 и FAST Search Server 2010 for SharePoint в сценарии архива документов. В данном разделе описывается методика тестирования, использовавшаяся при проведении рассматриваемых в документе тестов. Отклонения от этой методики указываются при представлении данных. Рабочая нагрузка Важно! Необходимо отметить, что конкретные значения емкости и производительности, представленные в этой статье, отличаются от значений в реальных средах. Эти данные можно использовать в качестве отправной точки при проектировании среды соответствующего масштаба. По завершении начального этапа проектирования 7 системы протестируйте разработанную конфигурацию, чтобы убедиться, что система будет обеспечивать необходимые показатели. Тестовые рабочие нагрузки были разработаны в соответствии со сценарием большого хранилища архива документов и предназначены для оценки влияния крупномасштабного хранилища документов на различные конфигурации фермы. Тестовая ферма, описанная в этом сценарии, была разработана с возможностью поддержки горизонтального и вертикального масштабирования для добавления емкости по мере необходимости. Возможность масштабирования одинаково важна как для небольших реализаций, так и крупномасштабных архивов документов. Горизонтальное масштабирование позволяет добавлять в ферму (или фермы) больше серверов (дополнительные интерфейсные веб-серверы, серверы приложений и т. д.). Вертикальное масштабирование позволяет увеличивать емкость существующих серверов добавлением более быстрых ЦП и (или) памяти, чтобы повысить пропускную способность и производительность. Маршрутизацию контента также рекомендуется использовать в сценариях архивирования, чтобы пользователи могли просто «оставлять» файл, который затем динамически маршрутизируется в соответствующую библиотеку документов и папку, если это возможно, основываясь на метаданных файла. Определения тестовых транзакций и базовых параметров В этом разделе описываются тестовые транзакции и другие базовые параметры, и приводится обзор процесса тестирования, использованного в каждом из сценариев. Подробные сведения, например результаты тестирования и конкретные параметры, приведены в соответствующих разделах результатов тестирования ниже. Базовый элемент Описание базового элемента Базовое значение (или процент транзакций) Отправка документа Отправка документа в один из центров документов. Одна уникальная папка и файл создавались в каждом центре документов каждый час, 24 часа в день. 1% Загрузка документа (открытие) Загрузка или открытие документа. 30% Просмотр Доступ к случайной домашней странице центра документов, странице просмотра списка библиотеки документов или странице просмотра списка папки. 40% Поиск Случайный поисковый запрос, отправленный в центр поиска FAST Search. 30% Время «на обдумывание» Время между транзакциями каждого пользователя. Этот параметр представляет собой время, которое пользователь тратит на чтение или размышление, проходящее между обращениями к веб-страницам. 10 с Одновременно работающие пользователи Число пользователей, подключающихся к ферме SharePoint из агентов тестирования через интерфейсные веб-серверы SharePoint. Это число не является полной базой пользователей, так как в 10 000 8 обычной среде лишь небольшая часть от всех пользователей будет одновременно получать доступ к системе. Продолжительность тестирования Продолжительность выполнения теста. 1 час Веб-кэширование Включено ли веб-кэширование на интерфейсных веб-серверах или нет. Включено Индексирование контента FAST Выполняется ли индексирование контента FAST во время теста или нет. Приостановлено Число интерфейсных вебсерверов Число интерфейсных веб-серверов в ферме SharePoint, использовавшихся во время тестирования. 3 на каждую из баз данных контента Скорость увеличения числа пользователей Каждый тест начинался с 1 000 пользователей, число которых увеличивалось до целевой нагрузки шагами по 100 пользователей. Использовался период увеличения в 30 с и интервал в 10 с. 100 пользователей за 30 секунд Агенты тестирования Visual Studio 2010 Ultimate использовалась для моделирования нагрузки от транзакций пользователей. Для создания этой нагрузки использовалась одна виртуальная машина с контроллером тестирования и 19 виртуальных машин с агентами тестирования. 19 Таблица 1. Тестовые транзакции и базовые параметры Базовый тестовый набор В этом разделе описываются применявшиеся тестовые наборы и приводится обзор результатов тестирования для каждого из сценариев тестового набора. В различных тестах использовались разные тестовые наборы, зависимости от целей тестирования и использованных нагрузок. Все тесты проводились с использованием Visual Studio 2010 Ultimate и записывались; бескодовые скрипты создавались исключительно в Visual Studio. Для каждого теста заполнялись определенные точки данных, а затем тестовый набор запускался в течение различных периодов времени и с использованием разного числа одновременно работающих пользователей, чтобы определить емкости и ограничения фермы. Примечания Все тесты, проводившиеся в лабораторной среде, запускались с использованием времени «на обдумывание» в 10 секунд. Время «на обдумывание» — это функция контроллера тестирования Microsoft Visual Studio 2010 Ultimate, которая позволяет моделировать время паузы между действиями пользователя на странице в реальной среде. Набор операций, использовавшийся при измерении производительности для целей этого технического документа, был создан искусственно. Все результаты предназначены только для иллюстрации характеристик производительности в контролируемой среде с определенным набором условий. Эти тестовые наборы включают завышенное число запросов перечисления, которые потребляют большой объем ресурсов сервера SQL Server по сравнению с другими операциями. Эти данные можно использовать в качестве отправной точки при 9 проектировании среды соответствующего масштаба. После завершения первоначального этапа разработки системы протестируйте созданную конфигурацию, чтобы определить, отличаются ли у вас определенные переменные среды и набор операций. Тестовые серии Было выполнено шесть тестовых серий, обозначенных буквами A—F. Каждая серия включала выполнение базового теста с одинаковыми параметрами и средой, кроме одного менявшегося параметра. Отдельные тесты в каждой серии были обозначены номером, следующим за обозначением серии. В этом разделе описаны отдельные проведенные тестовые серии. В списке тестов имеются примечания, обозначающие использование параметров, совпадающих с базовыми. Иными словами, в одном из тестов в каждой из серий определенный параметр не менялся, поэтому этот тест был во всех отношениях равнозначен исходному базовому тесту. Серия тестов A: различное число пользователей В этой серии тестов менялось число пользователей, чтобы продемонстрировать, как увеличение такой нагрузки влияет на системные ресурсы фермы SharePoint и FAST Search Server 2010 for SharePoint. Было проведено три теста (4 000 пользователей, 10 000 пользователей и 15 000 пользователей). Тест с 15 000 пользователей потребовал увеличения времени тестирования до 2 часов, чтобы дать возможность нарастить нагрузку при помощи пошагового увеличения числа пользователей; также было увеличено число интерфейсных веб-серверов до 6, чтобы обрабатывать возросшую нагрузку. Тестирование Число пользователей A.1 A.2 4 000 10 000 Число интерфейсных веб-серверов 3 3 A.3 15 000 6 Время тестирования 1 час 1 час (базовое значение) 2 часа Серия тестов B: различный объем оперативной памяти сервера SQL Server В этой серии тестов изменялся объем ОЗУ, доступный серверу Microsoft SQL Server. Так как компьютер SQL Server имеет большой объем физической оперативной памяти, мы выполняли этот тестовый сценарий, чтобы проверить, как будет работать сервер SQL Server с меньшим объемом ОЗУ по сравнению с базовой конфигурацией. Было проведено шесть тестов со следующими максимальными значениями оперативной памяти SQL Server: 16, 32, 64, 128, 256 и 600 ГБ. Тестирование B.1 B.2 B.3 B.4 B.5 B.6 ОЗУ SQL 16 ГБ 32 ГБ 64 ГБ 128 ГБ 256 ГБ 600 ГБ (базовое значение) Серия тестов С: изменение поисковых наборов В этой серии тестов изменялась пропорция поисковых запросов, выполняемых тестовыми пользователями, в сравнении с просмотром и открытием документов. Тестовая рабочая нагрузка применялась к ферме в виде набора различных пользовательских транзакций (базовая пропорция по умолчанию — 30 %, 40 % и 30 % для 10 операций открытия, просмотра и поиска соответственно). В тестах данной серии менялась пропорция поиска, в результате чего менялась также пропорция открытия и просмотра. Тестирование C.1 C.2 C.3 C.4 C.5 C.6 Открытие 30% 30% 20% 20% 25% 5% Просмотр 55% 40% 40% 30% 25% 20% Поиск 15% 30 % (базовое значение) 40% 50% 50% 75% Серия тестов D: различный объем оперативной памяти интерфейсных веб-серверов В этой серии тестов менялся объем ОЗУ, выделенный для интерфейсных веб-серверов. В рамках теста использовались четыре интерфейсных веб-сервера. Объем ОЗУ для каждого из четырех интерфейсных вебсерверов принимал значения в 4, 6, 8 и 16 ГБ. Тестирование D.1 D.2 D.3 D.4 Память интерфейсных веб-серверов 4 ГБ 6 ГБ 8 ГБ (базовое значение) 16 ГБ Серия тестов E: различное число интерфейсных веб-серверов В этой серии тестов менялось число используемых интерфейсных веб-серверов. Было протестировано 2, 3, 4, 5 и 6 серверов. Тестирование E.1 E.2 E.3 E.4 E.5 Число интерфейсных веб-серверов 2 3 (базовое значение) 4 5 6 Серия тестов F: ограничение числа ЦП сервера SQL Server В этой серии тестов ограничивалось число ЦП, доступных серверу SQL Server. Было протестировано следующее число ЦП, доступных серверу SQL Server: 2, 4, 8, 16 и 80. Тестирование F.1 F.2 F.3 F.4 F.5 Число ЦП, доступных серверу SQL Server 4 6 8 16 80 (базовое значение) Тестовая нагрузка Тесты предназначены для обеспечения работы ниже оптимального уровня нагрузки, или «зеленой зоны» и состоят из различных операций. Чтобы измерить определенные изменения, тесты проводились при любом изменении той или иной переменной. Тестовые серии предполагали превышение оптимального уровня нагрузки, чтобы выявить узкие места в конфигурации фермы. При реализации ферм в рабочей среде 11 рекомендуется использовать результаты с оптимальным уровнем нагрузки, чтобы была избыточная мощность ресурсов для обработки переходных и непредвиденных нагрузок. В данном проекте оптимальный уровень нагрузки выражен следующими пороговыми значениями: 75-й процентиль задержки меньше одной секунды; загрузка ЦП на интерфейсном веб-сервере меньше 85 %; загрузка ЦП на сервере SQL Server меньше 50 %; загрузка ЦП на сервере приложений меньше 50 %; загрузка ЦП на FAST Search Server 2010 for SharePoint меньше 50 %; процент сбоев меньше 0,01 %. Регистрация использования ресурсов во время тестов Во время выполнения всех тестов использование ресурсов регистрировалось с помощью компонента «Системный монитор» (Perfmon.exe) и Visual Studio 2010 Ultimate, чтобы определить нагрузку в тестовой ферме. Следующие сведения были зарегистрированы и представлены в разделе отчетов. ЦП для каждого интерфейсного веб-сервера, сервера приложений SharePoint, индекса FAST Search Server 2010 for SharePoint, приложения-службы Fast Search (SSA), компьютера SQL Server. Использование ОЗУ для каждого интерфейсного веб-сервера, сервера приложений SharePoint, индекса FAST Search Server 2010 for SharePoint, приложения-службы Fast Search (SSA), компьютера SQL Server. Время обновления страниц во всех тестовых элементах. Дисковые очереди для каждого из дисков. Сведения об архитектуре оборудования тестовой фермы В ферме центра документов размещается центр администрирования SharePoint, центр документов 1, центр документов 2, приложения-службы и интегрированный центр FAST Search. Ферма состоит из трех физических серверов и 22 виртуальных серверов. На Рис. 3представлена схема физической архитектуры. 12 Рис. 3. Схема архитектуры оборудования 13 Document Center Farm FC HBA (8GB) – VNX5700 PACNEC02 (Hyper-V-HOST) Physical 64xLP 1TB RAM Hosting Hyper-V, FAST Admin SPDC01 Physical 4xLP 4GB RAM Domain Controller, DNS Data/Storage FC HBA (8GB) – EMC SAN 2 FC HBA (8GB) – VNX5700 PACNEC01 (SQL-HOST) Physical 80xLP (Westmere) 1TB RAM Hosting SQL Server, FAST Document Processors Рис. 4. Физические серверы Технология Hyper-threading была отключена на физических серверах, так как нам не требовались дополнительные ядра ЦП, а также было установлено ограничение в 4 логических ЦП для каждой из виртуальных машин Hyper-V. Мы не хотели, чтобы производительность серверов пострадала из-за технологии Hyper-threading. В лабораторной среде было три физических сервера. Все 3 физических сервера и 22 виртуальных были подключены к виртуальной локальной сети, находящейся в пределах лабораторной среды, чтобы изолировать их сетевой трафик от других несвязанных лабораторных компьютеров. Локальная сеть основывалась на коммутаторе Ethernet 1 Гбит/с; каждый из серверов NEC был подключен к двум портам Ethernet 1 Гбит/с. SPDC01. В лабораторной среде для виртуальной сети использовался контроллер домена Windows и сервер DNS. o 4 физических процессорных ядра, работающих на частоте 3,4 ГГц. o 4 ГБ ОЗУ. o 33 ГБ на локальном дисковом устройстве RAID SCSI. PACNEC01. SQL Server 2008 R2 с главными и дополнительными файлами для баз данных контента, журналов и временной базы данных. Напрямую на этом сервере также выполнялось 100 обработчиков документов FAST. o NEC ExpressServer 5800 1080a o 8 ЦП Intel E7-8870, содержащих в сумме 80 физических процессорных ядер, работающих на частоте 2,4 ГГц. o 1 ТБ ОЗУ. o Напрямую подключенный диск объемом 800 ГБ. o 2 двухпортовых адаптера шины Fiber Channel со скоростью передачи данных до 8 Гбит/с. o 2 сетевые карты Ethernet 1 Гбит/с. 14 PACNEC02. Компьютер Hyper-V, на котором были размещены виртуальные машины SharePoint, FAST Search for SharePoint и тестовой платформы, входящие в ферму. o NEC ExpressServer 5800 1080a o 8 ЦП Intel X7560, содержащих в сумме 64 физических процессорных ядра, работающих на частоте 2,27 ГГц. o 1 ТБ ОЗУ. o Напрямую подключенный диск объемом 800 ГБ. o 2 двухпортовых адаптера шины Fiber Channel со скоростью передачи данных до 8 Гбит/с. o 2 сетевые карты Ethernet 1 Гбит/с. Виртуальные серверы Рис. 5. Виртуальные серверы Все эти серверы выполнялись на экземпляре Hyper-V на компьютере PACNEC02. Все виртуальные серверы, загружаемые из VHD-файлов, сохранялись локально на сервере PACNEC02 и имели доступ к лабораторной виртуальной локальной сети. Некоторые из этих виртуальных серверов имели прямой дисковый доступ в пределах гостевой ОС к LUN в хранилище SAN. Прямой дисковый доступ использовался для обеспечения лучшей производительности (по сравнению с виртуальными жесткими дисками) и применялся для доступа к индексам FAST Search. Ниже приводится список различных типов виртуальных серверов, выполнявшихся в лабораторной среде, сведения об используемых ими ресурсах и предоставляемых ими службах. Тип виртуального сервера Тестовые платформы (от TestRig-1 до TestRig-20) TestRig-1 — это контроллер тестирования Visual Studio 2010 Ultimate От TestRig-2 до TestRig19 — агенты тестирования Visual Studio Agents 2010, управляемые TestRig-1 SP: центр администрирования, приложения-службы Secure Store, обходчик APP-1 — узел центра администрирования SharePoint и приложения-службы FAST Search. APP-2 - — приложения-службы SharePoint и узел приложений-служб FAST Search. Этот сервер приложений выполнял следующие общие Описание Контроллер тестирования и агенты тестирования Visual Studio 2010 Ultimate для нагрузочного тестирования фермы. Этим виртуальным серверам было выделено 4 виртуальных процессора и 8 ГБ памяти. В качестве дисковой подсистемы для этих серверов использовался виртуальный жесткий диск. В этих виртуальных машинах размещался центр администрирования SharePoint и приложения-службы, используемые в ферме. Этим виртуальным серверам было выделено 4 виртуальных процессора и 16 ГБ памяти. В качестве дисковой подсистемы для этих серверов использовался виртуальный жесткий диск. 15 приложения-службы SharePoint: Приложение-службу Secure Store. Приложение-службу FAST Search. Служба FAST и администрирование FAST-SSA-1 и FAST-SSA-2 — приложения-службы FAST Search 1 и 2 соответственно. В этих виртуальных машинах размещается служба FAST Search и компоненты администрирования. Этим виртуальным серверам было выделено 4 виртуальных процессора и 16 ГБ памяти; в качестве дисковой подсистемы для этих серверов использовался виртуальный жесткий диск. Поиск и индекс FAST FAST-IS-1, FAST-IS2, FAST-IS3 и FAST-IS4 — индекс FAST, поиск, узлы вебанализатора 1, 2, 3 и 4. В этих виртуальных машинах размещался индекс FAST и FAST Search, а также узлы веб-анализатора, используемые в ферме. Этим виртуальным серверам было выделено 4 виртуальных процессора и 16 ГБ памяти; в качестве загрузочного диска для этих серверов использовался виртуальный жесткий диск. На уровне дисков они также имели прямой доступ к LUN общим объемом в 3 ТБ в хранилище SAN для хранения индекса FAST. Интерфейсный веб-сервер (SharePoint и FAST Search) WFE-1, WFE-2 и WFE-3 — интерфейсные веб-серверы 1, 2 и 3, часть конфигурации балансировки нагрузки Windows с первым центром документов. Этим виртуальным серверам было выделено 4 виртуальных процессора и 8 ГБ памяти. WFE-4, WFE-5 и WFE-6 — интерфейсные веб-серверы 4, 5 и 6, часть конфигурации балансировки нагрузки Windows с вторым центром документов. Этим виртуальным серверам было выделено 4 виртуальных процессора и 8 ГБ памяти. В этих виртуальных машинах размещаются все интерфейсные веб-серверы и выделенный узел обходчика FAST в пределах фермы. Каждая база данных контента содержала один центр документов, настроенный для работы с тремя интерфейсными веб-серверами SharePoint Server с балансировкой нагрузки. Это было сделано для того, чтобы упростить нагрузочное тестирование в пределах двух баз данных контента. В реальной ферме каждый интерфейсный веб-сервер, вероятно, будет обслуживать несколько баз данных контента. В качестве дисковой подсистемы для этих серверов использовался виртуальный жесткий диск. Дисковое хранилище Хранилищем являлось EMC VNX5700 Unified Storage. Массив VNX5700 был подключен к каждому из физических серверов, PACNEC01 и PACNEC02, с помощью канала Fiber Channel 8 Гбит/с. Каждый из этих физических серверов содержал два адаптера шины Fiber Channel, чтобы он мог подключаться к обоим процессорам хранилищ в 16 основном хранилище SAN, что обеспечивает избыточность и позволяет SAN балансировать LUN в пределах процессоров хранилища. SAN — массив EMC VNX5700 Массив EMC VNX5700 (http://www.emc.com/products/series/vnx-series.htm#/1) (Возможно, на английском языке) использовался для хранения баз данных SQL Server и индекса поиска FAST Search Server 2010 for SharePoint. Конфигурация VNX5700 содержала 300 ТБ дискового пространства (номинальная емкость). Массив был заполнен 250 дисками SAS, емкостью в 600 ГБ и с частотой вращения в 10 000 об./мин, и 75 дисками Near-line SAS, имеющими емкость в 2 ТБ и частоту вращения 7 200 об./мин (диски Near-line SAS имеют физические интерфейсы SATA и разъемы SAS, тогда как обычные диски SAS имеют физические интерфейсы SCSI). Эти диски были настроены в формате RAID-10 для зеркалирования и чередования. Настроенный том RAID в хранилище Storage Area Network (SAN) был разделен на 3 пула, а номера LUN выделялись из определенного пула (Таблица 2). Номер пула Описание Тип диска 0 1 2 FAST База данных контента Резервный — не используется SAS SAS NL SAS Пользовательская емкость (ГБ) 31 967 34 631 58 586 Выделено (ГБ) 24 735 34 081 5 261 Таблица 2. Выделение пулов SAN Логические номера устройств (LUN) на VNX 5700 были определены как показано ниже (Таблица 3). Номер Описание LUN 0 База данных служб SharePoint 1 PACNEC02 — дополнительное пространство 2 Индекс FAST 1 3 Индекс FAST 2 4 Индекс FAST 3 5 Индекс FAST 4 6 База данных контента SharePoint 1 7 База данных контента SharePoint 2 8 База данных контента SharePoint 3 9 База данных контента SharePoint 4 10 Журнал транзакций базы данных контента SharePoint 11 Журнал транзакций базы данных служб SharePoint 12 Временная база данных 13 Журнал временной базы данных Размер (ГБ) Сервер Номер диска Буква диска 1 024 PACNEC01 0 F 5 120 PACNEC02 0 3 072 3 072 3 072 3 072 7 500 PACNEC02 PACNEC02 PACNEC02 PACNEC02 PACNEC01 0 0 0 0 1 F G H I H 6 850 PACNEC01 1 I 6 850 PACNEC01 1 J 6 850 PACNEC01 1 K 2 048 PACNEC01 1 G 512 PACNEC01 0 L 2 048 2 048 PACNEC01 PACNEC01 1 0 M N 17 14 15 16 17 18 19 20 База данных работоспособности использования SharePoint Базы данных обхода FAST и администрирования Резервный — не используется Массив контента документов Office Файлы подкачки виртуальных машин Резервная копия базы данных 1 Резервная копия базы данных 2 3 072 PACNEC01 0 O 1 024 PACNEC01 1 P 5 120 PACNEC01 2 3 072 PACNEC01 Дополнительно T 1 024 PACNEC02 Дополнительно K 16 384 PACNEC01 Дополнительно R 16 384 PACNEC01 Дополнительно S Таблица 3. Логические номера устройств (LUN) SAN — дополнительный дисковый массив Дополнительный дисковый массив меньшей производительности использовался для целей резервного копирования и для размещения контента документов Office, которые загружались в ферму SharePoint Server 2010. Этот массив не использовался во время выполнения тестов. Архитектура тестовой фермы SharePoint Server и SQL Server Логическая архитектура была определена для демонстрации рекомендуемых предельных значений SharePoint Server 2010. Архитектура состояла из двух веб-приложений, каждое из которых содержало одно семейство веб-сайтов в одной уникальной базе данных контента. Каждая база данных контента была заполнена 60 млн. документов типа Microsoft Word (DOCX), Excel (XLSX), PowerPoint (PPTX) и HTML (HTML-страницы), которые имели средний размер в 250 КБ. Размер каждой базы данных контента составлял примерно 15 ТБ, что в сумме давало 30 ТБ. Логическая архитектура крупномасштабной лабораторной среды показана на рис. 6. 18 Document Center Farm and Data/Storage IIS Web Site – “SP CA v4” IIS Web Site – “SharePoint Services” Application Pool Application Pool Web Application 1 Central Administration Secure Store Service Application E M C V N X 5 7 0 0 S A N http://app-1:2010 SharePoint Central Administration SharePoint Configuration TempDB SharePoint Content FAST Crawl/Admin Default group Bulk Bulk VMs VMs FAST Index Swap Swap Swap Swap Swap Swap Swap Swap Swap Swap IIS Web Site – “doccenter1.lab80” IIS Web Site – “doccenter2.lab81” IIS Web Site – “search.lab2011” Application Pool Application Pool Application Pool Web Application 2 Document Center Template Web Application 3 Document Center Template Web Application 4 FAST Search Center Template http://doccenter1:80 http://doccenter2:81 http://search.lab:2011 Рис 6. Архитектура программного обеспечения Ферма центра документов SharePoint предназначена для использования в сценарии архивирования документов и была разработана для поддержки большого числа документов, сохраненных в нескольких библиотеках документов. Общее число документов в каждой из библиотек документов было ограничено примерно одним миллионом документов, а иерархия папок ограничивала число документов на контейнер до примерно 2 000 элементов. Это было сделано только для того, чтобы обеспечить длительный процесс загрузки документов и предотвратить уменьшение времени загрузки после превышения 1 миллиона элементов в библиотеке документов. Веб-сайты IIS фермы SharePoint Два семейства веб-сайтов контента использовали шаблон центра документов. В семействе веб-сайтов центра поиска использовался шаблон центра поиска FAST Search. Каждое из семейств находилось в уникальном веб-приложении. Каждое веб-приложение использовало отдельный пул приложений. Веб-сайт IIS — службы SharePoint На веб-сайте IIS служб SharePoint были размещены общие службы, используемые в SharePoint Server 2010. Для целей данной лабораторной среды использовалась служба Secure Store. Веб-сайт IIS — центр администрирования SharePoint версии 4 На веб-сайте IIS центра администрирования SharePoint был размещен сайт центра администрирования и пользовательский интерфейс для SharePoint Server 2010. 19 Веб-сайт IIS — центр документов 1 На веб-сайте IIS центра документов 1 был размещен первый архив центра документов. Веб-сайт IIS — центр документов 2 На веб-сайте IIS центра документов 2 был размещен второй архив центра документов. Веб-сайт IIS — центр FAST Search На веб-сайте IIS центра Fast Search был размещен пользовательский интерфейс системы поиска фермы. На уровне 70 миллионов и выше база данных обхода стала заметно медленнее, и потребовалась некоторая настройка, чтобы увеличить объем со 100 миллионов до 120 миллионов. Базы данных SQL Server Следующие базы данных SQL Server размещались в хранилище SAN EMC VNX 5700. Имя базы данных Назначение SharePointAdminContent_<GUID> База данных центра администрирования SharePoint SharePoint_Config База данных конфигурации SharePoint Системные базы данных — tempdb Временная база данных SQL Server ReportServer ReportServerTempDB База данных Microsoft SQL Server, в которой сохраняются все метаданные отчетов, включая определения отчетов, журнал отчетов и снимки, а также данные о расписании. База данных Microsoft SQL Server, в которой сохраняют все временные снимки во время выполнения отчетов. Размер (МБ) 768 1 574 16 384 10 3 SPContent01 (база данных контента центра документов 1) Базы данных контента SharePoint 15 601 286 SPContent02 (база данных контента центра документов 2) Базы данных контента SharePoint 15 975 266 FAST_Query_CrawlStoreDB_<GUID> Хранилище обходчика для приложенияслужбы поисковых запросов FAST Search. База данных хранилища обходчика использовалась только для профилей пользователей (поиск людей). 15 FAST_Query_DB_<GUID> База данных администрирования для приложения-службы поисковых запросов FAST Search. 125 20 FAST_Query_PropertyStoreDB_<GUID> В этой БД сохраняются свойства метаданных и дескрипторы безопасности для элементов профилей пользователей в индексе поиска людей. Она использовалась в запросах поиска людей на основе свойств и возвращала стандартные атрибуты документов в качестве результатов запросов поиска людей. FASTContent_CrawlStoreDB_<GUID> Хранилище обходчика для приложенияслужбы поиска контента FAST Search. Эта база данных хранилища обходчика использовалась для всех обойденных элементов, кроме профилей пользователей. FASTContent_DB_<GUID> База данных администрирования для приложения-службы поиска контента FAST Search. FASTSearchAdminDatabase База данных администрирования для фермы FAST Search Server 2010 for SharePoint. Отвечает за сохранение групп параметров поиска, ключевых слов, синонимов, исключений проверки правописания, обычных и визуальных наиболее подходящих элементов, а также метаданных схемы поиска и управление ими, за повышение или понижение уровня документов и сайтов, включение и исключение средств извлечения свойств. WSS_Content_FAST_Search База данных контента центра поиска FAST Search. LoadTest2010 Хранилище результатов нагрузочного тестирования 173 502 481 23 4 52 4 099 Таблица 4. Базы данных SQL Server Индексы контента FAST Search Server 2010 for SharePoint Каталоги данных FAST Search Server 2010 for SharePoint используют канал доступа к дискам из Hyper-V напрямую в SAN. На виртуальном сервере FAST-IS1 каталог данных использует 745 ГБ из 3 ТБ и не использует временное пространство (все было очищено). Таблица 5 показывает хранение данных в файловых папках индекса FAST Search Server 2010 for SharePoint, сохраненных в SAN. 21 Имя Назначение data_fixml Источник индекса, использовавшийся для создания индекса data_index Фактический индекс поиска, использовавшийся запросами sprel Данные релевантности SharePoint. Используются для перемещения популярных результатов поиска в верхнюю часть списка. webanalyzer Повышение порядка в результатах поиска для документов, на которые больше ссылок. Число файлов Размер (ГБ) 6 миллионов 223 3 729 490 9 3 135 12 Таблица 5. Хранилище, используемое одним из четырех индексов FAST Метод, график проекта и процесс создания фермы График проекта Это примерный график проекта. Планирование архитектуры фермы Установка оборудования серверов и SAN Создание виртуальных машин для фермы Создание образцов элементов контента Загрузка элементов на сервер SharePoint Разработка тестовых скриптов Индексирование контента FAST Search Нагрузочное тестирование Написание отчетов 2 недели 1 неделя 1 неделя 2 недели 3 недели 1 неделя 2 недели 3 недели 2 недели Порядок создания образцов документов Для обеспечения реалистичности сценария архивирования документов уникальность документов играла решающую роль. Использовались две отдельные служебные программы; первая для создания уникальных документов, а вторая для чтения этих файлов с диска и загрузки напрямую в целевые веб-приложения SharePoint и библиотеки документов. Программа для создания большого числа документов Документы создавались с помощью программы командной строки, Bulk Loader (пакетный загрузчик), написанной с использованием Microsoft .NET 4.0 Framework. Эта программа использует файл дампа содержимого Википедии (Wikipedia) в качестве входных данных, чтобы обеспечить создание до 10 миллионов уникальных документов на диске. Для замены ссылок на изображения в дампах Википедии использовался набор готовых изображений. Программа доступна в виде исходного кода по адресу http://code.msdn.microsoft.com/Bulk-Loader-Create-Uniqueeeb2d084. 22 Программа для отправки документов в SharePoint Документы добавлялись на SharePoint Server с помощью программы командной строки LoadBulk2SP, написанной с использованием C# и Microsoft .NET 3.5 Framework с целью совместимости с SharePoint Server. В качестве входных данных эта программа считывает с диска выходные файлы Bulk Loader и повторяет ту же структуру файлов и папок напрямую на сервере SharePoint Server с использованием целевых веб-приложений и библиотек документов, указанных в конфигурации приложения. С помощью данной программы в SharePoint Server было отправлено более 100 миллионов документов размером 250 КБ с пиковой производительностью в 233 документа в секунду (и средней в 137 документов в секунду). Программа доступна в виде исходного кода по адресу http://code.msdn.microsoft.com/Load-Bulk-Content-to-3f379974. Характеристики производительности крупномасштабной отправки документов Отправка документов выполнялась с помощью программы LoadBulk2SP, описанной выше. Указанная программа использует метод SubFolderCollection.Add() для добавления новых папок в определенные библиотеки документов и метод SPFileCollection.Add() для добавления файлов напрямую в созданные папки библиотеки документов SharePoint. Структура папок и файлов, созданная в SharePoint Server, отражает выходную иерархию, созданную программой Bulk Loader. Размеры базы данных контента библиотеки документов Ниже приводятся сведения о размере всех баз данных контента библиотек документов, включая файловые группы SQL Server, основные и дополнительные файлы, используемые в ферме. Файл контента SQL Файловая группа Основная SPCData01 SPCData01 SPCData01 SPCData01 SPCData01 Всего: SPCData02 SPCData02 SPCData02 SPCData02 SPCData02 SPCData02 Всего: LUN SPCPrimary01.mdf H:/ SPCData0102.mdf I:/ SPCData0103.mdf J:/ SPCData0104.mdf K:/ SPCData0105.mdf H:/ SPCData0106.mdf O:/ Центр документов 1 SPCPrimary02.mdf H:/ SPCData0202.mdf I:/ SPCData0203.mdf J:/ SPCData0204.mdf K:/ SPCData0205.mdf H:/ SPCData0206.mdf O:/ Центр документов 2 Общая сумма: Таблица 6. Размеры баз данных SQL Server Размер (КБ) 53 248 3 942 098 048 4 719 712768 3 723 746 048 3 371 171 968 4 194 394 15 760 968 474 52 224 3 240 200 064 3 144 130 944 3 458 544 064 3 805 828 608 2 495 168 448 16 143 924 352 31 904 892 826 Размер (МБ) 52,000 3 849 697,312 4 609 094,500 3 636 470,750 3 292 160,125 4 096,087 15 391 570,775 51,00 3 164 257,875 3 070 440,375 3 377 484,437 3 716 629,500 2 436 687,937 15 765 551,125 31 157 121,900 Размер (ГБ) 0,050 3 759,470 4 501,068 3 551,240 3 215,000 4,000 15 030,820 0,049 3 090,095 2 998,476 3 298,324 3 629,521 2 379,578 15 396,046 30 426,876 Размер (ТБ) 0,000 3,671 4,395 3,468 3,139 0,003 14,678 0,000 3,017 2,928 3,221 3,544 2,323 15,035 29,713 Иерархии, папки и файлы библиотек документов Ниже приведены сведения об иерархиях библиотек документов, общем числе папок и документов, созданных для каждого центра документов с помощью программы LoadBulk2SP. Суммарное число элементов в обоих центрах документов составляет: 60 234 папки и 120 092 033 файлов. Центр документов 1 Общее число папок и файлов, содержащихся в каждой из библиотек документов в базе данных контента, показано ниже (Таблица 7). Как было сказано ранее, число документов было ограничено одним миллионом на библиотеку документов исключительно для обеспечения длительного процесса загрузки контента. Результаты и советы по архитектуре фермы SharePoint 2010, касающиеся хранения больших библиотек документов, см. 23 в предыдущем отчете о тестировании Оценка требований к производительности и емкости для крупномасштабных хранилищ документов в SharePoint Server 2010 (Возможно, на английском языке) (http://technet.microsoft.com/ru-ru/library/hh395916.aspx), которое посвящено масштабированию числа элементов в библиотеке документов. См. также предельные значения SharePoint Server 2010 для элементов в библиотеках документов и элементов в базах данных контента, описанные в статье Управление мощностью SharePoint Server 2010: ограничения, связанные с программным обеспечением (http://technet.microsoft.com/ru-ru/library/cc262787.aspx) на TechNet. Центр документов 1 Библиотека документов Число Папки ИТОГО ДЛЯ DC1: 30 447 Файлы 60 662 595 Таблица 7. Библиотеки документов в центре документов 1 Центр документов 2 Общее число папок и файлов, содержащихся в каждой из библиотек документов в базе данных контента, показано ниже (Таблица 8). Центр документов 2 Библиотека документов Число Папки ИТОГО ДЛЯ DC2: 29 787 59 429 438 ИТОГО ДЛЯ DC1: 30 447 60 662 595 60 234 120 092 033 ОБЩАЯ СУММА: Файлы Таблица 8. Библиотеки документов в центре документов 2 Далее приведены примеры статистики из пяти лучших запусков программы LoadBulk2SP, в рамках которых использовались четыре одновременных процесса, каждый с 16 потоками, работавших с разными центрами документов, библиотеками документов, входными файлами и папками. Запуск 26: 5 папок по 2 000 файлов Время Часы 0 0 Минуты Секунды 45 46 Общее время: 2 700 46 2 746 Запуск 9: 30 папок по 2 000 файлов Секунды Время Секунды Часы 5 18 000 Минуты Секунды 58 46 Общее время: 3 480 46 21 526 Папки 315 Файлы Документов в секунду 639,980 233 58264 Папки 1 920 Файлы 3 839 864 Документов в секунду 178 24 Запуск 10: 30 папок по 2 000 файлов Время Часы 6 21 600 Минуты Секунды 33 50 Общее время: 1 980 50 23 630 Запуск 8: 30 папок по 2 000 файлов Время Секунды Часы 6 21 600 Минуты Секунды 51 30 Общее время: 3 060 30 24 690 Запуск 7: 30 папок по 2 000 файлов Секунды Время Секунды Часы 6 21 600 Минуты Секунды 55 0 Общее время: 3 300 0 24 900 Папки 1 920 Папки 1 920 Папки 1 920 Файлы Документов в секунду 3 839 881 162 Файлы Документов в секунду 3 839 857 155 Файлы Документов в секунду 3 839 868 154 Таблица 9. Подробные результаты производительности из программы LoadBulk2SP Число операций ввода-вывода в секунду (IOPS) SQLIO является средством, моделирующим нагрузку, которое используется для определения максимальной скорости операций ввода-вывода в рамках той или иной конфигурации. Оно запускалось в системе после завершения тестов производительности. Поэтому несколько дисков, привязанных к номерам LUN хранилища SAN, не могли быть включены в этот тест, так как на них было слишком много данных. Тест SQLIO выполнялся для каждой буквы диска отдельно, а затем для всех дисков одновременно. Значение числа операций ввода-вывода в секунду на гигабайт представлено в правом столбце. Оно вычислено делением числа операций ввода-вывода в секунду на емкость диска. Для указанных дисков при одновременном их тестировании мы получили 105 730 операций ввода-вывода в секунду. Числа операций ввода-вывода в секунду, полученные с помощью средства SQLIO Число Число Общее число Число операций операций операций операций Размер LUN Описание LUN чтения в записи в ввода-вывода ввода(ГБ) секунду секунду в секунду вывода в (макс.) (макс.) (макс.) секунду на ГБ F: База данных служб SharePoint 1024 2 736 23 778 26 514 25,89 25 G: Журнал транзакций баз данных контента 2048 3 361 30 021 33 383 16,30 L: Журнал транзакций баз данных служб 512 2 495 28 863 31 358 61,25 M: TempDB 2048 2 455 21 778 24 233 11,83 N: Журнал TempDB 2048 2 751 29 522 32 273 15,76 O: Базы данных контента 5 3 072 2 745 28 767 31 511 10,26 P: Базы данных обхода и администрирования 1024 2 603 22 808 25 411 24,81 Все вместе 11776 16 665 89 065 105 730 8,98 ВСЕГО: 11 776 19 145 185 536 310 412 1 682 2 735 26 505 38 801 СРЕДНЕЕ: 22 Таблица 10. Результаты тестирования числа операций ввода-вывода в секунду для SAN, полученные средством SQLIO Число операций ввода-вывода в секунду, зарегистрированное во время нагрузочного тестирования Задания системного монитора выполнялись постоянно вместе с одновременным индексированием FAST, отправкой контента и выполнением нагрузочных тестов Visual Studio. В следующей таблице приведены максимальные числа операций ввода-вывода в секунду, полученные конкретным LUN, и определены следующие параметры: LUN, Описание, Полный размер, Максимальное число операций чтения, Максимально число операций записи, Суммарное число операций ввода-вывода в секунду и Число операций ввода-вывода в секунду на ГБ. Так как эти результаты получены во время тестирования, они отражают число операций ввода-вывода, которые тестовая среда могла осуществить при взаимодействии с SAN. Так как диски H:, I:, J: и K: могли быть добавлены, общее число операций ввода-вывода в секунду было существенно больше, чем при тестировании с помощью SQLIO. LUN Описание LUN G: Журнал транзакций баз данных контента Базы данных контента 1 Базы данных H: I: Размер (ГБ) Число операций чтения в секунду (макс.) 2048 5 437 Число операций записи в секунду (макс.) 11 923 Общее число операций ввода-вывода в секунду (макс.) 17 360 Число операций вводавывода в секунду на ГБ 8,48 6 850 5 203 18 546 23 749 3,47 6 850 5 284 11 791 17 075 2,49 26 J: K: L: M: N: O: P: контента 2 Базы данных контента 3 Базы данных контента 4 Журнал транзакций баз данных служб TempDB Журнал TempDB Базы данных контента 5 Базы данных обхода и администрирова ния ВСЕГО: СРЕДНЕЕ: 7 500 5 636 11 544 17 180 2,29 6 850 5 407 11 146 16 553 2,42 512 5 285 10 801 16 086 31,42 2048 2048 3072 5 282 5 640 5 400 11 089 11 790 11 818 16 371 17 429 17 218 7,99 8,51 5,60 1024 5 249 11 217 16 467 16,08 31 365 3 136 53 824 5 382 121 667 12 167 175 491 17 549 5,60 Таблица 11. Число операций ввода-вывода в секунду, полученное из журналов Perfmon Обход документов FAST Search Server 2010 for SharePoint Обход сайтов SharePoint для поиска выполнялся с помощью обходчика SharePoint, настроенного для подключения к распределителям контента FAST. Приложение-служба поиска контента (SSA) было настроено для работы на двух серверах, APP-1 и APP-2, а приложение-служба поисковых запросов выполнялось на серверах FAST-1 и FAST-2. На компьютере SQL Server выполнялось 100 индексирующих обработчиков документов FAST. Следующий снимок экрана мы получили из диспетчера задач компьютера; он показывает активность во время работы обоих обработчиков документов и выполнения нагрузочного теста с 10 000 пользователей. При этом SQL Server также размещался на том же компьютере. 27 Рис. 7. Диспетчер задач на компьютере PACNEC01 во время индексирования FAST и нагрузочного тестирования 28 Результаты тестирования Чтобы создать значительную нагрузку во время тестирования, использовалось следующее ПО: Visual Studio 2010 Ultimate, Visual Studio 2010 Load Control и Microsoft Visual Studio Agents 20101. Тестовая платформа требуется для моделирования множества пользователей и для создания значительной нагрузки. Тестовая платформа состояла из компьютера контроллера тестирования и одного или нескольких компьютеров агентов тестирования. Контроллер тестирования управляет компьютерами агентов, а агенты используются для создания нагрузки на серверы SharePoint Server. Контроллер тестирования также отвечает за сбор данных мониторинга производительности с тестируемых компьютеров и с агентских компьютеров. В этом разделе описываются результаты работы тестов производительности. Серия тестов A: различное число пользователей В этой серии тестов мы меняли число пользователей, подключенных к тестовой ферме. Рис. 8 показывает число запросов в секунду, которые контроллер тестирования Visual Studio 2010 Ultimate смог обработать через ферму SharePoint во время тестов для каждого уровня пользовательской нагрузки. Можно видеть, что по мере добавления пользовательской нагрузки число запросов возрастало из-за большего числа пользователей, но после достижения 15 000 нагрузка на ферму стала велика, и число запросов перестало расти с увеличением нагрузки. Так как тест с 15 000 пользователей требует дополнительного времени для постепенного увеличения числа пользователей, этот тест выполнялся два часа вместо одного часа, предусмотренного в базовой конфигурации. Мы также обнаружили, что для обработки увеличенной нагрузки трех интерфейсных веб-серверов недостаточно. Мы выполняли данный тест с шестью интерфейсными веб-серверами. 250 200 150 Среднее число запросов в секунду 100 50 0 A.1 4000 A.2 10 000 A.3 15 000 Рис. 8. Среднее число запросов в секунду для серии A 1 Visual Studio Agents 2010 (Возможно, на английском языке) 29 Ниже (Рис. 9) можно видеть, что время ответа в тестовой транзакции и время обновления страницы возрастает для большого теста с 15 000 пользователей. Это показывает, что в системе имеется узкое место, проявляющееся при такой большой пользовательской нагрузке. Во время данного теста мы получили большую нагрузку операций ввода-вывода в секунду на диске H:, содержащем основной файл базы данных контента. Было проведено дополнительное исследование, чтобы устранить данное узкое место. 25 20 Число интерфейсных вебсерверов 15 Среднее время страницы 10 Среднее время отклика 5 0 A.1 4000 A.2 10 000 A.3 15 000 Рис. 9. Время выполнения и число интерфейсных веб-серверов в серии A Ниже (Рис. 10) можно видеть увеличение использования ЦП после перехода с 4 000 на 10 000 пользователей, а затем — сокращение использования ЦП на интерфейсных веб-серверах (WFE), так как мы увеличили их число с 3 до 6. В нижней части видно, что использование ЦП сервера APP-1 меняется не очень сильно, а большой компьютер PACNEC01 SQL Server не достигает и 3 % общего использования ЦП. 70.00% Средняя загрузка ЦП для PACNEC01 60.00% Средняя загрузка ЦП для APP-1 50.00% 40.00% Средняя загрузка ЦП для WFE-1 30.00% Средняя загрузка ЦП для WFE-2 20.00% Средняя загрузка ЦП для WFE-3 10.00% Средняя загрузка ЦП для WFE-4 0.00% A.1 4000 A.2 10 000 A.3 15 000 Рис. 10. Среднее использование ЦП в серии A 30 Таблица 12 показывает сводку по данным, зарегистрированным во время трех тестов в тестовой серии A. Позиции с обозначением «Н/Д» не регистрировались. Тестирование Пользователи Интерфейсные веб-серверы Длительность Среднее число запросов в секунду Среднее время страницы Среднее время отклика Средняя загрузка ЦП для WFE-1 Доступный объем ОЗУ для WFE-1 Средняя загрузка ЦП для WFE-2 Доступный объем ОЗУ для WFE-2 Средняя загрузка ЦП для WFE-3 Доступный объем ОЗУ для WFE-3 Средняя загрузка ЦП для PACNEC01 Доступный объем ОЗУ для PACNEC01 Средняя загрузка ЦП для APP-1 Доступный объем ОЗУ для APP-1 Средняя загрузка ЦП для APP-2 Доступный объем ОЗУ для APP-2 Средняя загрузка ЦП для WFE-4 Доступный объем ОЗУ для WFE-4 Средняя загрузка ЦП для WFE-5 Доступный объем ОЗУ для WFE-5 Средняя загрузка ЦП для WFE-6 Доступный объем ОЗУ для WFE-6 Средняя длина очереди на A.1 4 000 3 1 час 96,3 A.2 10 000 3 1 час 203 A.3 15 000 6 2 часа 220 0,31 с 0,26 с 22,3% 0,71 с 0,58 с 57,3% 19,2 с 13,2 с 29,7% 5 828 5 786 13 311 36,7% 59,6% 36,7% 5 651 5 552 13 323 22,8% 57,7% 34% 5 961 5 769 13 337 1,29% 2,37% 2,86% 401 301 400 059 876 154 6,96% 14,5% 13,4% 13 745 13 804 13 311 0,73% 1,09% 0,27% 14 815 14 992 13 919 Н/Д Н/Д 29,7% Н/Д Н/Д 13 397 Н/Д Н/Д 30,4% Н/Д Н/Д 13 567 Н/Д Н/Д 34,9% Н/Д Н/Д 13 446 0,0 (с пиковым 0,0 (с пиковым 0,3 (с пиковым 31 запись диска PACNEC01 H: SPContent DB1 значением 0,01) значением 0,02) значением 24,1) Таблица 12. Подробные результаты тестирования серии A Серия тестов B: различный объем оперативной памяти сервера SQL Server В этой серии тестов мы меняли объем ОЗУ, доступный серверу SQL Server. Ниже (Рис. 11) можно видеть, что объем ОЗУ, выделенный для SQL Server, не влиял на число запросов в секунду. 250 200 150 Среднее число запросов в секунду 100 50 0 B.1 16ГБ B.2 32ГБ B.3 64ГБ B.4 B.5 B.6 128ГБ 256ГБ 600ГБ Рис. 11. Среднее число запросов в секунду для серии B Ниже (Рис. 12) можно видеть, что все тесты имели времена отображения страницы и ответа на транзакцию меньше одной секунды. 1 0.9 0.8 0.7 0.6 Среднее время страницы 0.5 0.4 Среднее время отклика 0.3 0.2 0.1 0 B.1 16ГБ B.2 32ГБ B.3 64ГБ B.4 128ГБ B.5 256ГБ B.6 600ГБ Рис. 12. Время отображения страниц и ответа на транзакции в серии B Рис. 13 показывает использование ЦП интерфейсными веб-серверами (WFE), сервером приложений и сервером баз данных SQL. Можно видеть, что 3 интерфейсных веб-сервера были постоянно заняты во всех тестах, сервер приложений почти бездействовал, а сервер баз данных не превышал нагрузку ЦП в 3 %. 32 70.00% 60.00% Средняя загрузка ЦП для WFE-1 50.00% Средняя загрузка ЦП для WFE-2 40.00% Средняя загрузка ЦП для WFE-3 30.00% 20.00% Средняя загрузка ЦП для PACNEC01 10.00% Средняя загрузка ЦП для APP-1 0.00% B.1 16ГБ B.2 32ГБ B.3 64ГБ B.4 128ГБ B.5 256ГБ B.6 600ГБ Рис. 13. Среднее использование ЦП в серии B 1,000,000 Доступный объем ОЗУ для WFE-1 900,000 800,000 Доступный объем ОЗУ для WFE-2 700,000 600,000 Доступный объем ОЗУ для WFE-3 500,000 Доступный объем ОЗУ для PACNEC01 400,000 300,000 Доступный объем ОЗУ для APP-1 200,000 100,000 Доступный объем ОЗУ для APP-2 0 B.1 16ГБ B.2 32ГБ B.3 64ГБ B.4 128ГБ B.5 256ГБ B.6 600ГБ Рис. 14. Доступный объем ОЗУ в серии B Таблица 13 приведена сводка по данным, зарегистрированным во время трех тестов в серии B. Тестирование ОЗУ SQL Среднее число запросов в секунду Среднее время страницы Среднее время отклика Средняя загрузка ЦП для WFE-1 Доступный объем ОЗУ для WFE-1 Средняя загрузка ЦП для WFE-2 Доступный объем ОЗУ для WFE-2 Средняя загрузка ЦП для WFE-3 Доступный объем ОЗУ для WFE-3 B.1 16 ГБ 203 0,66 0,56 57,1% 6 239 55,6% 6 184 59,4% 6 144 B.2 32 ГБ 203 0,40 0,33 58,4% 6 063 60,1% 6 079 56% 6 128 B.3 64 ГБ 203 0,38 0,31 58,8% 6 094 57,1% 6 141 56,9% 6 159 B.4 128 ГБ 204 0,42 0,37 60,6% 5 908 59,6% 6 119 58,4% 6 048 B.5 256 ГБ 203 0,58 0,46 60% 5 978 60,3% 5 956 61,4% 5 926 B.6 600 ГБ 202 0,89 0,72 59% 5 848 58,1% 5 828 59,8% 5 841 33 Средняя загрузка ЦП для PACNEC01 Доступный объем ОЗУ для PACNEC01 Средняя загрузка ЦП для APP-1 Доступный объем ОЗУ для APP-1 Средняя загрузка ЦП для APP-2 Доступный объем ОЗУ для APP-2 2,84% 928 946 14,3% 14 163 1,29% 15 013 2,11% 923 332 12,6% 14 099 1,14% 14 884 2,36% 918 526 13,3% 14 106 1,2% 14 907 2,25% 904 074 12,5% 14 125 1,2% 14 888 2,38% 861 217 13,4% 14 221 1,03% 14 913 2,29% 881 729 13,8% 14 268 0,96% 14 900 Таблица 13. Подробные результаты тестирования в серии B Серия тестов С: изменение наборов транзакций В этой серии тестов мы меняли пропорцию поисковых транзакций, выполняемых в наборе рабочей нагрузки. 250 200 150 Среднее число запросов в секунду 100 50 0 C.1 15%C.2 30%C.3 40%C.4 50%C.5 50%C.6 75% Рис. 15. Среднее число запросов в секунду для серии C Ниже (Рис. 16) можно видеть, что тест C.5 имел значительно большие времена ответа страницы, что указывает на перегрузку фермы SharePoint Server 2010 и FAST Search Server 2010 for SharePoint во время этого теста. 30 25 20 15 Среднее время страницы 10 Среднее время отклика 5 0 C.1 15% C.2 30% C.3 40% C.4 50% C.5 50% C.6 75% Рис. 16. Время отображения страниц и ответа на транзакции в серии C 34 90% Открытие 80% 70% Просмотр 60% Поиск 50% 40% Средняя загрузка ЦП для WFE-1 30% Средняя загрузка ЦП для WFE-2 20% 10% Средняя загрузка ЦП для WFE-3 0% C.1 15% C.2 30% C.3 40% C.4 50% C.5 50% C.6 75% Рис. 17. Среднее время ЦП для серии C 16,000 Доступный объем ОЗУ для WFE1 14,000 12,000 Доступный объем ОЗУ для WFE2 10,000 Доступный объем ОЗУ для WFE3 8,000 Доступный объем ОЗУ для APP-1 6,000 4,000 Доступный объем ОЗУ для FAST1 2,000 Доступный объем ОЗУ для FAST2 0 C.1 15% C.2 30% C.3 40% C.4 50% C.5 50% C.6 75% Рис. 18. Средний объем ОЗУ для серии C Таблица 14 приведена сводка по данным, зарегистрированным во время трех тестов в серии C. Тестирование C.4 Открытие Просмотр Поиск Среднее число запросов в секунду Среднее время страницы (сек) Среднее время отклика (сек) Средняя загрузка ЦП для WFE-1 Доступный объем ОЗУ для WFE-1 30% 55% 15% 235 1,19 0,87 62,2% 14 091 C.2 (базовые значения) 30% 40% 30% 203 0,71 0,58 57,30% 5 786 C.1 C.2 C.3 C.5 20% 40% 40% 190 0,26 0,20 44,2% 6 281 20% 30% 50% 175 0,43 0,33 40,4% 6 162 25% 25% 50% 168 0,29 0,22 36,1% 6 069 5% 20% 75% 141 25,4 16,1 53,1% 13 766 35 Средняя загрузка ЦП для WFE-2 Доступный объем ОЗУ для WFE-2 Средняя загрузка ЦП для WFE-3 Доступный объем ОЗУ для WFE-3 Средняя загрузка ЦП для PACNEC01 Доступный объем ОЗУ для PACNEC01 Средняя загрузка ЦП для APP-1 Доступный объем ОЗУ для APP-1 Средняя загрузка ЦП для APP-2 Доступный объем ОЗУ для APP-2 Средняя загрузка ЦП для FAST-1 Доступный объем ОЗУ для FAST-1 Средняя загрузка ЦП для FAST-2 Доступный объем ОЗУ для FAST-2 Средняя загрузка ЦП для FAST-IS1 Доступный объем ОЗУ для FAST-IS1 Средняя загрузка ЦП для FAST-IS2 Доступный объем ОЗУ для FAST-IS2 Средняя загрузка ЦП для FAST-IS3 Доступный объем ОЗУ для FAST-IS3 Средняя загрузка ЦП для FAST-IS4 Доступный объем ОЗУ для FAST IS-4 65,2% 13 944 65,3% 13 693 2,4% 899 613 8,27% 13 687 0,28% 13 916 8,39% 13 998 8,67% 14 135 37,8% 2, 309 30,2% 5 162 30,6% 5 072 25,6% 5 243 59,60% 5 552 57,70% 5 769 2,37% 400 059 14,50% 13 804 Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д 45,2% 6 271 49,4% 6 285 2,6% 814 485 17,8% 14 002 0,88% 14 839 Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д 40,1% 6 123 44,2% 6 170 2,51% 812 027 20,7% 13 991 0,8% 14 837 Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д 37,6% 6 044 39,6% 6 076 2,32% 808 842 18,4% 13 984 0,79% 14 833 Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д 58,8% 13 726 56,8% 13 716 3,03% 875 890 16,2% 13 413 0,14% 13 910 16,6% 13 686 16,7% 13 837 83,4% 2 298 66,1% 5 157 69,9% 5 066 58,2% 5 234 Таблица 14. Подробные результаты тестирования в серии C Серия тестов D: различный объем оперативной памяти интерфейсных веб-серверов В этой серии тестов мы меняли объем ОЗУ на виртуальной машине каждого интерфейсного веб-сервера. 200 180 160 140 120 100 Среднее число запросов в секунду 80 60 40 20 0 D.1 4ГБ D.2 6ГБ D.3 8ГБ D.4 16ГБ Рис. 19. Среднее число запросов в секунду 36 0.25 0.2 0.15 Среднее время страницы Среднее время отклика 0.1 0.05 0 D.1 4ГБ D.2 6ГБ D.3 8ГБ D.4 16ГБ Рис. 20. Время отображения страниц и ответа на транзакции 50.00% Средняя загрузка ЦП для WFE-1 45.00% 40.00% Средняя загрузка ЦП для WFE-2 35.00% 30.00% Средняя загрузка ЦП для WFE-3 25.00% Средняя загрузка ЦП для PACNEC01 20.00% 15.00% Средняя загрузка ЦП для APP-1 10.00% 5.00% Средняя загрузка ЦП для WFE-4 0.00% D.1 4ГБ D.2 6ГБ D.3 8ГБ D.4 16ГБ Рис. 21. Среднее время использования ЦП Ниже (Рис. 22) можно видеть, что доступный объем ОЗУ на каждом интерфейсном веб-сервере во всех случаях равен объему ОЗУ, выделенному виртуальной машине, минус примерно 2 ГБ. Это значит, что для нагрузки в 10 000 пользователей и данного набора тестовых транзакций интерфейсным веб-серверам требуется как минимум 2 ГБ ОЗУ плюс некоторый резерв. 37 16,000 14,000 Доступный объем ОЗУ для WFE1 12,000 Доступный объем ОЗУ для WFE2 10,000 8,000 Доступный объем ОЗУ для WFE3 6,000 Доступный объем ОЗУ для WFE4 4,000 Доступный объем ОЗУ для APP-1 2,000 0 D.1 4ГБ D.2 6ГБ D.3 8ГБ D.4 16ГБ Рис. 22. Доступный объем ОЗУ в серии D Таблица 15 приведена сводка по данным, зарегистрированным во время трех тестов в серии D. Тестирование ОЗУ интерфейсного веб-сервера Среднее число запросов в секунду Среднее время страницы (сек) Среднее время отклика (сек) Средняя загрузка ЦП для WFE-1 Доступный объем ОЗУ для WFE-1 Средняя загрузка ЦП для WFE-2 Доступный объем ОЗУ для WFE-2 Средняя загрузка ЦП для WFE-3 Доступный объем ОЗУ для WFE-3 Средняя загрузка ЦП для PACNEC01 Доступный объем ОЗУ для PACNEC01 Средняя загрузка ЦП для APP-1 Доступный объем ОЗУ для APP-1 Средняя загрузка ЦП для APP-2 Доступный объем ОЗУ для APP-2 Средняя загрузка ЦП для WFE-4 Доступный объем ОЗУ для WFE-4 D.1 4 ГБ 189 0,22 0,17 40,5% 2 414 42,3% 2 469 42,6% 2 466 2,04% 706 403 11,8% 13 862 0,84% 14 646 42,3% 2 425 D.2 6 ГБ 188 0,21 0,16 37,9% 4 366 40% 4 356 42,4% 4 392 1,93% 708 725 13,1% 13 866 0,87% 14 650 43,6% 4 342 D.3 8 ГБ 188 0,21 0,16 39,6% 6 363 40,3% 6 415 42,2% 6 350 2,03% 711 751 12,9% 13 878 0,81% 14 655 41,9% 6 382 D.4 16 ГБ 188 0,21 0,16 37,3% 14 133 39,5% 14 158 43,3% 14 176 2,14% 706 281 12,3% 13 841 0,87% 14 636 45% 14 192 Таблица 15. Подробные результаты тестирования в серии D Серия тестов E: изменение числа интерфейсных веб-серверов В этой серии тестов мы меняли число интерфейсных веб-серверов в ферме. Обратите внимание, что на Рис. 23 среднее число запросов в секунду немного меньше в случае двух и трех интерфейсных веб-серверов, так как система не совсем справляется с пользовательской нагрузкой. Но заметьте, что для 4, 5 или 6 интерфейсных вебсерверов число запросов в секунду одинаково, так как система обрабатывает всю нагрузку от агентов тестирования. 38 250 200 150 100 50 0 Среднее число запросов в секунду Рис. 23. Среднее число запросов в секунду для серии E Сходная картина видна и на Рис. 24, где время ответа велико для двух и трех интерфейсных веб-серверов и очень низко для большего числа интерфейсных веб-серверов. 9 8 7 6 5 4 Среднее время страницы 3 Среднее время отклика 2 1 0 E.1 2 E.2 3 E.3 4 E.4 5 E.5 6 Интерфейсные Интерфейсные Интерфейсные Интерфейсные Интерфейсные веб-серверы веб-серверы веб-серверы веб-серверы веб-серверы Рис. 24. Время отображения страниц и ответа на транзакции в серии E На Рис. 25 можно видеть, что время использования ЦП меньше, когда доступно большее число интерфейсных веб-серверов. Использование 6 интерфейсных веб-серверов заметно уменьшает среднее использование ЦП на интерфейсных веб-серверах, но только 4 интерфейсных веб-сервера необходимы для нагрузки в 10 000 пользователей. Обратите внимание, что на основе данной диаграммы невозможно заключить, какая конфигурация справляется с нагрузкой, а какая нет. Можно видеть, что для трех интерфейсных веб-серверов, которые мы определили как не полностью справляющиеся с нагрузкой, использование ЦП интерфейсным веб-сервером составляет всего около 50 %. 39 90.00% 80.00% 70.00% 60.00% 50.00% 40.00% 30.00% 20.00% 10.00% 0.00% Средняя загрузка ЦП для WFE-1 Средняя загрузка ЦП для WFE-2 Средняя загрузка ЦП для WFE-3 Средняя загрузка ЦП для WFE-4 Средняя загрузка ЦП для WFE-5 Средняя загрузка ЦП для WFE-6 Средняя загрузка ЦП для APP-1 Рис. 25. Среднее использование ЦП в серии E 16,000 14,000 Доступный объем ОЗУ для WFE1 12,000 10,000 Доступный объем ОЗУ для WFE2 8,000 6,000 Доступный объем ОЗУ для WFE3 4,000 2,000 Доступный объем ОЗУ для WFE4 0 Доступный объем ОЗУ для WFE5 Доступный объем ОЗУ для WFE6 Доступный объем ОЗУ для APP-1 Рис. 26. Доступный объем ОЗУ в серии E Таблица 16 приведена сводка по данным, зарегистрированным во время трех тестов в серии E. Тестирование Интерфейсные веб-серверы Среднее число запросов в секунду Среднее время страницы (сек) Среднее время отклика (сек) Средняя загрузка ЦП для WFE-1 Доступный объем ОЗУ для WFE-1 E.1 2 181 8,02 6,34 77,4 5 659 E.2 3 186 0,73 0,56 53,8 6 063 E.3 4 204 0,23 0,19 45,7 6 280 E.4 5 204 0,20 0,17 39,2 6 177 E.5 6 205 0,22 0,18 32,2 6 376 40 Средняя загрузка ЦП для WFE-2 Доступный объем ОЗУ для WFE-2 Средняя загрузка ЦП для WFE-3 Доступный объем ОЗУ для WFE-3 Средняя загрузка ЦП для WFE-4 Доступный объем ОЗУ для WFE-4 Средняя загрузка ЦП для WFE-5 Доступный объем ОЗУ для WFE-5 Средняя загрузка ЦП для WFE-6 Доступный объем ОЗУ для WFE-6 Средняя загрузка ЦП для PACNEC01 Доступный объем ОЗУ для PACNEC01 Средняя загрузка ЦП для APP-1 Доступный объем ОЗУ для APP-1 Средняя загрузка ЦП для APP-2 Доступный объем ОЗУ для APP-2 76,2% 5 623 Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д 2,13% 899 970 9,77% 14 412 1,06% 14 928 53,8% 6 132 52,5% 6 124 Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д 1,93% 815 502 11,7% 13 990 0,92% 14 841 45,9% 6 105 43,9% 6 008 44,5% 6 068 Н/Д Н/Д Н/Д Н/Д 2,54% 397 803 15% 14 230 1% 14 874 38,2% 6 089 37,7% 5 940 34,8% 6 083 35,1% 6 090 Н/Д Н/Д 2,48% 397 960 14,7% 14 227 1% 14 879 28,8% 5 869 31,2% 6 227 34,7% 6 359 32% 6 245 33,9% 5 893 2,5% 397 557 13,6% 14 191 1,04% 14 869 Таблица 16. Подробные результаты тестирования в серии E Серия тестов F: различное число ЦП сервера SQL Server В этой серии тестов мы меняли число ЦП, доступных серверу SQL Server. 250 200 150 Среднее число запросов в секунду 100 50 0 F.1 4CPUs F.2 6CPUs F.3 8CPUs F.4 F.5 16CPUs 80CPUs Рис. 27. Среднее число запросов в секунду для серии F На Рис. 28 можно видеть, что несмотря на минимальное использование ЦП на компьютере SQL Server время обработки страниц и ответа на транзакции возрастает, когда SQL Server имеет меньше доступных ЦП. 41 4.5 4 3.5 3 2.5 Среднее время страницы 2 Среднее время отклика 1.5 1 0.5 0 F.1 4CPUs F.2 6CPUs F.3 8CPUs F.4 16CPUs F.5 80CPUs Рис. 28. Время отображения страниц и ответа на транзакции в серии F На Рис. 29 среднее использование ЦП сервером SQL Server для всего компьютера не превышает 3 %. Три интерфейсных веб-сервера показывают около 55 % в этих тестах. 70.00% Средняя загрузка ЦП для WFE-1 60.00% Средняя загрузка ЦП для WFE-2 50.00% 40.00% Средняя загрузка ЦП для WFE-3 30.00% Средняя загрузка ЦП для APP-1 20.00% Средняя загрузка ЦП для FAST-1 10.00% Средняя загрузка ЦП для FAST-2 0.00% F.1 4CPUs F.2 6CPUs F.3 8CPUs F.4 16CPUs F.5 80CPUs Рис. 29. Среднее использование ЦП в серии F 42 16,000 Доступный объем ОЗУ для WFE-1 14,000 12,000 Доступный объем ОЗУ для WFE-2 10,000 Доступный объем ОЗУ для WFE-3 8,000 Доступный объем ОЗУ для APP-1 6,000 4,000 Доступный объем ОЗУ для FAST1 2,000 Доступный объем ОЗУ для FAST2 0 F.1 4CPUs F.2 6CPUs F.3 8CPUs F.4 16CPUs F.5 80CPUs Рис. 30. Доступный объем ОЗУ в серии F Таблица 17 приведена сводка по данным, зарегистрированным во время трех тестов в серии F. Тестирование ЦП SQL Среднее число запросов в секунду Среднее время страницы (сек) Среднее время отклика (сек) Средняя загрузка ЦП для WFE-1 Доступный объем ОЗУ для WFE-1 Средняя загрузка ЦП для WFE-2 Доступный объем ОЗУ для WFE-2 Средняя загрузка ЦП для WFE-3 Доступный объем ОЗУ для WFE-3 Средняя загрузка ЦП для PACNEC01 Доступный объем ОЗУ для PACNEC01 Средняя загрузка ЦП для APP-1 Доступный объем ОЗУ для APP-1 Средняя загрузка ЦП для APP-2 Доступный объем ОЗУ для APP-2 Средняя загрузка ЦП для FAST-1 Доступный объем ОЗУ для FAST-1 Средняя загрузка ЦП для FAST-2 Доступный объем ОЗУ для FAST-2 F.1 4 194 4,27 2,91 57,4% 13 901 60,3% 13 920 56,8% 13 859 1,56% 865 892 12,5% 13 856 0,22% 14 290 12,8% 13 913 12,9% 14 017 F.2 6 200 2,33 1,6 57,4% 13 939 58,9% 14 017 62% 13 942 2,57% 884 642 12,8% 13 713 0,25% 14 041 13% 14 051 13,4% 14 170 F.3 8 201 1,67 1,16 56,9% 13 979 62,6% 13 758 61% 13 950 2,69% 901 247 12,8% 13 725 0,26% 14 013 13% 14 067 13,3% 14 183 F.4 16 203 1,2 0,83 55,5% 14 045 61,9% 14 004 62,1% 13 971 2,6% 889 479 12,8% 13 745 0,25% 13 984 13% 14 085 13,5% 14 184 F.5 80 203 0,71 0,58 57,30% 5 786 59,60% 5 552 57,70% 5 769 2,37% 400 059 14,50% 13 804 Н/Д Н/Д Н/Д Н/Д Н/Д Н/Д Таблица 17. Подробные результаты тестирования в серии F 43 Тестирование пакета обновления 1 (SP1) и накопительного пакета обновления (CU) за июнь После полного заполнения фермы SharePoint Server 2010 120 миллионами элементов мы применили пакеты обновления 1 (SP1) для SharePoint Server 2010 и FAST Search Server 2010 for SharePoint, чтобы посмотреть, сколько времени займет этот процесс на большой заполненной ферме. SharePoint Server 2010 Пакет обновления 1 (SP1) для SharePoint Server 2010 и накопительный пакет обновления за июнь применялись в лабораторной среде, чтобы определить базовое время обновления крупномасштабной фермы центра документов. В следующей таблице показаны серверы фермы, требовавшие применения пакета обновления 1 (SP1) и накопительного пакета обновления за июнь, время начала и окончания каждой установки, общее время выполнения установки, начало и окончание команды обновления PSCONFIG, общее время выполнения команды обновления PSCONFIG, общее время обновления по имени сервера и полное время обновления. Имя сервера Запуск SP1 Окончание SP1 Разность (ч:мм:сс) APP-1 12.07.2011 4:00:00 12.07.2011 4:15:51 0:15:51 29.07.2011 10:45:00 29.07.2011 11:00:05 0:15:05 29.07.2011 13:25:50 29.07.2011 13:30:15 0:04:25 APP-2 12.07.2011 4:26:07 12.07.2011 4:39:31 0:13:24 29.07.2011 11:02:30 29.07.2011 11:17:23 0:14:53 29.07.2011 13:33:15 29.07.2011 13:35:11 0:01:56 WFE-1 12.07.2011 4:41:05 12.07.2011 4:49:16 0:08:11 29.07.2011 11:23:00 29.07.2011 11:31:07 0:08:07 29.07.2011 13:36:35 29.07.2011 13:38:11 0:01:36 WFE-2 12.07.2011 4:50:24 12.07.2011 4:57:47 0:07:23 29.07.2011 11:32:45 29.07.2011 11:40:46 0:08:01 29.07.2011 13:39:20 29.07.2011 13:40:54 0:01:34 WFE-3 12.07.2011 4:59:00 12.07.2011 5:06:39 0:07:39 29.07.2011 11:42:00 29.07.2011 11:49:47 0:07:47 29.07.2011 13:42:40 29.07.2011 13:44:14 0:01:34 WFE-4 12.07.2011 5:10:060 12.07.2011 5:17:30 0:07:24 29.07.2011 11:51:00 29.07.2011 11:58:49 0:07:49 29.07.2011 13:46:05 29.07.2011 13:47:41 0:01:36 WFE-5 12.07.2011 5:18:49 12.07.2011 5:27:07 0:08:18 29.07.2011 11:59:45 29.07.2011 12:08:19 0:08:34 29.07.2011 13:49:00 29.07.2011 13:50:36 0:01:36 WFE-6 12.07.2011 5:28:25 12.07.2011 5:35:40 0:07:15 29.07.2011 12:09:30 29.07.2011 12:17:10 0:07:40 29.07.2011 13:52:00 29.07.2011 13:53:35 0:01:35 WFECRAWL1 12.07.2011 5:37:20 12.07.2011 5:44:35 0:07:15 29.07.2011 12:18:10 29.07.2011 12:25:51 0:07:41 29.07.2011 13:54:35 29.07.2011 13:56:19 0:01:44 FAST-SSA- 12.07.2011 1 5:49:00 12.07.2011 5:57:45 0:08:45 29.07.2011 12:39:40 29.07.2011 12:48:24 0:08:44 29.07.2011 13:57:30 29.07.2011 13:59:07 0:01:37 FAST-SSA- 12.07.2011 2 5:59:08 12.07.2011 6:08:29 0:09:21 29.07.2011 12:51:30 29.07.2011 13:00:11 0:08:41 29.07.2011 14:00:00 29.07.2011 14:01:58 0:01:58 Общее время: Полная сумма: 1:40:46 Запуск накопительного пакета обновления за июнь Окончание Разность Запуск накопительного (ч:мм:сс) PSConfig пакета обновления за июнь 1:43:02 Окончание Разность PSConfig (ч:мм:сс) 0:21:11 3:44:59 Таблица 18. Время применения пакета обновления 1 (SP1) и накопительного пакета обновления за июнь FAST Search Server for SharePoint 2010 На применение накопительного пакета обновления 1 (SP1) для FAST Search Server for SharePoint 2010 ушло примерно по 15 минут на узел. 44 Резервное копирование базы данных контента SQL Server Центр документов 1 Резервное копирование баз данных SQL Server применялось к базе данных контента для центра документов 1 (SPContent01). Резервное копирование (РК) выполнялось на конфигурации до установки пакета обновления 1 (SP1), накопительного пакета обновления за июнь, и после его установки. Время резервного копирования и сведения о размерах следующие. Имя базы данных SPContent01 SPContent01 Начало РК Завершение РК 10.07.2011 23:37:00 Разность (ч:мм:сс) 13:41:00 Размер (ТБ) 14,40 10.07.2011 9:56:00 29.07.2011 14:22:10 30.07.2011 4:28:00 14:05:50 14,40 Примечания До пакета обновления 1 (SP1) После пакета обновления 1 (SP1) и накопительного пакета обновления за июнь Таблица 19. Время выполнения резервного копирования Заключения Ферма SharePoint Server 2010 успешно протестирована с числом одновременно работающих пользователей в 15 000 при использовании двух баз данных контента SharePoint с общим числом документов в 120 миллионов. Нам не удалось обработать нагрузку в 15 000 одновременно работающих пользователей с помощью трех интерфейсных веб-серверов, как это было задано в базовой среде, и для такой нагрузки потребовалось шесть интерфейсных веб-серверов. Рекомендации Итоговый список рекомендаций следующий. По всем этим рекомендациям, касающимся крупномасштабной библиотеки документов, планируется более подробный документ. Примечания об оборудовании, приведенные в каждом разделе, не являются исчерпывающим списком. Скорее, они указывают на минимальное оборудование, которое было определено как необходимое для выполнения нагрузочного теста с числом одновременно работающих пользователей в 15 000 в ферме SharePoint Server 2010, содержащей 120 миллионов документов. Рекомендации, связанные с SQL Server 2008 R2 Замечания об оборудовании для нагрузки: o 64 ГБ ОЗУ на сервер SQL Server. o 16 ядер ЦП на сервер SQL Server. Рекомендуется иметь два канала, поддерживающих достаточное количество операций ввода-вывода в секунду на гигабайт данных, хранящихся в базе данных контента SharePoint. Рекомендуется присваивать на сервере SQL Server 2008 R2 свойству Maximum Degree of Parallelism (MAXDOP) значение 1; значение по умолчанию равно 0. Рекомендуется использовать несколько номеров LUN (букв диска) в SAN с файлом данных SQL Server и одним выделенным виртуальным ЦП в каждом. Мы использовали 5 файлов данных на разных LUN. 45 Рекомендации, связанные с SharePoint Server 2010 Замечания об оборудовании для нагрузки: o 8 ГБ ОЗУ на каждый интерфейсный веб-сервер. o 6 интерфейсных веб-серверов. Добавьте раздел реестра Disable Loopback Check в \HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Lsa\DisableLoopbackCheck=1. Уменьшите проблемы фрагментации индекса таблицы вручную во время пакетного импорта документов, запустив команду ALTER INDEX на соответствующих индексах таблицы. Для пакетного импорта документов используйте команду SPFileCollection.ADD вместо создания дубликатов документов командой SPFolder.CopyTo. Рекомендации, связанные с FAST Search Server for SharePoint 2010 Замечания об оборудовании для нагрузки: o 4 корзины серверов индекса FAST Search Server 2010 for SharePoint. Обновления реестра для обходчика документов SharePoint Server 2010. На узлах, выполняющих обходчик FAST Content SSA (APP-1 и APP-2), следующие значения реестра были изменены с целью улучшения производительности обходчика в кусте: HKLM\SOFTWARE\Microsoft\Office Server\14.0\Search\Global\Gathering Manager 1. FilterProcessMemoryQuota Значение по умолчанию, равное 100 мегабайт (МБ), было изменено на 200 МБ. 2. DedicatedFilterProcessMemoryQuota Значение по умолчанию, равное 100 мегабайт (МБ), было изменено на 200 МБ. 3. FolderHighPriority Значение по умолчанию 50 было изменено на 500 Мониторинг обхода индекса FAST Search Server 2010 for SharePoint Необходимо выполнять мониторинг обходчика минимум три раза в день. Обход 100 миллионов элементов у нас занял примерно 2 недели. Каждый раз во время мониторинга обхода выполнялись следующие четыре проверки: 1. rc –r | select-string "# doc" Проверка степени загруженности обработчиков документов. 2. Мониторинг размера очереди обхода. Используйте средства отчетов или SQL Server Management Studio, чтобы просмотреть MSCrawlURL. 3. Indexerinfo –a doccount 46 Убедитесь, что все индексаторы выдают отчеты, чтобы узнать количество индексируемых документов за 1 000 миллисекунд. В тестах мы получали от 40 до 120 в зависимости от типа одновременно индексируемых документов. 4. Indexerinfo –a status Выполняйте мониторинг работоспособности индексаторов и разметки разделов. Ссылки Управление мощностью SharePoint Server 2010: ограничения, связанные с программным обеспечением (http://technet.microsoft.com/ru-ru/library/cc262787.aspx) Оценка требований к производительности и емкости для крупномасштабных хранилищ документов в SharePoint Server 2010 (Возможно, на английском языке) (http://technet.microsoft.com/ruru/library/hh395916.aspx) Планирование и настройка рабочих характеристик хранилища и SQL Server (SharePoint Server 2010) (http://technet.microsoft.com/ru-ru/library/cc298801.aspx) Центр ресурсов по планированию производительности и емкости SharePoint на портале TechNet (http://technet.microsoft.com/ru-ru/office/sharepointserver/bb736741) Рекомендации по виртуализации (SharePoint Server 2010) (http://technet.microsoft.com/ruru/library/hh295699.aspx) Рекомендации по использованию SQL Server 2008 на ферме SharePoint Server 2010 (http://technet.microsoft.com/ru-ru/library/hh292622.aspx) Рекомендации по управлению емкостью для SharePoint Server 2010 (Возможно, на английском языке) (http://technet.microsoft.com/ru-ru/library/hh403882.aspx) Рекомендации по производительности и емкости для FAST Search Server 2010 (Возможно, на английском языке) for SharePoint (http://technet.microsoft.com/ru-ru/library/gg702613.aspx) Программа Bulk Loader (http://code.msdn.microsoft.com/Bulk-Loader-Create-Unique-eeb2d084) Программа LoadBulk2SP (http://code.msdn.microsoft.com/Load-Bulk-Content-to-3f379974) Скрипты для тестирования производительности SharePoint (http://code.msdn.microsoft.com/SharePointTesting-c621ae38) 47