Источники данных для анализа Сбор данных - это процесс сбора, сбора, извлечения и хранения большого объема данных, которые могут быть в структурированной или неструктурированной форме, например, текст, видео, аудио, XML-файлы, записи или другие файлы изображений, используемые на более поздних этапах анализа данных. В процессе анализа больших данных «сбор данных» является начальным шагом перед началом анализа закономерностей или полезной информации в данных. Данные, подлежащие анализу, должны быть собраны из разных достоверных источников. Собранные данные известны как необработанные данные, которые сейчас бесполезны, но при очистке нечистых и использовании этих данных для дальнейшего анализа формируется информация, полученная информация известна как «знание». Знание имеет много значений, таких как знание бизнеса или продажи продуктов предприятия и т. д. Основной целью сбора данных является сбор данных, богатых информацией. Сбор данных начинается с постановки некоторых вопросов, таких как, какой тип данных должен быть собран и каков источник сбора. Большая часть собранных данных относится к двум типам, известным как «качественные данные» или атрибутивные, которые представляют собой группу нечисловых данных, таких как слова, предложения, в основном сосредоточенные на поведении и действиях группы, а также «количественные данные», которые представлены в числовой форме и могут быть рассчитаны с использованием различных научных инструментов и выборка данных. Затем фактические данные делятся в основном на два типа, известные как: Первичные данные Вторичные данные Первичные данные: Исходные, исходные и извлеченные непосредственно из официальных источников данные называются первичными данными. Этот тип данных собирается непосредственно с помощью таких методов, как анкетирование, интервью и опросы. Собранные данные должны соответствовать запросам и требованиям целевой аудитории, для которой выполняется анализ, в противном случае это будет обременительно при обработке данных. Несколько методов сбора первичных данных: Метод опроса: Данные, собранные в ходе этого процесса, собираются путем опроса целевой аудитории человеком, которого называют интервьюером, а человек, который отвечает на интервью, известен как интервьюируемый. Некоторые основные вопросы, связанные с бизнесом или продуктом, задаются и записываются в виде заметок, аудио или видео, и эти данные сохраняются для обработки. Они могут быть как структурированными, так и неструктурированными, например, личные интервью или официальные собеседования по телефону, лично, по электронной почте и т.д. Метод опроса: Метод опроса - это процесс исследования, при котором задается список соответствующих вопросов, а ответы записываются в виде текста, аудио или видео. Метод опроса можно получить как в онлайн, так и в автономном режиме, например, через формы веб-сайта и электронную почту. Затем ответы на этот опрос сохраняются для анализа данных. Примерами могут служить онлайн-опросы или опросы в социальных сетях. Метод наблюдения: Метод наблюдения - это метод сбора данных, при котором исследователь внимательно наблюдает за поведением и действиями целевой аудитории, используя некоторый инструмент сбора данных, и сохраняет наблюдаемые данные в виде текста, аудио, видео или любых необработанных форматов. В этом методе данные собираются напрямую путем размещения нескольких вопросов участникам. Например, наблюдение за группой покупателей и их поведением по отношению к продуктам. Полученные данные будут отправлены на обработку. Документальный метод: Документальный метод основан на использовании в качестве источника информации различного рода документов, как правило, учетного характера. При надлежащем контроле за постановкой первичного учета и правильном заполнении документальный метод дает наиболее точные результаты. Экспериментальный метод: Экспериментальный метод - это процесс сбора данных путем проведения экспериментов, исследований и расследований. Наиболее часто используемыми методами эксперимента являются CRD, RBD, LSD, FD. CRD - полностью рандомизированный дизайн - это простой экспериментальный дизайн, используемый в анализе данных, основанный на рандомизации и репликации. В основном он используется для сравнения экспериментов. RBD - Randomized Block Design - это экспериментальный проект, в котором эксперимент разделен на небольшие блоки, называемые блоками. Для каждого из блоков проводятся случайные эксперименты, а результаты выводятся с использованием метода, известного как дисперсионный анализ (ANOVA). RBD был создан в сельскохозяйственном секторе. Дизайн LSD – Latin Square - это экспериментальный дизайн, похожий на блоки CRD и RBD, но содержащий строки и столбцы. Это расположение NxN квадратов с равным количеством строк и столбцов, содержащих буквы, которые встречаются только один раз в строке. Следовательно, различия могут быть легко найдены с меньшим количеством ошибок в эксперименте. Головоломка судоку является примером дизайна латинского квадрата. FD-факторный дизайн - это экспериментальный проект, в котором каждый эксперимент имеет два фактора, каждый из которых имеет возможные значения, и по результатам выполнения выводятся другие комбинационные факторы. Вторичные данные: Вторичные данные - это данные, которые уже были собраны и повторно использованы для какой-либо обоснованной цели. Этот тип данных предварительно записывается из первичных данных и имеет два типа источников: внутренний источник и внешний источник. Внутренний источник: Эти типы данных можно легко найти в организации, например данные о рынке, данные о продажах, транзакции, данные о клиентах, бухгалтерские ресурсы и т. д. При получении внутренних источников затраты и время меньше. Внешний источник: Данные, которые нельзя найти во внутренних организациях и которые можно получить через внешние сторонние ресурсы, являются данными из внешних источников. Затраты и время больше, потому что это содержит огромное количество данных. Примерами внешних источников являются правительственные публикации, новостные публикации, Генеральный секретарь Индии, комиссия по планированию, международное бюро труда, службы синдиката и другие неправительственные публикации. Другие источники: • Данные датчиков: с развитием устройств Интернета вещей датчики этих устройств собирают данные, которые можно использовать для анализа данных датчиков для отслеживания производительности и использования продуктов. • Данные со спутников: Спутники ежедневно собирают большое количество изображений и данных в терабайтах с помощью камер наблюдения, которые можно использовать для сбора полезной информации. • Веб-трафик: благодаря быстрым и дешевым интернет-средствам многие форматы данных, которые загружаются пользователями на разных платформах, могут быть предсказаны и собраны с их разрешения для анализа данных. Поисковые системы также предоставляют свои данные с помощью ключевых слов и запросов, по которым в основном выполняется поиск. Классификация источников информации промышленного предприятия Экономическая информация – это совокупность характеризующих экономическую сторону производства. сведений, По функциональным признакам, т.е. по той роли, которую она играет в процессе управления предприятием, экономическая информация подразделяется на следующие виды: • проектная информация; • информация по конструкторской и технологической подготовке производства; • нормативно-справочная информация; • плановая информация; • бухгалтерская информация; • статистическая информация; • первичные документы текущего учета; • результаты обследований и выборочных наблюдений; • личные наблюдения, внеучетная информация. Проектная информация, содержит, в первую очередь, сведения экономического характера о будущих результатах деятельности проектируемого объекта: • капитальные вложения; • объем производства продукции (услуг); • величина доходов; • величина прибыли; • уровень эффективности производства. Естественно, данные о результатах функционирования проектируемого объекта сопровождаются информацией о затратах как на создание этого объекта, так и о затратах, связанных с его эксплуатацией и производством продукции (услуг). Помимо этого, также содержится технико-экономического характера о: производительности в единицу времени; • структуре продукции и ее качестве; • качестве сырья; • применяемых материалах, энергии, нормах их расхода; • численности персонала и его структуре. Информация по конструкторской и технологической подготовке производства достаточно близка проектной и включает сведения о: • затратах труда и его оплате; • затратах энергии, материалов; • общей нормативной стоимости продукции; • нормах времени работы оборудования и его производительности; • величинах объема производства, дохода и прибыли; • величине затрат на осуществлении мероприятий. Нормативную информацию подразделяют на нормы и нормативы. Норма – максимально допустимая величина расхода сырья, материалов, топлива, энергии, а также, и труда на единицу продукции или операцию. Под нормативом понимается относительная использования производственных ресурсов. величина (степень) К справочной информации относят такие ее виды, как цена, тарифы, расценки. К нормативно-справочной информации относятся также и материалы, характеризующие состояние техники, технологии, регламенты, технологические карты, дефектные ведомости и т.д., которые могут использоваться в процессе анализа работы предприятия. Дефектная ведомость -– это исходный документ для проведения ремонта или строительства объектов. Документ служит своего рода оправдательной бумагой за какие-либо моменты, например нехватку сырья или комплектующих компонентов, что могло привести к ненадлежащему качеству работ или конечного продукта. Технологическая карта — это стандартизированный документ, содержащий необходимые сведения, инструкции для персонала, выполняющего некий технологический процесс или техническое обслуживание объекта. Надо сказать, что чаще всего технологическая карта составляется для каждого отдельно взятого объекта, оформляясь в виде понятной таблицы. В одной технологической карте могут учитываться различные, но при этом имеющие какое-либо сходство между собой модели объектов. Бухгалтерская информация охватывает все операции, отражающие движение хозяйственных средств, и хозяйственные связи предприятия. Ценность бухгалтерской информации состоит в том, что: • для учета хозяйственных операций помимо натуральных измерителей используется стоимостная оценка, позволяющая получить обобщенные данные о состоянии, движении и использовании хозяйственных средств; • эта информация является документально обоснованной, т.е. служит доказательством совершения операций и имеет юридическую силу; • эта информация является сплошной и непрерывной. Статистическая информация отражает количественную сторону хозяйственной деятельности. С ее помощью получают сведения об объеме производства, использовании сырья, материалов и энергии, о себестоимости продукции, использовании трудовых ресурсов, основных средств и т.д. Статистический учет использует единые первичные документы, в которых одновременно отражаются данные оперативного, бухгалтерского и статистического учета. Источники информации, ВНЕУЧЕТНЫЕ - материалы внутренних и внешних ревизий, аудиторских проверок, акты проверок налоговой службы, материалы постоянно действующих производственных совещаний, материалы собраний акционеров или трудовых коллективов, сведения из открытой печати, объяснительные и докладные записки, переписка с вышестоящей организацией, с финансовыми и кредитными органами. Источники информации представлены ниже на рисунке. По отношению к объекту исследования информация бывает внутренней и внешней. Внутренняя информация – данные статистического, бухгалтерского, оперативного учета и отчетности, плановые и нормативные данные, разработанные на предприятии. Внешняя информация – данные статистических сборников, периодических и специальных изданий, конференций, деловых встреч, официальные, хозяйственно-правовые документы и т.д. По отношению к предмету исследования информация делится на: основную и вспомогательную. По периодичности поступления – на регулярную и эпизодическую. К источникам регулярной информации относятся плановые и учетные. Эпизодическая информация формируется по мере необходимости. Требования, предъявляемые к информации. К организации информационного следующие требования: обеспечения предъявляются • аналитичность информации: вся система экономической информации должна соответствовать предъявляемым требованиям и поставленным задачам, т.е. обеспечивать получение данных, необходимых для глубокого изучения факторов, выявления резервов и выработки управленческих решений; • достоверность информации: информация должна объективно отражать исследуемые явления и процессы; • оперативность информации: вытекает из требований повышения оперативности и действительности анализа; • сопоставимость информации: по предмету и объекту исследования, периоду времени, методологии исчисления показателей; • рациональность системы информации: затраты на сбор, обработку и использование данных должны быть минимальны.
