{$PLTR} Это первая из четырех статей, посвященных происхождению, возможностям и влиянию программно-определяемой интеграции данных Palantir. Следите за обновлениями второй, третьей и четвертой частей. В Palantir мы потратили большую часть двух десятилетий на решение некоторых из самых серьезных мировых проблем интеграции данных вместе с нашими клиентами - от оцифровки электрических сетей до борьбы с эксплуатацией детей и стремления к господству над информацией. Снова и снова мы на собственном опыте сталкиваемся с разочарованием руководителей бизнеса и ИТ-отделов в попытках найти, выявить и ввести в действие нужные данные для решения насущных бизнес-проблем. Вопросы, которые кажутся логичными и простыми (например, «насколько дешевле стоит производство продукта X по сравнению с продуктом Y?» Или «сколько времени обычно требуется, чтобы продукт Z прибыл от наших поставщиков?»), Подсказывают недели, месяцы или даже годы технических препятствий и споров по поводу данных. Конечно, мы усовершенствовали наши программные продукты, чтобы облегчить большую часть этой боли и утечки времени. Однако до недавнего времени основная часть работы по интеграции данных оставалась «определяемой человеком». Независимо от того, написаны ли они передовым разработчиком Palantir или штатным специалистом по обработке данных одного из наших партнеров, данные были интегрированы на основе кода, написанного человеком. Такая интеграция данных вручную была не только подвержена ошибкам и отнимала много времени, но и приводила к значительным накладным расходам на обслуживание, поскольку структура данных со временем неизбежно меняется. Вместо того, чтобы продолжать тратить драгоценное время и ресурсы на выполнение одной и той же работы снова и снова, мы решили применить новый подход. "Голь на выдумки хитра." Мы уже начали работать над способом автоматизации ручной работы по созданию конвейеров данных в 2019 году. Затем, в начале 2020 года, разразилась пандемия, и мир изменился в одно мгновение. Организациям необходимо было немедленно узнать, как COVID-19 повлиял на их персонал, цепочку поставок, клиентов и их финансы. Чтобы найти ответы, у них не было возможности реализовать недельные или месячные проекты интеграции данных. Эти вопросы были экзистенциальными. Мы приступили к работе, быстро развертывая наше новое интеграционное решение у существующих и новых клиентов, наблюдая, что работает, а что нет, и совершенствуя наш подход в режиме реального времени. Вскоре мы поняли, что наше решение для автоматического извлечения, преобразования и согласования данных из существующих систем может значительно сократить время и усилия, затрачиваемые на понимание сложных ландшафтов данных. В некоторых случаях мы могли за часы сделать то, что раньше занимало месяцы - ценное обновление даже вне кризиса, с которым мы помогали бороться. В разгар всего этого термин «программно-определяемая интеграция данных» закрепился в нашем решении, и выкристаллизовался набор основных принципов. Руководящие философии Интегрируйте данные, исходя из основных принципов: самые богатые и наиболее гибкие последующие приложения интеграции данных полагаются на использование наиболее детализированных исходных данных. Использование предварительно обработанных данных может показаться сокращением, но это сразу же сужает круг проблем, которые могут быть решены в будущем. Максимально автоматизируйте: метаданные так же ценны, как и сами данные - они могут способствовать созданию динамического конвейера данных, сокращая накладные расходы на ручную интеграцию данных сейчас и в будущем. Конвейер данных, хотя и написанный от руки, является формой автоматизации; динамически создавая этот конвейер, вы автоматизируете свою автоматизацию. Создайте высоко расширяемую структуру знаний: не все можно автоматизировать, но знания, закодированные в виде продукта, со временем будут усугубляться. Упростите как предоставление знаний, так и анализ этих вкладов. Продолжение на сайте Палантир