Если просто поломка дрона — то людям, которым нужна такая охрана периметра её могут заплатить (через суд конечно).
А вот если такой дрон упадет кому-то на голову, то здесь грань законности и ответственности очень тонка — за дрон в первую очередь несёт ответственность её владелец, и именно он должен будет доказать, что это была глушилка его соседа, и доказать что он не знал что там была такая глушилка, тк если он знал что там работает глушилка, но все равно отправил дрон в ту сторону, то это близко к умышленному причинению вреда.
Разумеется нет) Пусть в данном примере и можно избавиться от вызова асинхронной инициализации, но действительно существуют случаи когда это необходимо.
Мы в свое время пришли ко второму варианту.
>1) Я лично не подключал Spark SQL через JDBC, но пишут, что это возможно, если поднять Thrift Server
Насколько я понимаю, Hue примерно так и делает. А возможно что и Hive умеет подключать спарк в качестве движка (никогда, впрочем, не вникал в детали, но такая переменная set hive.execution.engine=spark у Hive есть). Т.е. дальше просто штатный Thrift от Hive, который уже запускает запрос на исполнение через Spark.
P.S. Если совсем честно, не вижу большого смысла использовать спарк через JDBC. Это соединение будет бутылочным горлышком.
На самом деле у спарка есть своя подсистема мониторинга и измерения (основанная на известном пакете dropvizard metrics). Кроме того, есть чуть более базовые вещи, такие как аккумуляторы. Вы вполне можете любые свои метрики собирать, включая и количество строк (надо при этом только понимать, что строки как правило проходят через параллельную обработку, т.е. через executors, поэтому инструмент должен эти статистики передавать куда-то (драйверу)).
>2. Если Spark без подсказки не знает, что данные распределены неравномерно, можно ли включить какую-то статистику распределения данных, как это работает в таких MPP СУБД как Teradata или Greenplum?
Понимаете, без посказки никто не знает. Сбор статистики есть везде, и он, что характерно, стоит ресурсов. Та же команда ANALYZE — она занимает существенное время. Самое лучшее, что вы можете сделать — это чтобы другое приложение, которое запишет когда-то новые данные, в процессе их формирования эти статистики подсчитало. Попутно, так сказать.
Подписаться на рассылку
Там рабочая частота менее 30MHz, длина волны более 10 метров. Такому телескопу метровые дырки в зеркале не страшны.
Кстати, о миссии к солнечному фокусу идёт речь, как о предложении в третьей, наиболее продвинутой, фазе:
Если просто поломка дрона — то людям, которым нужна такая охрана периметра её могут заплатить (через суд конечно).
А вот если такой дрон упадет кому-то на голову, то здесь грань законности и ответственности очень тонка — за дрон в первую очередь несёт ответственность её владелец, и именно он должен будет доказать, что это была глушилка его соседа, и доказать что он не знал что там была такая глушилка, тк если он знал что там работает глушилка, но все равно отправил дрон в ту сторону, то это близко к умышленному причинению вреда.
> Приходится хостить все эти бесконечные рабочие варианты и зарисовки, для каждой заново заливать файлы
А теперь придётся из-за каждой правки генерировать новый хеш и менять ссылку на сайт. github pages как-то привлекательнее в этом смысле.
Разумеется нет) Пусть в данном примере и можно избавиться от вызова асинхронной инициализации, но действительно существуют случаи когда это необходимо.
Мы в свое время пришли ко второму варианту.
А метеориты? У луны нет от них щита.
>1) Я лично не подключал Spark SQL через JDBC, но пишут, что это возможно, если поднять Thrift Server
Насколько я понимаю, Hue примерно так и делает. А возможно что и Hive умеет подключать спарк в качестве движка (никогда, впрочем, не вникал в детали, но такая переменная set hive.execution.engine=spark у Hive есть). Т.е. дальше просто штатный Thrift от Hive, который уже запускает запрос на исполнение через Spark.
P.S. Если совсем честно, не вижу большого смысла использовать спарк через JDBC. Это соединение будет бутылочным горлышком.
На самом деле у спарка есть своя подсистема мониторинга и измерения (основанная на известном пакете dropvizard metrics). Кроме того, есть чуть более базовые вещи, такие как аккумуляторы. Вы вполне можете любые свои метрики собирать, включая и количество строк (надо при этом только понимать, что строки как правило проходят через параллельную обработку, т.е. через executors, поэтому инструмент должен эти статистики передавать куда-то (драйверу)).
Спасибо за цифры.
По ним примерно стали понятны параметры борьбы «брони и снаряда»
>2. Если Spark без подсказки не знает, что данные распределены неравномерно, можно ли включить какую-то статистику распределения данных, как это работает в таких MPP СУБД как Teradata или Greenplum?
Понимаете, без посказки никто не знает. Сбор статистики есть везде, и он, что характерно, стоит ресурсов. Та же команда ANALYZE — она занимает существенное время. Самое лучшее, что вы можете сделать — это чтобы другое приложение, которое запишет когда-то новые данные, в процессе их формирования эти статистики подсчитало. Попутно, так сказать.