Форум ИГШ

Старое место
Текущее время: 20 ноя 2018 08:31

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 19 ] 
Автор Сообщение
СообщениеДобавлено: 14 дек 2013 12:35 
Не в сети

Зарегистрирован: 11 апр 2010 13:18
Сообщения: 5358
Не нашёл тему, в которой была печальная история внедрения Даосом некоей информационной системы. Поэтому создаю новую, а для затравки - история о том, как решают проблемы в Очень Больших Лавках:

http://www.computerra.ru/89763/delphi-oracle-case/

_________________
"Наша сила не в оружии, а в людях"(с)Ку-Клукс-Клан


Share on FacebookShare on TwitterShare on RedditShare on VKShare on Google+
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Эффективное использование IT.
СообщениеДобавлено: 14 дек 2013 12:41 
Не в сети

Зарегистрирован: 11 апр 2010 13:18
Сообщения: 5358
Позволю себе выделить ключевое:

Цитата:
Более консервативным решением было бы потребовать соблюдения чёткой стандартизации повсюду, где только можно,


(что и хотел сделать Даос и на чём совершенно закономерно обломался)

Цитата:
но к чему бы это привело? К сверхсложной и затратной интеграции плохо совместимых систем, реорганизации бизнес-процессов, введению новых посторонних задач на производстве и разрастанию штата.

Поскольку благодаря «большим данным» целостности больше не требовалось, Delphi получила собственную гибкую модель вместо неподъёмной интегрированной системы. Для поддержания её «на плаву» в будущем требуется только индексировать поступающие записи и документы.

После введения новой технологии инженеры могут комбинировать аналитические методы со стандартным поиском, что позволяет по-новому подойти к проблемам и всесторонне изучить их.

_________________
"Наша сила не в оружии, а в людях"(с)Ку-Клукс-Клан


Share on FacebookShare on TwitterShare on RedditShare on VKShare on Google+
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Эффективное использование IT.
СообщениеДобавлено: 15 дек 2013 11:52 
Не в сети

Зарегистрирован: 14 апр 2010 08:36
Сообщения: 10525
Задача, как была так и осталась, только на другом проекте.


Share on FacebookShare on TwitterShare on RedditShare on VKShare on Google+
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Эффективное использование IT.
СообщениеДобавлено: 16 дек 2013 08:18 
Не в сети

Зарегистрирован: 15 апр 2010 17:09
Сообщения: 4738
не понял из заметки ничего.
Они открыли связь по разным ключам?


Share on FacebookShare on TwitterShare on RedditShare on VKShare on Google+
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Эффективное использование IT.
СообщениеДобавлено: 16 дек 2013 15:00 
Не в сети

Зарегистрирован: 15 апр 2010 23:33
Сообщения: 9274
Откуда: Донецк
Насколько я понял, они отошли от чего-то типа дичайших размеров реляционной СУБД к чему-то типа дичайшего числа угарного объема xml-листов.


Share on FacebookShare on TwitterShare on RedditShare on VKShare on Google+
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Эффективное использование IT.
СообщениеДобавлено: 16 дек 2013 15:02 
Не в сети

Зарегистрирован: 15 апр 2010 17:09
Сообщения: 4738
я и дичайших размеров БД не увидел. у меня меньше не на порядки.

вообще там комментарии по теме.


Share on FacebookShare on TwitterShare on RedditShare on VKShare on Google+
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Эффективное использование IT.
СообщениеДобавлено: 17 дек 2013 08:11 
Не в сети

Зарегистрирован: 15 апр 2010 17:09
Сообщения: 4738
к вопросу о стандартизации
http://www.atominfo.ru/newsf/m0908.htm
http://www.atominfo.ru/newsf/m0973.htm
обсуждается тут:
http://forum.atominfo.ru/index.php?showtopic=735&st=100


Share on FacebookShare on TwitterShare on RedditShare on VKShare on Google+
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Эффективное использование IT.
СообщениеДобавлено: 19 окт 2014 19:28 
Не в сети
Аватара пользователя

Зарегистрирован: 11 апр 2010 16:25
Сообщения: 12785
http://vlkamov.livejournal.com/1125641.html
Цитата:
"В 60-х годах возлагали большие надежды на АСУ и ВЦ АН СССР принял участие в такой разработке. Задача была такая, спланировать доставку песка из речного порта на стройки столицы. Ученые собрали все данные, составили программу, машина распечатывала путевые листы, где было указано все, куда, когда, каким маршрутом ехать. Все было предельно эффективно, все заявки удовлетворялись точно в срок. Объем перевозимых грузов подскочил до предела, а расход горючего упал и ... начался саботаж.
В ходе откровенного разговора выяснилось, что автобазам это невыгодно - экономить ГСМ не удается, любое отклонение приводит к повышению расхода. Всяческие показатели, основные и неосновные (запчасти и др.) насчитывались на тоннокилометры. Тонн стало много, а вот километров сильно меньше. Хуже того, запланировать повышенные показатели на следующий квартал стало невозможно - все предписано.
Автобазы стали требовать свои тоннокилометры взад. Тогда руководитель проекта сказал, тут и рассчитывать нечего - грузите полные машины песком и гоняйте по кольцевой - вот вам и тоннокилометры." -- академик Н.Н.Моисеев


Share on FacebookShare on TwitterShare on RedditShare on VKShare on Google+
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Эффективное использование IT.
СообщениеДобавлено: 19 окт 2014 21:27 
Не в сети

Зарегистрирован: 08 дек 2011 18:04
Сообщения: 3228
Откуда: Malta, EU
Видимо без конкурентной экономики любая инновация упирается в активное (саботаж из эгоистичных соображений) или пассивное (инертность психологии) сопротивление человеческого элемента.

Как это было и есть сейчас в кап. странах. Компании принявшие такую инновацию становятся более эффективными и завоевывают рынок -> конкуренты либо вылетают в трубу либо адаптируются аналогичным образом.

Данная схема конечно работает не всегда - в случае монополии/олигополии получается временный аналог советских контор, которые будет сидеть на монополизированном ресурсе пока условия не изменятся радикально. После чего они имеют повышенный шанс отправится вслед за историческим прототипом.

_________________
The night is dark and full of wonders


Share on FacebookShare on TwitterShare on RedditShare on VKShare on Google+
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Эффективное использование IT.
СообщениеДобавлено: 19 окт 2014 22:23 
Не в сети
Аватара пользователя

Зарегистрирован: 19 апр 2010 10:30
Сообщения: 10779
Откуда: Таганрог
Story 1

- Это же ужасно! У нас 3, ТРИ! разных формата данных внутреннего обмена между серверами!
- И что?
- Давайте сделаем один, хороший, а остальные выкинем!
- Ну давайте...
- Только сначала сделайте пилотную проработку, например, для обмена геоданными
- Сделаем
Теперь у нас 3 старых формата, 1 новый и 1 костыль на базе "пилотной проработки"...

Story 2
- Это же ужасно! У нас 13, ТРИНАДЦАТЬ!!! серверов, часть из которых, от старости сыплется!
- Ну и что?
- Давайте поставим современный 4-х нодовый кластер, а все сервера поднимем на кластере как виртуальные!
- Чото я сомневаюсь, у нас часть серверов завязаны на внешние источники и там всё не так просто...
- Фу! Вы все ретрограды и вапще! Всё будет, я гарантирую это!
- Ну давайте.
Через 2 месяца непрерывного в@б#вания, включая ночные вахты и регулярные выходы на работу в 5 утра, у нас 12 старых серверов и новенький 4-х нодовый кластер вместо одного старого.
Проблему рассинхронизации нод так и решаем в ручном режиме. Полёт нормальный.

Story 3
Акт 1-й
- Нам надо считать логистику для отсроченных поставок!
- Так мы же считаем?
- А! Мы считаем для типов продукции отдельно, а для групп поставщиков скопом!
- Ок. Давайте.
- Значит так. Всех поставщиков мы сведём в 3 группы...
- Эм... Может лучше в N-групп?
- Да нет! Ни когда! Ни за что! Ну в крайнем случае в 4-ре группы... Ну ладно сделайте 4 группы.
- Ок
Делаем для произвольного количества групп, но наружу показываем для 4-х

Акт 2-й
- Замечательно! Но уже давайте выкинем всё назад, потому что руководство в рамках оптимизации создало отдельное подразделение, которое будет заводить коэффициенты и мы их будем тянуть из их базы данных!
- Эм... Ок.
Правим шаблон, чтобы казалось, что групп - 1
- Ой... Тут такое дело. То подразделение выведено на аутсорсинг, оно не может обрабатывать все типы поставщиков. Можем мы вернуть назад 4 группы и добавить пятую, специально для данных отдельного взвода отдела обработки части поставщиков?
- Да, конечно.
Теперь у нас 1 старая группа, 3 новые и 1 специальная, где стоит флаг "кэшировать сюда данные из левой БД" и сотвественно особый порядок обработки...

P.S. Программисты крупных компаний никогда не останутся без работы

_________________
Спасите мышонка Гарольда! http://eyewire.org


Share on FacebookShare on TwitterShare on RedditShare on VKShare on Google+
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Эффективное использование IT.
СообщениеДобавлено: 19 окт 2014 23:03 
Не в сети

Зарегистрирован: 08 дек 2011 18:04
Сообщения: 3228
Откуда: Malta, EU
Это нормальные фрагменты рабочего процесса.

Потерять месяц истории транзакций банка на фондовой бирже в момент проверки этой самой истории государственной комиссии по контролю деятельности игроков на рынке ценных бумаг - это слегка неприятнее.

_________________
The night is dark and full of wonders


Share on FacebookShare on TwitterShare on RedditShare on VKShare on Google+
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Эффективное использование IT.
СообщениеДобавлено: 19 окт 2014 23:10 
Не в сети
Аватара пользователя

Зарегистрирован: 19 апр 2010 10:30
Сообщения: 10779
Откуда: Таганрог
Как это... "Тот факт, что резервирование БД в течении 2-х лет аккуратно выполнялось в /dev/null выяснилось сразу же как только резервная копия наконец-то понадобилась" :D

Хотя, конечно, чтобы данные безвозвратно терялись навсегда в специально-обученных финансовых системах, я не слышал. Обычно это дело удаётся выковырять назад ценой немерянного геморроя.

_________________
Спасите мышонка Гарольда! http://eyewire.org


Share on FacebookShare on TwitterShare on RedditShare on VKShare on Google+
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Эффективное использование IT.
СообщениеДобавлено: 19 окт 2014 23:23 
Не в сети

Зарегистрирован: 11 апр 2010 13:18
Сообщения: 5358
Dark писал(а):
Это нормальные фрагменты рабочего процесса.


Полностью согласен. Читал примеры al_mt и думал: "как же у них всё травоядно, спокойно и разумно, по сравнению с виденным кое-где..." :roll: 8-)

_________________
"Наша сила не в оружии, а в людях"(с)Ку-Клукс-Клан


Share on FacebookShare on TwitterShare on RedditShare on VKShare on Google+
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Эффективное использование IT.
СообщениеДобавлено: 20 окт 2014 00:14 
Не в сети

Зарегистрирован: 08 дек 2011 18:04
Сообщения: 3228
Откуда: Malta, EU
Цитата:
Как это... "Тот факт, что резервирование БД в течении 2-х лет аккуратно выполнялось в /dev/null выяснилось сразу же как только резервная копия наконец-то понадобилась" :D

Там была классическая цепочка маловероятных событий случившихся в неподходящее время...

Месячный обьем ежедневных бэкопах держался в двух копиях на "горячих" дисковых массивов в разных ДЦ. Каждый день ежедневный архив копировали на ленту целиком (по правилам этой госкомиссии нужно хранить 7 лет архивов финансовых данных) и на внешние НЖМД (в основном для внутреннего пользования) контрольные точки из начала и конца месяца в конце месяца.

После апгрейда софта на ленточном накопителе архивный скрипт на нем стал глючить и тормозить. Сотрудник временно отключил его и стал искать что сломалось.

В начале месяца была создана некая конфигурации транзакционного софта для новых фич. Опробовав ее недельки три-четыре, выяснилось что ее нужно откатить назад. Что было успешно и сделано. Как оказалось скрипт откатил не только конфигурации но и содержимое БД (почему - отдельная истории). Так или иначе все транзакции были удалены (естественно они были в ежедневных бэкапах кроме тех что были после отката).

Прошло некоторое время... Банком были затребованы эти самые транзакции. Сначала выяснился неприятный факт что они были удалены из БД в процессе отката. ОК, не проблема - восстановим из бэкапов. А кстати, что у нас там в них?

Контрольные точки из конца и начала месяца были успешно скопированы и заархивированы, а месячный архив стал хранить уже ежедневные бэкапы следующего месяца. В контрольных точках оказалось состояние БД до наката конфигурации и после ее отката. Необходимой информации в них не оказалось.

Это хуже, но у нас же есть архив на ленте? Упс, в течение этого месяца ежедневный архивный скрипт был на техобслуживании и не работал.
(что было дальше предоставлю вашему воображению...)

Я был в это время в отпуске и узнал об истории пост-фактум спусти пару дней после финала и узнал все детали от моего непосредственного начальника достаточно случайным образом. Я предложил посмотреть состояния системы в деталях еще раз и не прогадал.

Тщательно просмотрев конфигурацию ленточного накопителя я обнаружил что кроме ежедневного архивного скрипта там был еще и еженедельный с аналогичным заданием. Его тот сотрудник не отключил ( и не знал о его существовании). Из результатов его работы было видно что он скопировал бэкап исходной БД в пятницу перед ее откатом в понедельник.

После чего была отдельная история с поисками необходимой кассеты с лентой (они нумеруются цифробуквенными двадцатизначными кодами) и перемещаются между двумя ДЦ и офисом в определенном правилами порядке (не более трети архивов в одном ДЦ или офисе) по календарному графику в зависимости от текущего процента чистых кассет в ленточном накопителе и т.п.

В итоге почти все данные были восстановлены (вместо месяца потеряли один день, а остаток частично восстановили другим способами).
А я получил устную благодарность от босса на корпоративной вечеринке ;)

_________________
The night is dark and full of wonders


Share on FacebookShare on TwitterShare on RedditShare on VKShare on Google+
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Эффективное использование IT.
СообщениеДобавлено: 20 окт 2014 03:01 
Не в сети

Зарегистрирован: 15 апр 2010 05:17
Сообщения: 8435
Скрипты- зло.

_________________
Fly, fly through a troubled sky
Up to a new world shining bright, oh, oh.


Share on FacebookShare on TwitterShare on RedditShare on VKShare on Google+
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Эффективное использование IT.
СообщениеДобавлено: 20 окт 2014 06:53 
Не в сети

Зарегистрирован: 08 дек 2011 18:04
Сообщения: 3228
Откуда: Malta, EU
Необходимое. Вручную в IТ все делать гораздо тяжелее

_________________
The night is dark and full of wonders


Share on FacebookShare on TwitterShare on RedditShare on VKShare on Google+
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Эффективное использование IT.
СообщениеДобавлено: 20 окт 2014 08:47 
Не в сети

Зарегистрирован: 15 апр 2010 05:17
Сообщения: 8435
Надо просто нормальные программы писать. Оракуле с егойным "бееекапом" это очевидный пример криворукожопости. Ну, и, практически все никсы. И да, мелкомягкие- это суть новая парадигма.

Кстати, не отрефлексирована разница между до и после Окон. Некий переход в ИТ таки состоялся.

_________________
Fly, fly through a troubled sky
Up to a new world shining bright, oh, oh.


Share on FacebookShare on TwitterShare on RedditShare on VKShare on Google+
Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Эффективное использование IT.
СообщениеДобавлено: 20 окт 2014 10:05 
Не в сети
Аватара пользователя

Зарегистрирован: 19 апр 2010 10:30
Сообщения: 10779
Откуда: Таганрог
Dark писал(а):
А я получил устную благодарность от босса на корпоративной вечеринке ;)

Он плакал и что-то булькал в стакан? Наружу прорывались фразы "боже! моя пенсия...", "боже... моя ипотека!" :roll:
Нет высшей награды от начальства!
И заметьте - не смотря на все усилия персонала, технка таки спасла данные :lol: :lol: :lol:

Benedict писал(а):
Скрипты- зло.

Benedict писал(а):
Надо просто нормальные программы писать.

Вы сегодня просто сыпете перлами :lol:
Вынужден огорчить - жестокий баян в обоих случаях. Мы даже гуманитарное начальство от этого уже отучили.

vasilisk писал(а):
Читал примеры al_mt и думал: "как же у них всё травоядно, спокойно и разумно, по сравнению с виденным кое-где..." :roll: 8-)

Ну это у меня в отделе так - опыт не пропьёшь ;)
А вообще всякое бывало. Стреляться - не стрелялись и из окон вроде не прыгали, но в психушку народ реально попадал... было-было... :cry:

_________________
Спасите мышонка Гарольда! http://eyewire.org


Share on FacebookShare on TwitterShare on RedditShare on VKShare on Google+
Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 19 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 5


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Topic attributes:

Найти:
Перейти:  
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB