Экспертные системы

Вопросы баз знаний, надсистем и искусственных интеллектов

Модератор: al_mt

Аватара пользователя
wus777
Сообщения: 3945
Зарегистрирован: 29 апр 2010 20:09
Откуда: Ej

Re: Экспертные системы

Сообщение wus777 » 11 дек 2010 20:23

impetus писал(а):"другие эксперты, ссылаясь на то же самое, доказывали обратное"...
Оффтопом:
Пример успешной борьбы с коррупцией методом сверху - вниз(обратный метод успешной борьбы с коррупцией "снизу - вверх" - революция).

Автор: Георгий Зотов
Опубликовано 19 мая 10 (0:05)
Статья ««Докажи, что не взяточник!» В Гонконге изобрели удачный метод борьбы с коррупцией» из номера: «АИФ»№20

http://www.aif.ru/money/article/34820
***
— Поэтому для чиновников просто отменили презумпцию невиновности.
Что это такое?
Фактически комиссия против коррупции работает по законам военного трибунала:
если у них есть «обоснованные подозрения», они могут поместить под арест любого госслужащего.
Также в законодательстве закреплено:
в случае, когда и чиновник и его семья живут на широкую ногу, имеют виллы с бассейнами, счета за границей,
он обязан ДОКАЗАТЬ комиссии, что получил эти средства законно.
Если не докажет, не предоставит документы — получит 10 лет тюрьмы.
***
В первый же год работы новой структуры осудили больше двухсот взяточников (на 5 млн населения Гонконга), и ситуация стала улучшаться на глазах.
Стоило чиновникам прекратить брать взятки, развалилась и организованная преступность, знаменитые «триады»:
бандиты не могут жить без «крыши» политиков.
Теперь Гонконг — один из «чистейших» городов мира — да, там всё ещё случаются откаты, но в основном в частном секторе,
государственные служащие взяток почти не берут.
В 1974 г. коррупцией было заражено 90%(!) госаппарата, в 2000 г. — 6%, сейчас — только 3%.

— Когда начались реформы, люди думали, что это фантастика,
— улыбается политолог Стивен Ли.
— Это же Азия, здесь если бороться с коррупцией, то только расстрелами, как в Китае.
***


gleb_324
2010-12-11 02:29 pm UTC

http://gleb-324.livejournal.com/28142.h ... ht#t817390
Причем тут Вы, "Pustota" ?
Ничего персонального, это все относится к любому спекулянту, теперь даже, всключая меня самого.
Могли бы вообще писать анонимно, у меня в блоге это разрешено.
Если это Вас так задело, могу переименовать Вас в анонимное и собирательное "Господин Спекулянт".

Терерь о деле.
Вы, Господин Спекулянт, вероятно догадываетесь, что, чтобы Вы могли креативно стричь ренту кто-то должен производить.
И по умолчанию предполагается что есть спекулянты распределители, а есть лохи-инженеры, производящие для них товары, которые господа спекулянты могут потреблять в неограниченных количествах.

Вы господин спекулянт потребляете не доллары и не акции,
вы потребляете авто, водку или жилища.

Деньги есть только промежуточная субстанция.

Короче, низшая каста производителей должна производить для Вас товар.

Рентабельность Вашего труда на несколько порядков выше чем моя, инженерная,
Вы пользуетесь моим трудом,
мне же Ваши спекулянтские услуги и задаром не нужны.

При любой "ликвидности" и прочих воровских выкрутасах моя рентабельность как инженера приближается к нолю.

Как видим обмен не эквивалентен.

Насколько стабильна подобная конструкция?

Мне как инженеру невозможно даже найти работу по специальности с приличным вознаграждением, мне нужно вести все время вести борьбу за существование чтобы у Господина Спекулянта в гараже стоял новенький Мерс, а его баба была одета по последней моде.
Меня лично такой расклад не устраивает ни с какой стороны, ни с этической, ни с практической.
Так что я просто перебежал, Господин Спекулянт, на Ваши сторону,
условно назовем ее Темная Сторона Силы.

Чем это Вам грозит лично, господин спекулянт?
Мало того что я перестал производить для Вас продукт, который Вы так успешно распределяли, так я еще присвоил и часть Вашего пирога.
Моя спекулянтская карьера развивается очень неплохо.
Ничего более в моей жизни полезного я производить не собираюсь принципиально, теперь финкап будет производить для меня.

Уже догадались чем это все может закончится?
Нет?

Продолжу.
Все известсные мне ученые, инженеры так или иначе пристроились поближе к финансам, вот, например,
очень интересный финансист Саломатин это бывший физик,
на форуме у Хазина Исаев (работает на инвестбанк) , тоже физик.
Сам Хазин - математик.
Почти все программисты работают так или иначе на финансовый сектор.
Сергей Егищянц - бывший математик.
...Примеров не счесть.
Что между ними всеми общего - они больше ничего материального не производят,
они только потребляют!

Кто же производит?
Лузеры-инженеры и китайцы.

Как долго?
Инженеры просто вымрут как вид.
В инженеры и так только отбросы идут, кто не может в финансы, не престижно.

Остались китайцы.
Так как долго на Вас, господин Спекулянт, будут работать китайцы, Вы об этом задумывались?
Почему они вообще на Вас сейчас работают?

Когда Вы сможете ответить на эти два вопроса, вам станет понятно насколько далеко ваша (и моя) спекулянтская карьера может простираться.
А пока крутите ручку своего вечного двигателя и радуйтесь жизни.

***
***


(Анонимно)
2010-12-10 05:30 pm UTC (ссылка)

Да не о том речь.

Вопрос "Все берут".
И берут и берут.
И так до бесконечности?
Уже придумали вечный двигатель?

То есть вечный двигатель по изготовлению колбасы инженеры точно не придумали.

Но бухгадтера придумали вечный двигатель по изготовлению денег (или заменяющей их бухгадтерской хренотени).

Теперь берем вечный двигатель по изготовлению денег,

присоениняем его к мясокомбинатику

и получаем вечный двигатель по изготовлению колбасы.


Или идем в ОБХСС писать явку с повинной?
"- Не шалю, никого не трогаю, починяю примус..."

Аватара пользователя
ko4evnik
Сообщения: 13376
Зарегистрирован: 11 апр 2010 16:25

Re: Экспертные системы

Сообщение ko4evnik » 12 дек 2010 17:25

Чибрикин Илья писал(а): С моей точки зрения профессионалом может считаться человек который:
1. Умеет делать определнную работу.
2. Стремиться делать ее хорошо исходя из внутренней логики самой работы.
3. Уважает свою работу.
4. Знает (оценивает) вероятность успешного исхода своей работы для разных ситуаций.
5. Стабильно выдерживает вероятность успешного исхода.
6. Способен обучаться на ошибках. если на своих - значит "профессионал". на чужих - значит "опытный профессионал".

Аватара пользователя
ko4evnik
Сообщения: 13376
Зарегистрирован: 11 апр 2010 16:25

Re: Экспертные системы

Сообщение ko4evnik » 12 дек 2010 17:51

Теплов писал(а): Специалист - человек "плотность" компетенций которого в специальной области отличается от фонового уровня, превышает некий "порог".
специалист - это прежде всего "специальный человек" для чего того. в фордовском смысле - специлизация может быть сколь угодно узкой, если это оказывается экономически выгодным.

"превышение порога" - это когда на основе "декартова произведения" нескольких специализаций начинает проявляться "возникающее поведение". типа как "самолет - совокупность деталей, которые по отдельности стремятся упасть на землю, но в совокупном взаимодействии способны поднятся в воздух".

"мастер" от "специалиста", имхо, отличается этим.
у него не просто прокачаны некоторые "мышцы-протогонисты", но и "мышцы-антагонисты" обучены не мешать усилию.
Теплов писал(а): экспертная система - такая система, генерирующая оценку типа "мнение", которая слишком сложна для (объективной) проверки. :D

Здесь же: система, генерирующая объективную оценку, не является экспертной.
экспертная система - не обязана выдавать точную оценку. она должна отсекать заведомо ложные гипотезы. и, желательно, ориентировать в нужном направлении. дать опорную точку.
Теплов писал(а): Похоже, что "Мастер" несколько перпендикулярен "профессионалу" и "эксперту".

Получается, что профиерархии имеют некоторое количество нетождественных "линеек", местами пересекающихся.
...а местами продлеваюшимися в бесконечность :
"мастер - попадает в цель, в которую никто попасть не может. гений - попадает в цель, которую никто не видел".
Теплов писал(а): PS4: Есть еще такая тема как "канон". Но, боюсь, более-менее понятная тем, у кого в профессии он наличествует. Некий аналог "модели" - но не просто модель, нечто с особыми свойствами.
"стиль, манера - некий набор предпочтений, не обусловленных исключительно эффективностью".

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 12 дек 2010 21:41

Общество!
Давайте сделаем из этой ветки что-нибудь полезное и значимое.

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 12 дек 2010 21:41

У нас действительно есть некий потенциал и немаленький, который пропадает.
Может быть что-нибудь сделаем конкретное?

Теплов

Re: Экспертные системы

Сообщение Теплов » 12 дек 2010 22:11

ko4evnik писал(а): гений - попадает в цель, которую никто не видел".
Пропущено слово "неслучайно".

Аватара пользователя
ko4evnik
Сообщения: 13376
Зарегистрирован: 11 апр 2010 16:25

Re: Экспертные системы

Сообщение ko4evnik » 14 дек 2010 15:15

Чибрикин Илья писал(а): Может быть что-нибудь сделаем конкретное?
чтобы сделать что-то конкретное, надо сначала придумать что-то конкретное.

Аватара пользователя
ko4evnik
Сообщения: 13376
Зарегистрирован: 11 апр 2010 16:25

Re: Экспертные системы

Сообщение ko4evnik » 14 дек 2010 15:31

Теплов писал(а):
ko4evnik писал(а): гений - попадает в цель, которую никто не видел".
Пропущено слово "неслучайно".
что там пропущено - вопрос весьма дискуссионный. :)

собственно "гений" - это лишь факт признания постфактум того, что как минимум один раз такая цель была достигнута. а случайно или не случайно - это вне рамок дефиниции.

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 17 дек 2010 11:24

Хорошо. Всернемся к исходной теме.
В какой мере возможно построение программно-информационной системы, способной выполнять функции гения, т.е. достигать цели, не очевидной и не воспринимаемой большинством народа?
Имели ли место такие системы, например достигает ли таких целей Яндекс?

Benedict
Сообщения: 8446
Зарегистрирован: 15 апр 2010 05:17

Re: Экспертные системы

Сообщение Benedict » 17 дек 2010 11:28

Для этого нужно иметь вероятностный чип. Отягощенный либидо.
Fly, fly through a troubled sky
Up to a new world shining bright, oh, oh.

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 17 дек 2010 11:44

что, что?

Теплов

Re: Экспертные системы

Сообщение Теплов » 17 дек 2010 11:48

Benedict писал(а):Для этого нужно иметь вероятностный чип. Отягощенный либидо.
Недостаточно.
Еще и некий барьер "мощности" нужно преодолеть.
Энтих "драконов" (по Княжне, "интеллектуальная линейка"), практикующих вероятностное мышление как базисную форму оного, хоть и небольшой %, но все же на несколько порядков больше чем "гениев".

Впрочем, по Переслегину гений определяется через способность к свободному (произвольному) творчеству в профессиональной области. А таких не еденицы - сотни, как минимум.

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 17 дек 2010 11:51

Други, Вы можете как-то обяснять Ваши посты?
Кто такая Княжна?

Теплов

Re: Экспертные системы

Сообщение Теплов » 17 дек 2010 11:53

Чибрикин Илья писал(а):Други, Вы можете как-то обяснять Ваши посты?
Кто такая Княжна?
http://archibest.livejournal.com/tag/%D ... 0%B5%D0%B9
Был вчера, кстати, в вашей Малаховке. Вводил "студента" в "контекст" объекта на Свердлова.

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 17 дек 2010 14:10

Теплов писал(а):Был вчера, кстати, в вашей Малаховке. Вводил "студента" в "контекст" объекта на Свердлова.
Если будете у нас на Менжинского, милости просим в гости!!! :P

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 17 дек 2010 14:41

Самое сильное чувство, здесь я полностью согласен с Импетусом, что современные системы, они малопрозрачны и имеют достаточно удобный интерфейс, что полностью обесценивает какие-либо попытки разобраться как они работают.
Более того, этот процесс и рискован тоже поскольку ставит вас в заведомо проигрышное состояние по отношению к другим людям, которые освоили использование софта на скорость.
При этом вопрос "а что будет если софт тупо врет" даже и задавать бессмысленно.
Знание того как оно работает на самом деле:
1. Очень трудно добывается
2. Совершенно бессмысленно и невостребовано в основной работе.

bigBUG
Сообщения: 4150
Зарегистрирован: 20 апр 2010 21:52

Re: Экспертные системы

Сообщение bigBUG » 17 дек 2010 15:26

Добывается трудно, но что бесполезно - это неправда. Когда проект подходит к пределу сложности для системы, тогда нужен матерый юзер, чтобы:
1) верифицировать результат
2) обеспечить функционирование
3) предсказать поведение и стабильность при изменении условий
идёт на дно военный крейсер
он на поверхности едва
и только слышно роковое
е два © bu6lik

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 17 дек 2010 15:33

А если не подходит?
Все что я вижу вокруг настолько далеко до предела, что все прорвывные вещи коих немало сугубо невостребованны.

bigBUG
Сообщения: 4150
Зарегистрирован: 20 апр 2010 21:52

Re: Экспертные системы

Сообщение bigBUG » 17 дек 2010 15:37

А если не подходит, то не нужен.
Не ты ли жаловался, что сидят девочки за таблицами, вбивают данные и получают незнам что, ась?))
идёт на дно военный крейсер
он на поверхности едва
и только слышно роковое
е два © bu6lik

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 17 дек 2010 16:27

Сидят девочки за софтинами, в том числе и электронными.
Получают незнамо что и все потом этому верят.

Аватара пользователя
al_mt
Сообщения: 11353
Зарегистрирован: 19 апр 2010 10:30
Откуда: Таганрог

Re: Экспертные системы

Сообщение al_mt » 17 дек 2010 16:54

"Делегирование интеллекта".

Собственно это наверное оно. Интеллект разработчиков софтины (включая предметных экспертов) делегируется. Это даёт возможность применять вместо дорогих профессионалов - дешёвых дилетантов усиленных делегированным интеллектом.

Проблема в том, что делегаты интеллекта, рассчитывают софт не на это, а на упрощение рутинных операций примерно для себя любимых.

Это постоянная проблема при постановке задачи на разработку систем. Вот у меня прямо сейчас такая :(

Софт делегирующий интеллект должен быть рассчитан на лиц с минимально-возможным для homo sapiens интеллектом. Вплоть до функциональной неграмотности. Порог рецепиента делегируемого интеллекта - распознавание отдельных символов. В крайнем случае групп символов. И графических изображений. Пороговым является умение соотнести реальный объект и его фотографическое изображение.
- Суперинтендант, у Вас есть список всех Тайных Обществ?
- Конечно...

bigBUG
Сообщения: 4150
Зарегистрирован: 20 апр 2010 21:52

Re: Экспертные системы

Сообщение bigBUG » 17 дек 2010 16:59

Чибрикин Илья писал(а):Сидят девочки за софтинами, в том числе и электронными. Получают незнамо что и все потом этому верят.
Ну и? Результат верифицировать не нужно, полагаешь?
идёт на дно военный крейсер
он на поверхности едва
и только слышно роковое
е два © bu6lik

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 17 дек 2010 17:13

Результат верифицировать НЕВОЗМОЖНО!!!!!
Потому что верификация означает точно такие же действия в том же самом софте и по сути отличается только опытом оператора.
Читали у Деница про торпедный кризис? Торпеды шли регулярно мимо цели. (Точнее под целью). Пока один из капитанов разобал в море гидростат боевой торпеды и выяснил, что в нем повышенное давление. (А значит торпеда будет идти ниже заданной глубины). При анализе все встали в тупик - проблема известная с первой мировой, поскольку в лодке давление обычно немного выше атмосферного, оно способно проникать в гидростат....). Расследование показало, что для борьбы с указанным эффектом (известным) Главная лавка по торпедам сконструировала специальный СУПЕРПОВЕРОЧНЫЙ СТЕНД, который имел ТЕ ЖЕ конструктивыне недостатки, то и гидростат торпеды. Два минуса дали плюс в состоянии испытаний, а вот в реальной обстановке минус был только один..
Вот основная проблема делегирования интеллекта - недостаточная верификация.
То что происходит на моисх глазах -это отсутствие всякой верификации вообще. Типа "Шлюмберже" серьезная фирма, мы ей довряем...

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 17 дек 2010 17:43

Ладно, геологический софт. Это все-таки высшая материя.
А вот каким образом верифицировать "делегирование интеллекта", осуществляемое в форме таблеток?

bigBUG
Сообщения: 4150
Зарегистрирован: 20 апр 2010 21:52

Re: Экспертные системы

Сообщение bigBUG » 17 дек 2010 17:46

Результат верифицировать НЕВОЗМОЖНО!!!!! Потому что верификация означает точно такие же действия в том же самом софте и по сути отличается только опытом оператора.
Здрасти, приплыли. Формулы секретные и посчитать на бумажке/эксели Богородица не велит? Или вы не имеете представления о том, какие циферки и проч. должны быть на выходе даже сс точностью до порядка?
Читали у Деница про торпедный кризис?
Нет. Мы же вроде как на ты, кстати.
Торпеды шли регулярно мимо цели. (Точнее под целью). Пока один из капитанов разобал в море гидростат боевой торпеды и выяснил, что в нем повышенное давление. (А значит торпеда будет идти ниже заданной глубины). При анализе все встали в тупик - проблема известная с первой мировой, поскольку в лодке давление обычно немного выше атмосферного, оно способно проникать в гидростат....).
Да, забааавно. Можно вводить поправку при пуске, основываясь на показаниях манометра в ТА... но это несколько громоздко.
Расследование показало, что для борьбы с указанным эффектом (известным) Главная лавка по торпедам сконструировала специальный СУПЕРПОВЕРОЧНЫЙ СТЕНД, который имел ТЕ ЖЕ конструктивыне недостатки, то и гидростат торпеды. Два минуса дали плюс в состоянии испытаний, а вот в реальной обстановке минус был только один..
Это я не понял... где стенд стоял, на ПЛ? Какой недостаток?
Вот основная проблема делегирования интеллекта - недостаточная верификация.
Скорее деградация, ну да ладно.
То что происходит на моисх глазах -это отсутствие всякой верификации вообще. Типа "Шлюмберже" серьезная фирма, мы ей довряем...
Ну это да, разврат. "Желать чуда - развращать волю".
идёт на дно военный крейсер
он на поверхности едва
и только слышно роковое
е два © bu6lik

bigBUG
Сообщения: 4150
Зарегистрирован: 20 апр 2010 21:52

Re: Экспертные системы

Сообщение bigBUG » 17 дек 2010 17:51

Чибрикин Илья писал(а):Ладно, геологический софт. Это все-таки высшая материя.
Да таких высших материев в любой инженерной области - ух. Разговор прочнистов послушайте - мозг окукливается на 3ей минуте с гарантией.
А вот каким образом верифицировать "делегирование интеллекта", осуществляемое в форме таблеток?
Аккуратнее, Илья. Верифицируется не интеллект, а результат. Что в случае с таблетками более чем наглядно.
идёт на дно военный крейсер
он на поверхности едва
и только слышно роковое
е два © bu6lik

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 17 дек 2010 18:58

1. Есть вещи, которые сравнительно просто верифицируются. Кто бы спорил.
2. Есть вещи которые верифицируются очень трудно и, главное, через очень значительные промежутки времени.
Что касается вычисляющих софтов, то очень часто они не программирование аналитических решений, а решение дифуров на сетках. Т.е. чисто вычислительные вещи. Которые верифицируются только натурными экспириментами.
Насколько я знаю, не существует решения алгоритмической верификации, т.е. нельзя по коду сказать что программа делает ровно то, что должна делать. Хотя, вероятно есть люди более продвинутые в данном вопросе, может кто чего и скажет интересное.

PS Я часто пользуюсь местоимением "вы" поскольку образщаюсь ко всем читающим мои посты. Ничего личного. Если "ты" лучше, пусть будет "ты".

Теплов

Re: Экспертные системы

Сообщение Теплов » 17 дек 2010 19:00

Э нет.
Ситуация с "ежедневным" "гидрометцентром" и разовой коммуникации с узким "экспертом" - сильно различны.
Не говоря уже о времени исполнения "прогноза".
А если срок проверки годы?

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 17 дек 2010 19:01

Все результаты интерпретации, рекомендации и характеристика залежей являются оценками, основанными на выводах из данных измерений и эмпирических зависимостей, а также на допущениях. Такие выводы и допущения не могут считаться абсолютно достоверными, и в их отношении компетентные специалисты могут расходиться во мнениях. Кроме того, в результатах интерпретации, рекомендациях и характеристике залежей могут быть вовлечены мнение и суждения Заказчика. Подрядчик не может гарантировать и не гарантирует точности, правильности и полноты каких-либо результатов интерпретации, рекомендаций и характеристики залежей. Заказчик несет всю полноту ответственности за использование Результатов Услуг и любых результатов интерпретации, рекомендаций и характеристики залежей, предоставленных Подрядчиком по настоящему Договору. Ни при каких обстоятельствах результаты интерпретации, рекомендации и характеристика залежей не должны использоваться как единственное обоснование для принятия решения относительно буровых работ, заканчивания, обработки скважин, добычи либо иного связанного с финансовыми затратами решения, а также действий, связанных с риском для безопасности каких-либо буровых работ, эксплуатации буровой установки, работы обслуживающего его персонала и иных лиц. Заказчик несет всю полноту ответственности за все решения такого рода, а также за все иные решения, связанные с буровыми работами и добычей. Заказчик констатирует, что Подрядчик не несет перед ним и третьими лицами имущественной ответственности за обычные, связанные с особыми обстоятельствами и косвенные убытки и ущерб, прямой или косвенной причиной которых может стать использование Заказчиком Результатов Услуг или каких-либо результатов интерпретации, рекомендаций и характеристики залежей, представленных Подрядчиком по настоящему Договору. Заказчик освобождает Подрядчика от ответственности и компенсирует ему потери, затраты, убытки или расходы, включая гонорары адвокатов, в случае предъявления Подрядчику требования, каким-либо образом связанного с вышеуказанным.

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 17 дек 2010 19:01

Приведен текст, которы входит во все официально передаваемые шлюмами результаты.

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 17 дек 2010 19:04

Коллеги, а может нам поиграть в экспертную систему, а?

Аватара пользователя
al_mt
Сообщения: 11353
Зарегистрирован: 19 апр 2010 10:30
Откуда: Таганрог

Re: Экспертные системы

Сообщение al_mt » 17 дек 2010 19:13

Чибрикин Илья писал(а):Насколько я знаю, не существует решения алгоритмической верификации, т.е. нельзя по коду сказать что программа делает ровно то, что должна делать.
Более того :) существует формальное доказательство невозможности такового :)

Экспертная система... Это вопрос. Даже само определение "экспертная система" имеет как минимум два технических подхода, которые приводят к принципиально разным результатам:
- база экспертных знаний + интерпретатор входных данных(поисковик)
- моделирование

А ещё бывает, когда на базе входных экспертных знаний надо автоматически строить модель :shock:
- Суперинтендант, у Вас есть список всех Тайных Обществ?
- Конечно...

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 17 дек 2010 19:22

Давайте обсудить наколеночную возможность реализации последнего пункта.

Аватара пользователя
ko4evnik
Сообщения: 13376
Зарегистрирован: 11 апр 2010 16:25

Re: Экспертные системы

Сообщение ko4evnik » 17 дек 2010 21:19

al_mt писал(а):"Делегирование интеллекта".
есть такое, "Усилители интеллекта" :
IA - Intellect Amplifier, в противоположность AI, Artifical Intelligence.

http://en.wikipedia.org/wiki/Intelligence_amplification
al_mt писал(а): Софт делегирующий интеллект должен быть рассчитан на лиц с минимально-возможным для homo sapiens интеллектом.
=>
Weak human + machine + better process was superior to a strong computer alone and, more remarkably, superior to a strong human + machine + inferior process.

Аватара пользователя
al_mt
Сообщения: 11353
Зарегистрирован: 19 апр 2010 10:30
Откуда: Таганрог

Re: Экспертные системы

Сообщение al_mt » 18 дек 2010 15:24

Чибрикин Илья писал(а):Давайте обсудить наколеночную возможность реализации последнего пункта.
Прямо сейчас. Задача полуавтоматического парсинга торговых сайтов, с целью утягивания каталогов товаров.
Работать должно так: менеджер (эксперт) показывает на примере одной/двух страниц что и как парсить, система автоматически сочиняет набор правил, по которым далее автоматически должен происходить парсинг, оценка страниц на соответствие шаблонам и контроль верности парсинга.

ИМХО:
"Усилитель Интеллекта" = "Делегирование Интеллекта" + "Целеполагание"

Если у непосредственного исполнителя целеполагание не совпадает с целеполаганием источника интеллекта, то ни о каком "усилении" речь идти не может :D
- Суперинтендант, у Вас есть список всех Тайных Обществ?
- Конечно...

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 19 дек 2010 17:44

Ни хрена себе....
Задачка...
Давайте тогда пообсуждаем понятие шаблона.

Теплов

Re: Экспертные системы

Сообщение Теплов » 19 дек 2010 17:53

Чибрикин Илья писал(а):Ни хрена себе....
Задачка...
Давайте тогда пообсуждаем понятие шаблона.
Шаблон - проекция "канона" на контекст, используемая в другом контексте.
:P

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 19 дек 2010 19:03

Э-э-э это для меня слишком сложно. "канон" это что? Подозреваю что это не фотоаппарат Cannon.
Но сама постановка задачи чрезвычайно инрересна, поскольку это мейстрим - преобразование данных в информацю, разложение, проектирование исходных данных на систему понятий (манагера в данном случае) с целью построения управляющего решения

Аватара пользователя
ko4evnik
Сообщения: 13376
Зарегистрирован: 11 апр 2010 16:25

Re: Экспертные системы

Сообщение ko4evnik » 19 дек 2010 22:20

al_mt писал(а):[
Прямо сейчас. Задача полуавтоматического парсинга торговых сайтов, с целью утягивания каталогов товаров.
Работать должно так: менеджер (эксперт) показывает на примере одной/двух страниц что и как парсить, система автоматически сочиняет набор правил, по которым далее автоматически должен происходить парсинг, оценка страниц на соответствие шаблонам и контроль верности парсинга.
а в чем эээ проблема? "стандартная" вполне задачка...

для ".Net 2.0 и около":
http://www.gotdotnet.ru/blogs/nesteruk/7282/

"полный-автомат" и кончено не обеспечишь, но "полу-автомат" - вполне...

Аватара пользователя
al_mt
Сообщения: 11353
Зарегистрирован: 19 апр 2010 10:30
Откуда: Таганрог

Re: Экспертные системы

Сообщение al_mt » 20 дек 2010 08:03

2Чибрикин Илья
Шаблон в данный момент представляет собой массив префиксов и постфиксов для каждого типа блоков. Например, для одиночного поля - преффиксы + одиночный постфикс.
Для таблицы - массив префиксов для всей таблицы + массив суффиксов для всей таблицы, внутрь вложены префиксы и постфиксы для строк и ячеек. Содежимое каждой выявленной ячейки парсится списком шаблонов одиночных полей.
Как-то так...


2ko4evnik
Так и есть. Но начальству - виднее ;)
- Суперинтендант, у Вас есть список всех Тайных Обществ?
- Конечно...

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 20 дек 2010 09:22

Э-э-э други, моя тупая.
Делайте скидку.
Я правильно понимаю, что задача "контекстной фильтрации вместе с построением правил" является штатной фичей .Net 2.0?

Аватара пользователя
al_mt
Сообщения: 11353
Зарегистрирован: 19 апр 2010 10:30
Откуда: Таганрог

Re: Экспертные системы

Сообщение al_mt » 20 дек 2010 10:28

в Net 2.0 есть API для этого дела. Насчёт "фичи" - это понты. Там фичевого, только работа с иерархией DOM и эмулятор браузера.
Мне это нафик не надо, ибо я пишу на java-script + php
- Суперинтендант, у Вас есть список всех Тайных Обществ?
- Конечно...

Аватара пользователя
ko4evnik
Сообщения: 13376
Зарегистрирован: 11 апр 2010 16:25

Re: Экспертные системы

Сообщение ko4evnik » 20 дек 2010 18:49

Чибрикин Илья писал(а):Э-э-э други, моя тупая.
Делайте скидку.
Я правильно понимаю, что задача "контекстной фильтрации вместе с построением правил" является штатной фичей .Net 2.0?
не. "формулировать правила" для контекстной фильтрации придется таки самому. но возможно это на широком круге инструментов - хучь на C#, хучь на F#, хучь на Python и т.д. и т.п..

на .Net просто написано достаточное количество инструментов чтобы "на скотче, соплях и веревочках" такую систему формулирования правил создать.

конкретно на Net2.0 - написана полезная делу библиотека Watin. (что, етыть ее в качель, является ограничением, ибо Net2.0 - это два поколения назад - 2005 год. нынче в моде Net4.0, но корректно ли работает Watin под ней - вопрос ).
al_mt писал(а):в Net 2.0 есть API для этого дела. Насчёт "фичи" - это понты. Там фичевого, только работа с иерархией DOM и эмулятор браузера.
в Net 3.0/4.0 - API разных существенно больше и они жирнее.
DOM - вообще прошлый век. нынче для ковыряния XML пригоднее LINQ и функциональные языки.

но обратная совместимость и саппорт устаревающих решений хромает...

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 21 дек 2010 10:19

Коллеги, имею вопрос. Вчерась потолковал с народом. Задача контекстной фильтрации большого объема документов по заданным правилам (привет Яндексу) весьма востребована. Но денег не дадут.
Вопрос, вытекающий из вышесказанного. Я правильно понимаю, что все выше приведенные технические средства работают для исходных данных в гипертекстовой разметке? Что текст уровня PLAIN ASCII так прогнать невозможно?

Аватара пользователя
al_mt
Сообщения: 11353
Зарегистрирован: 19 апр 2010 10:30
Откуда: Таганрог

Re: Экспертные системы

Сообщение al_mt » 21 дек 2010 12:07

А ещё .Net категорически неприемлем по причине привязки к MS. Завтра у ихнего менеджмента в очередной раз снесёт крышу и весь свеженаписанный на .Net код можно будет нести на свалку :( В этом плане LAMP гораздо устойчивее и с поддержкой проще.
- Суперинтендант, у Вас есть список всех Тайных Обществ?
- Конечно...

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 21 дек 2010 15:04

Общая задача уже многократно мной озвучивалась.
Есть очень много данных (текстовых, цифровых и т.д), терабайты. На их основании нужно принимать решения. Но осмыслить (и даже прочитать) их физически невозможно. Поэтому происходит следующее - вырабатывается некий миф, вокруг которого и танцуют.
Соответственно меня интересуют альтернативы. Мою жену тоже.
У нее около 100 отчетов по 20 страниц каждый, на основании которых хотелось бы попробовать построить что-то приемлемое.
В общем - задача превращения данных в информацию, точнее интерпретация данных на системе понятий, с целью получения релизера динамического сюжета.
Илья
-------
Ммм.... :)

Задача конечно понятна, но слишком обща.

Некий аналог "маткада" но для анализа текстов??

Поиски корреляций в текстах, трансформация "плоского" текста в документы вида "список"("поле1"=>"контент1", "поле2"=>"контент2", ...) ??



Если взять за основу идею такого приложения, то:

1. Первое и самое главное - на какого пользователя оно должно быть рассчитано? Кто пользователь?

2. Что должно быть на входе? Понятно, что тексты, но какие? Текстовые файлы? Структурированные тексты?

3. Как задавать набор функций для обработки текстов?

4. Какие функции? Что они должны делать в идеале?

5. Что должно быть на выходе? Структурированные документы? Поисковые индексы? Графики корреляций?
--------

Отвечаю,какмогу:

Пользователь – квалифицированный предметный специалист, работающий в плотном контакте с разработчиком (сморится в зеркало).
Можно считать что на входе – файловая помойка из файловWORDиEXEL + картинки в море форматов с плохо прописанными связями.
Пока можно обсудить возможность поиска по образцу. Т.е. задается некий текстовый блок (но не строка как в Яндексе) и ищутся близкие к нему участки. Насколько я знаю, такие вещи существуют – всякие анти плагиатные системы.
В качестве первого приближения результатов – набор блоков текста с похожим содержанием. Пока можно обсуждать только это.
Вот такJ
-------

1. Не пойдёт. Это приведёт к сосотоянию "разработчик решает проблемы пользователя с помощью компьютера" Продукт должен быть независим от разработчика.
2. Я тоже так предполагаю. Хотя картинки - вельми отдельная проблема
3. Это как раз достаточно просто - был бы компутер хороший :) Есть бесплатные специализированные софтины, например sphinx или тот же яндексовский движок.
4. Проблема заключается в выражении "в первом приближении". Нужно хоть примерно представлять себе "что дальше?" А дальше - видимо смысловой поиск?

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 21 дек 2010 15:11

что есть такое яндексовский движок или упомянутый выше сфинкс?

Аватара пользователя
al_mt
Сообщения: 11353
Зарегистрирован: 19 апр 2010 10:30
Откуда: Таганрог

Re: Экспертные системы

Сообщение al_mt » 21 дек 2010 15:23

Чибрикин Илья писал(а):что есть такое яндексовский движок или упомянутый выше сфинкс?
Поисковые движки.
Ставишь, натравляешь на массив ссылок, они сосздают индексные базы. Затем производят поиск по оной базе.
- Суперинтендант, у Вас есть список всех Тайных Обществ?
- Конечно...

Чибрикин Илья
Сообщения: 11076
Зарегистрирован: 14 апр 2010 08:36

Re: Экспертные системы

Сообщение Чибрикин Илья » 21 дек 2010 15:31

Свободные? Может попробуем с этого начать?

Аватара пользователя
al_mt
Сообщения: 11353
Зарегистрирован: 19 апр 2010 10:30
Откуда: Таганрог

Re: Экспертные системы

Сообщение al_mt » 21 дек 2010 16:31

А толку? Это отличается от <Ctrl+F> в ворде только объёмами перелопачиваемого текста.
А начинать надо всегда с постановки задачи. Я по пунктикам расписал :)
- Суперинтендант, у Вас есть список всех Тайных Обществ?
- Конечно...

Ответить

Вернуться в «Золотая рыбка»