yigal_s: (Default)
2011-09-04 01:47 pm
Entry tags:

немного хардкора

забавную штучку я раскопал, а потом и нашел по ссылке аналогичные наблюдения

http://groups.google.com/group/lock-free/browse_thread/thread/d7ac22f807d1d439


Возможно и похоже (я не проверял, у меня сейчас на виндах нет ни дебаггера ни даже С++, а дискуссия по ссылке чуток неадеквата), что сейчас под виндоуз невозможно написать 100% надёжный lock-free код, возвращающий память системе с помощью вызова free и подобного, а не возвращающий выделенную память в пул, либо использующий сборщик мусора.

Причина несколько тонка - в результате освобождения памяти может произойти исключение при доступе по "старому" указателю. Само по себе это не беда - можно надеяться словить исключение и обработать его как факт того, что указатель устарел.

Проблема, однако, в том, что адресуясь по устаревшим указателям наугад можно нечаянно задеть guard-page другого треда, а это, как это не смешно, приводит через непродолжительное время к терминации процесса.

Т.е. я опять ж не проверял, но не исключено, что функция InterlockedPopEntrySList имеет неустранимый, в рамках старого ядра виндов, баг.

Вообще, чего б этому самому ядру не заботиться о том, чтобы не сносить аттрибут guard-pages если они не относятся к стеку текущего треда? Ведь уже так или иначе исключение по доступу к guard page стека делается в kernel-mode, так отчего бы и нет? Впрочем, тогда либо придется вводить дополнительный аттрибут памяти "stack guard page", либо тупо проверять, а не относится ли данный guard-page на который нечаянно наступили, к какому-нибудь еще стеку, что действительно довольно тупо. Опять же, если продвинутый пользователь желает использовать guard-pages сам для своих собственных структур данных (а не для стека треда), то чужой тред снова имеет чудесную возможность долбануть по этому guard-page, получить исключение и поднять лапки кверху, поскольку что делать с этим исключением он не знает.

В общем, весь концепт guard-page задизайнен, похож, немного криво.
----------------------------------
С другой стороны, как отмечают тут (ссылка аж с 2003-го года!) память может быть замаплена и на порты ввода-вывода устройств, и тут уже остается не жаловаться на кривой дизайн или имлементацию guard-page, а просто, видимо, обозначить, что lock-free синхронизацию принципиально нельзя делать без поддержки сборщика мусора (которому самому желательно быть lock-free :-))) или рецайлинга объектов (даже не памяти, а именно объектов, чтобы будущие адресации нечаянно не попали на переалллоцированный объект другого формата).

Вроде, подобные мысли время от времени попадались, но не так чтобы где-то я видел их четко и однозначно сформулированными. Надо будет что-нидь перечитать по теме.
--------------------
UPD: перечитал. был неправ. можно память и освобождать. без сборщика мусора. и без рецайклинга. но аккуратно. )))
yigal_s: (Default)
2011-09-02 11:42 am
Entry tags:

профайлинг

а вот если так поразмыслить, было бы неплохо, если для треда можно было бы получить не только время, проведенное им на процессоре, но и время, проведенное им в ожидании каких-то ресурсов (синхронизация, ввод-вывод, что там еще), в отличие от времени когда тред просто был отложен диспетчером задач.

Скажем, если я профайлю какую-то функцию, которая занимает 3 секунды абсолютного времени и 1 секунду процессоного, то было б неплохо знать, на что ушли оставшиеся две секунды - на ожидание ресурсов, или на ожидание свободного ядра. Как бы, время на ожидание свободного ядра можно смело выкидывать из статистики по профилированию аппликации, оно не интересно.

К примеру, если у меня есть некоторый конвейер (скажем, передающий и обрабатывающий данные слева направо), то ботлнек в нём можно найти, поискав элемент, на котором висит большую часть времени как тред-писатель, находящийся "слева" от элемента, так и тред-читатель ("справа"). Однако, статистика эта, где тред висит больше - на чтении (из элемента слева от него) или на записи в элемент справа от него, искажается тем, что иногда мы можем думать, что тред висит на записи или чтении, а он реально попросту выгружен диспетчером задач, а не блокирован на ресурсе.

Вроде бы ни юникс, ни винды такую статистику не дают.

----------

Еще вот непонятно, как учитывать время в профайлинге на многоядерном процессоре. Скажем, можно получить процессорное время проведенное в функции (функциях) превышающее реальное время пробега аппликации. С другой стороны при прогоне той же апплиации на одном ядре, процессорное время будет строго меньше абсолютного. Как бы эти данные свести к единообразному формату... Неясно.
yigal_s: (Default)
2011-08-17 07:03 pm
Entry tags:

С++ велик!

В это тяжело поверить, но какой-то программер умудрился написать код, который может прочитать значение приватного члена произвольного класса.

В рамках стандарта. :-)
yigal_s: (Default)
2011-08-17 12:36 pm
Entry tags:

программистское: на заметку руководителям проектов и прочим тимлидам

Чем хороший мультитредный программист отличается от плохого?

Плохой, как правило, знает, как написать мультитредный код, а хороший - как правило, не знает.

Если хорошему мультитредному программисту всё же удалось написать мультитредный код - это, скорее всего, признак падения его высокой квалификации. Более хороший мультитредный программист, скорее всего, не справился бы с этой задачей.

Если плохой мультитредный программист должен починить баг в коде, написанном другими плохими программистами - он как правило вставляет еще одну блокировку. Либо же убирает её. Хорошему в этом случае обычно приходится переписывать пол-проекта, меняя интерфейсы и архитектуру. В том редком случае, когда он всё же находит способ убедить себя, что он может починить этот баг.

Код, написанный плохим программистом никогда не войдет в дедлок, поскольку он для этого не имеет достаточно сложной системы блокировок. Код, написанный хорошим - никогда не войдет в дедлок, поскольку вообще не будет написан, в том числе по причине неустранимой возможности дедлоков и рейс-кондишенов.

Плохой программист умеет пользоваться мютексом, программист получше семафором, самый лучший из плохих - кондваром. Хороший программист знает, что он не умеет пользоваться ничем.

При правильной организации работы, плохой программист может написать код, работающий большую часть времени у большей части клиентов. Попытки хорошего программиста исправить ошибки в этом коде как правило могут привести только к потере этого ценного качества.

Некоторые хорошие мультитредные программисты умеют притворяться плохими и эмулировать их способности. При необходимости.
yigal_s: (Default)
2011-08-11 06:21 pm
Entry tags:

программерское наивное

А почему б не считать класс параметризованный приватным классом - опять же приватным...
а не ломать компиляцию почем зря.
yigal_s: (Default)
2010-11-17 08:37 pm
Entry tags:

C++ темплейтно-шизофренический

Имплементировал эмуляцию отсутствующих пока в С++ "template typedefs". Ничего оригинального, известный workaround. Вводим nested typedef, и рассматриваем внешний темплейтный класс как "темплейтный typedef"

Плюс, что небезынтересно, сделал универсальный адаптер, который позволяет работать с обычными темплейтами и с темплейтными typedefs единообразно. Это, как бы, уже возможность всерьёз использовать такие вещи в production code. Если не страшно. :-)))
Детали под катом )

Для развлечения можно еще написать код, который в зависимости от наличия или отсутствия некоторого enum делает с классом разные вещи. Т.е. различить два класса и сделать что-то осмысленное в обоих случаях (а не просто завалить компиляцию):
template <class T>
class Type1
{
public:
};

template <class T>
class Type2
{
public:
    enum { HREN };

};
yigal_s: (Default)
2010-11-13 03:53 am
Entry tags:

(no subject)

Товарищ Андрей Александреску, известный мне не только как гениальный С++ программист и извращенец в хорошем смысле этого слова, но и как автор довольно позорных статей и утверждений в области мультитреда (видно, сказалось головокружение от успехов), оказывается, еще в старом 2004-м году рекламировал на страницах DDJ идеи lock-free программирования, вполне подробно и внятно описывая его преимущества:

http://www.drdobbs.com/cpp/184401865

и даже написал продожение к этой статье "в соавторстве" с Магедом Майклом, звездой мирового уровня в этом самом lock-free.

http://www.drdobbs.com/184401890 (еще не прочитал)

Я последние пару месяцев потихоньку в этой области пытаюсь что-то почитывать - неплохая зарядка для мозгов. И вообще... доставляет.
yigal_s: (Default)
2010-10-09 03:46 am
Entry tags:

мультитред: интерлоки на дровах

внезапно оказалось, что пишу я код под процессор, у которого кроме операции InterlockedExchange ничего интерлоканного и нет. Это, значица, 2-е десятилетие 21го века на дворе, а у нас лошади не сёдланы даже.

Стало мне от этого немного грустно, и вздумалось реализовать все остальные интерлок-операции через эту единственную.

Начал я с InterlockedAdd. Вот такая штука получилась (пишу коряво, лишь чтобы идею передать). Не знаю, заработает ли, но по идее, должно ;-)

LONG InterlockedExchangeAdd(int *pval, int delta)
{
   int cur = *pval;
never_again:
   int result = cur + delta;
   int newVal = InterlockedExchange(pval, result); // aka asm xchg
   if( newVal != cur )
   {
       delta = newVal - cur;
       cur = newVal;
       goto never_again;
   }
   return cur; 
}

Теперь осталось сымплементировать InterlockedComparedExchange, и можно садиться писать диссертацию.
yigal_s: (Default)
2010-09-19 12:32 am
Entry tags:

программистское

до сих пор не осознавал четко, что время в каждом процессоре бежит по-своему и что никакого опреденного порядка доступа к памяти нет, а есть только видимость с точки зрения каждого процессора.

Ну, скажем, в Intel x86 можно считать, что на каждой команде записи в память стоит release-барьер, а на каждой команде чтения из памяти стоит acquire-барьер, а на каждой lock-инструкции стоит двусторонний барьер, но вот что означает слово "total" в предложении "locked instructions have a total order", и почему об этом вообще надо отдельно говорить, до меня как-то не доходило.

Вот, скажем, и по этой ссылке http://www.bluebytesoftware.com/blog/2008/07/17/LoadsCannotPassOtherLoadsIsAMyth.aspx далеко не последний человек в Микрософте и автор толстенной книжки по мультитреду выглядит смущенным фактом того, что не существует самого по себе "общего порядка", "total order" исполнения операций процессорами. Тот факт, что два процессора могут быть несогласны относительно того, кто из них раньше, а кто позже выполнил свою операцию записи в память он трактует как то, что операции чтения из памяти могут переупорядочиваться (мол, вопреки обещаниям компинии Intel и вопреки спекам процессора). Меж тем, никакого абсолютного "раньше и позже" тут нет, поскольку речь идет о чтении данных, записанных двумя разными процессорами. И в этом всё дело.
yigal_s: (Default)
2010-09-18 01:49 pm
Entry tags:

lock free or not lock free

На ньюсгруппе comp.programming.threads некий постоянный и вполне квалифицированный участник (гуру?) David Schwartz из года в год упорно твердит одно и то же: lock free "синхронизация" - неэффективна. Это при том, что последние годы только о ней, кажется, повсюду и говорят когда заходит речь о мультитрединге.

К сожалению, у меня не сохранились ссылки на примеры этих высказываний, но недавно, увидев очередное подобное заявление, я, кажется, понял, что детально он имеет в виду. Не знаю, прав он или нет, другие "гуру" его заявлений не подтверждают и особо не критикуют, но мнение крайне интересное.

А именно, как я понял, David утверждаетRead more... )
yigal_s: (Default)
2010-09-18 01:28 pm
Entry tags:

мультитред

Не первый и не второй раз уже убеждаюсь, что если принципы и идеи какого-то мультитредного кода не вполне понятны, а особо если они не вполне понятны при том, что код опубликован в полу-научной статье без достаточных объяснений, то нужно не пытаться эти принципы и идеи понять, а пытаться найти сценарии, которые валят этот код.

Это куда как проще оказывается. :-)))

У меня, скажем, как-то валялась статья, в которой я года 3 не мог разобраться. Ну не простой там был код, не простой. Пока, наконец, за одно утро, сидя в очереди к врачу, я не понял, что код - просто туфта. Т.е. показатель эффективности (отношение времени потраченного на разбор кода ко времени потраченному на его разгром) - несколько сотен. И если б это было единожды...
yigal_s: (Default)
2010-08-20 09:54 pm
Entry tags:

шифером шурша (программистское)

Интересно было б придумать два таких интерфейса A и B, состоящие из поднабора методов A1, A2 и B1 и B2, таких что по подинтерфейсам A1 был бы подтипом B1, а A2 был бы супертипом B2.

Вот, скажем, с точки зрения константных методов, квадрат есть подтип прямоугольника, Read more... )
yigal_s: (Default)
2009-04-26 05:38 pm
Entry tags:

программистское: В сущности, это ужас

А не забавно ли, мягко говоря, что начинающий программист на Win32 мало того, что не способен написать thread-safe синглетон, но и, в сущности, вряд ли сможет понять мало-мальски эффективное решение, не прослушав перед этим получасовую, как минимум, лекцию?

http://community.livejournal.com/ru_cpp/366267.html

Что важно, ситуация такая имеется только под Win32, поскольку на юниксовых pthreads есть статичиски-инцициализируемые критические секции, не говоря уже о давно существующем pthread_once, и программист может просто тупо пользоваться этими вещами и не забивать себе голову всякой платформенной эзотерикой.


Кстати 1: на Висте вещи вроде pthread_once тоже есть.
Кстати 2: fast_pthread_once
yigal_s: (Default)
2008-12-09 08:38 pm
Entry tags:

Лёд тронулся!

Оказывается, год назад Intel опубликовало спек на модель упорядочивания доступов к памяти своих процессоров IA-32 и x64 . Подробно описала каким образом доступы к памяти могут переупорядочиваться и как их можно насильно упорядочить.

И вот тут

http://www.justsoftwaresolutions.co.uk/threading/intel-and-amd-memory-ordering-defined.html

даже написали, что теперь из этого документа достоверно известно, что

Read more... )
yigal_s: (Default)
2008-12-09 05:43 pm
Entry tags:

(no subject)

В который раз немножко поговорили про тонкости мультитрединга на С и виндах.

http://community.livejournal.com/ru_cpp/347512.html
yigal_s: (Default)
2008-11-28 02:17 pm
Entry tags:

Микрософт - ты всегда думаешь о нас (программистское)

В кои-то веки я дорвался до GUI.

Удачным решением порадовал Микрософт программистов новой 64-битной платформы.
Теперь, если окно обрабатывает оконное сообщение, пришедшее из другой аппликации или даже из другого треда той же аппликации, и при этой обработке случается исключение (ну, например, такая мелочь как Access Violation), то аппликация пользователя вовсе не крешится, а продолжает себе работать как ни в чем не бывало.

Подробнее - исключение долетает до участка кода, пробрасывающего в окно "внешние" сообщения, и там окончательно поглощается, вообще не долетая до основного кода аппликации. Излишне говороить, что при поглощении UnhandledExceptionFilter не вызывается.

Кажется, подобной надежностью (толерантностью к исключениям) обладали раньше и COM сервера, теперь же и обычные пользовательские апплкации 64-х битной платформы. К сожалению, если оконное сообщение было послано тем же самым тредом, как это обычно бывает в GUI-программировании, то аппликация всё-таки может закрешиться, так как исключение уже никто по дороге не словит. Это может создать ложное впечатление о неработоспособности аппликации у QA и даже конечного пользователя. Надеюсь, в будущих версиях этот недочет будет исправлен.
yigal_s: (Default)
2008-01-16 06:18 pm
Entry tags:

Об ООП

Пора бы как-то разобраться с ООП и закрыть эту тему для себя. По возможности, окончательно. Предварительные выводы, скорее уж проектируемые направления работы:

1. Типы (интерфейсы, наследование классов от интерфейсов, правила переопределения функций в производных классах) есть более или менее удачная попытка реализовать строгую типизацию языков ООП. Неудачная типизация ограничивает возможности языка и ограничивает мышление программиста, воспитанного на основе её изучения. Чтобы разобраться в ООП, типизацию необходимо послать подальше.

2. Наследование (классов от других классов) есть некоторый (со своими возможными граблями) паттерн повторного использования кода, поддерживаемый языком. Вообще, ввод понятия класса есть опять же некий паттерн реализации минимальных функциональных элементов в ООП. Чтобы разобраться в ООП, идею наследования и классов желательно подвинуть в сторону.

3. ООП не универсально. Не всё ложится в его схему, и не должно ложиться. Даже моделирование объектов внешнего мира может не уложиться в конкретную ООП-схему. Может ли уложиться хоть в какую-то -- вопрос открытый. Им стоит заняться.

4. Правильное построение механизма наследования и типизации есть крайне нетривиальная задача. Только после проработки первых трёх пунктов имеет смысл ей как-то заняться.
yigal_s: (Default)
2008-01-04 12:13 pm
Entry tags:

мультитредные бурчалки

1. поразительно, как много людей, особо заточивших свой моск под MS Windows(tm) считают, что достаточно критических секций (на крайняк, read-write lock-ов) для того, чтобы писать практически что угодно в мультитреде. В чем они правы, так это в том, что на критических секциях действительно можно написать немало, и порой, можно написать относитльно нетривиальные вещи. И всё же... если такого человека спросить, хватит ли ему критических секций, чтобы написать всё, что угодно, то он, конечно же, немедленно вспомнит об...

2. Об Event-ах. Интересно было бы узнать детальную историю, кто и как додумался включить автоматические и мануальные Eventы в Windows. Кто. И как. И кто. Кто этот враг рода человеческого, и о чем думали в это время его коллеги? Наверное, Events появились в PL/1. Впрочем, были ли там мануальные Events? Были ли Events в DEC-овских операционных системах, откуда (из DEC) пришли разработчики NT Kernel? Придумал ли Events человек с хорошим бекраундом в электронике? (ведь ожидание event так напоминает ожидание фронта или уровня сигнала!)

3. Уж сколько лет существует .NET, Java, не говоря уже о POSIX. Но стоит произнести слово "conditional variable", в ответ, как правило, видишь лишь недоуменный взгляд. Потому что, как уже было отмечено, критических секций достаточно. Практически на всё. И это почти правда.

4. Попробуйте реализовать condvar под Windows. Ну попробуйте! Создатели ACE попробовали, даже статью написали об этом. О шести неправильных вариантах реализации и о седьмом. Потом оказалось, тоже неправильном. Всё-таки, другие люди потом придумали правильную реализацию. Они так говорят. Я им не очень верю, но всё равно преклоняюсь, ибо в том, что они написали, я вообще ничего пока понять не могу.

5. Впрочем, всё это суета. Ибо всё это уже давно очень слегка подустарело. О чем, опять же, промышленному кодеру знать и не обязательно. Промышленному кодеру освоить хотя бы The Little Book of Semaphores, потом отложить её в сторону и... снова заняться расстановкой критических секций в коде. Чтоб не сбоил, ага.
yigal_s: (Default)
2008-01-04 04:01 am
Entry tags:

Эвереттика от программирования

the term spaghetti stack is closely associated with implementations of programming languages that support continuations. Spaghetti stacks are used to implement the actual run-time stack containing variable bindings and other environmental features. When continuations must be supported, a function's local variables cannot be destroyed when that function returns: a saved continuation may later re-enter into that function, and will expect not only the variables there to be intact, but it will also expect the entire stack to be there, so it can return again! To resolve this problem, stack frames can be dynamically allocated in a spaghetti stack structure, and simply left behind to be garbage collected when no continuations refer to them any longer. This type of structure also solves both the upward and downward funarg problems, so first-class lexical closures are readily implemented in that substrate also.

via wikipedia
yigal_s: (Default)
2008-01-02 01:36 am
Entry tags:

научный программизм

http://mustread.ru/isbn/013507245x.html

"Фишка такая. Программы следует писать, не используя рекурсии, циклов и их заменителей. Вообще. Вместо этого следует использовать хрень под названием "катаморфизм"."

http://vewacs.livejournal.com/

кстати, обнаружилась:

The theory and practice of concurrency, Prentice Hall, 1998 [pdf]

вряд ли я это одолею, но вдруг?

+страница автора
http://web.comlab.ox.ac.uk/oucl/work/bill.roscoe/pubs.html