Black-DragonТут дело не в самих SSD, а в сетевых интерфейсах между хостом и луном и кэшах там и сям.
1. Сетевые интерфейсы: нынче вошел в моду iSCSI на гигабитке. Так вот, на основании экспериментов и опыта эксплуатации - 8 гигабиток по iSCSI даже близко по производительности не сравнятся даже с одним FC 8 Gb, хоть в иопсах, хоть на линейке

А причина одна - латентность. Ну просто Ethernet и FC как протоколы совершенно для разных целей предназначены и имеют разные приоритеты.
2. Кэши:
Получается довольно длинная и неприятная цепочка: кэш внутренней файловой системы СХД - блочный кэш СХД на запись/чтение - буферизация на сетевых интерфейсах - кэш гипервизора - кэш файловой системы ОС в виртуальной машине.
И каждый из этих кэшей работает не тупо, как выше и писал "прочитал и тут же поклал в кэш на всякий случай" (потому, что бэкап или снэпшот просто выметет сразу же всё и пойдут толпой кэш-миссы), а на основе некой статистики по наиболее часто читаемым и записываемым блокам .
Причём у каждого из кэшей имеется собственная логика предвыборки (read-ahead) (тут надо с умилением вспоминать простую и непротиворечивую логику adaptive read-ahead LSI MegaRAID'ов

) и write-back - это если включено. У той же vmWare и по сей день у кэша гипервизора write-back'а нету: надёжность превыше всего как бы.
Разумеется, логика этих кэшей построена на некоторых ожиданиях, иногда совершенно неоправданных на деле: ну откуда гостевой ВМ знать, что отдаваемый ей том на самом деле не локальный, а приходит по сети ? Если ей его прямо не пробросили, конечно.
Если этого мало - вспоминаем, что все эти кэши отнюдь не резиновые, и если объем часто читаемых и записываемых данных часто или постоянно превосходит объем этих кэшей - они "захлебываются", выдавая короткие пики производительности с последующими длительными просадками (пока то, что за кэшем, отработает закэшированные им операции ввода-вывода).
Уровни абстракции они такие уровни...
И это я еще про механизмы блокировок не вспоминаю
