Кукушкин фильтр

Кукушкин фильтр (англ. cuckoo filter) — это эффективная по памяти вероятностная структура данных, которая используется для проверки, принадлежит ли элемент множеству, подобно фильтру Блума. Возможны ложноположительные результаты, но не ложноотрицательные — другими словами, запрос возвращает либо «возможно, принадлежит множеству» или «точно не принадлежит». Кукушкин фильтр также позволяет удалять существующие элементы, что не умеет фильтр Блума (если не использовать вариант с подсчётом, требующий больше памяти). В дополнение к этому для приложений, которые хранят много элементов и нацелены на умеренно низкую долю ложноположительных результатов, кукушкин фильтр позволяет добиться меньших затрат по памяти, чем оптимизированный по памяти фильтр Блума^[1].

Кукушкин фильтр впервые был описан в 2014 году^[2].

Кукушкин фильтр использует ${\displaystyle n}$-канальную множественно-ассоциативную хеш-таблицу, основанную на кукушкином хешировании, для хранения цифровых отпечатков всех элементов (в каждой корзине хеш-таблицы может храниться до ${\displaystyle n}$ записей). В частности, два индекса потенциальных корзин ${\displaystyle i}$ и ${\displaystyle j}$ в таблице для данного элемента ${\displaystyle x}$ вычисляются с помощью следующих двух хеш-функций (называется кукушкино хеширование с частичным ключом, англ. partial-key cuckoo hashing)^[2]):

${\displaystyle i=h_{1}(x)={\text{hash}}(x)}$

${\displaystyle j=h_{2}(x)=h_{1}(x)\oplus {\text{hash}}({\text{fingerprint}}(x))}$

Применение двух вышеуказанных хеш-функций для построения кукушкиных хеш-таблиц позволяет перемещать элементы только на основе цифрового отпечатка, когда узнать исходный элемент ${\displaystyle x}$ невозможно. В результате при вставке нового элемента, который требует перемещения существующего элемента ${\displaystyle y}$, другое возможное местоположение ${\displaystyle j}$ в таблице для элемента ${\displaystyle y}$, вытесненного из корзины ${\displaystyle i,}$ вычисляется по формуле

${\displaystyle j=i\oplus {\text{hash}}({\text{fingerprint}}(y))}$

Основанная на кукушкином хешировании с частичным ключом хеш-таблица может обеспечить как высокую степень использования (благодаря кукушкиному хешированию), так и компактность, поскольку сохраняются только цифровые отпечатки. Операции поиска и удаления просты. Существует максимум два местоположения, которые нужно проверить: ${\displaystyle h_{1}(x)}$ и ${\displaystyle h_{2}(x)}$. Если элемент найден, соответствующая операция поиска или удаления может быть выполнена за время ${\displaystyle O(1)}$. Более подробный теоретический анализ кукушкиного фильтра можно найти в литературе^[3][4].

Кукушкин фильтр похож на фильтр Блума тем, что они оба очень быстры и компактны, и оба они могут возвращать ложноположительные результаты:

• Оптимальные по памяти фильтры Блума используют ${\displaystyle 1{,}44\log _{2}(1/\varepsilon )}$ битов для каждого вставленного ключа, где ${\displaystyle \varepsilon }$ — частота ложноположительных срабатываний. Кукушкину фильтру необходимо ${\displaystyle (\log _{2}(1/\varepsilon )+2)/\alpha }$, где ${\displaystyle \alpha }$ — коэффициент загрузки хеш-таблицы, который может быть равен ${\displaystyle 95{,}5\,\%}$ в зависимости от настроек. Отметим, что теоретическая нижняя граница требует ${\displaystyle \log _{2}(1/\varepsilon )}$ битов для каждого элемента.
• При положительном результате поиска оптимальный по памяти фильтр Блума требует константное количество ${\displaystyle \log _{2}(1/\varepsilon )}$ операций доступа к битовому массиву, в то время как кукушкин фильтр требует не более двух таких операций.
• У кукушкина фильтра снижается скорость вставки после достижения порогового значения нагрузки, когда рекомендуется расширить таблицу. В фильтр Блума можно продолжать вставлять новые элементы, обратной стороной чего является высокая частота ложных срабатываний до расширения.

• Из кукушкина фильтра можно удалять только те элементы, которые точно были вставлены ранее.
• Вставка может завершиться неудачей, и потребуется заново вычислять хеш. Амортизированная сложность вставки по-прежнему ${\displaystyle O(1)}$^[5].

• Probabilistic Filters By Example — A tutorial comparing Cuckoo and Bloom filters