Функции хэширования
Функции хэширования могут использоваться для детерминированного псевдослучайного разбрасывания элементов.
Simhash – это хеш-функция, которая для близких значений возвращает близкий хеш.
halfMD5
Интерпретирует все входные параметры как строки и вычисляет хэш MD5 для каждой из них. Затем объединяет хэши, берет первые 8 байт хэша результирующей строки и интерпретирует их как значение типа UInt64
с big-endian порядком байтов.
halfMD5(par1, ...)
Функция относительно медленная (5 миллионов коротких строк в секунду на ядро процессора). По возможности, используйте функцию sipHash64 вместо неё.
Аргументы
Функция принимает переменное число входных параметров. Аргументы могут быть любого поддерживаемого типа данных.
Возвращаемое значение
Значение хэша с типом данных UInt64.
Пример
SELECT halfMD5(array('e','x','a'), 'mple', 10, toDateTime('2019-06-15 23:00:00')) AS halfMD5hash, toTypeName(halfMD5hash) AS type;
┌────────halfMD5hash─┬─type───┐
│ 186182704141653334 │ UInt64 │
└────────────────────┴────────┘
MD4
Вычисляет MD4 от строки и возвращает полученный набор байт в виде FixedString(16).
MD5
Вычисляет MD5 от строки и возвращает полученный набор байт в виде FixedString(16). Если вам не нужен конкретно MD5, а нужен неплохой криптографический 128-битный хэш, то используйте вместо этого функцию sipHash128. Если вы хотите получить такой же результат, как выдаёт утилита md5sum, напишите lower(hex(MD5(s))).
sipHash64
Генерирует 64-х битное значение SipHash.
sipHash64(par1,...)
Это криптографическая хэш-функция. Она работает по крайней мере в три раза быстрее, чем функция MD5.
Функция интерпретирует все входные параметры как строки и вычисляет хэш MD5 для каждой из них. Затем комбинирует хэши по следующему алгоритму.
- После хэширования всех входных параметров функция получает массив хэшей.
- Функция принимает первый и второй элементы и вычисляет хэш для массива из них.
- Затем функция принимает хэш-значение, вычисленное на предыдущем шаге, и третий элемент исходного хэш-массива, и вычисляет хэш для массива из них.
- Предыдущий шаг повторяется для всех остальных элементов исходного хэш-массива.
Аргументы
Функция принимает переменное число входных параметров. Аргументы могут быть любого поддерживаемого типа данных.
Возвращаемое значение
Значение хэша с типом данных UInt64.
Пример
SELECT sipHash64(array('e','x','a'), 'mple', 10, toDateTime('2019-06-15 23:00:00')) AS SipHash, toTypeName(SipHash) AS type;
┌──────────────SipHash─┬─type───┐
│ 13726873534472839665 │ UInt64 │
└──────────────────────┴────────┘
sipHash128
Генерирует 128-битное хеш-значение SipHash. Отличается от sipHash64 тем, что финальный xor-folding состояния делается до 128 бит.
Синтаксис
sipHash128(par1,...)
Аргументы
Функция принимает переменное число входных параметров. Аргументы могут быть любого поддерживаемого типа данных.
Возвращаемое значение
128-битное хеш-значение SipHash
.
Тип: FixedString(16).
Пример
Запрос:
SELECT hex(sipHash128('foo', '\x01', 3));
Результат:
┌─hex(sipHash128('foo', '', 3))────┐
│ 9DE516A64A414D4B1B609415E4523F24 │
└──────────────────────────────────┘
ripeMD160
Генерирует RIPEMD-160 хеш строки.
Синтаксис
ripeMD160(input)
Аргументы
input
: Строка String
Возвращаемое значение
- UInt256, где 160-битный хеш RIPEMD-160 хранится в первых 20 байтах. Оставшиеся 12 байт заполняются нулями.
Пример
Используйте функцию hex для представления результата в виде строки с шестнадцатеричной кодировкой
Запрос:
SELECT hex(ripeMD160('The quick brown fox jumps over the lazy dog'));
Результат:
┌─hex(ripeMD160('The quick brown fox jumps over the lazy dog'))─┐
│ 37F332F68DB77BD9D7EDD4969571AD671CF9DD3B │
└───────────────────────────────────────────────────────────────┘
cityHash64
Генерирует 64-х битное значение CityHash.
cityHash64(par1,...)
Это не криптографическая хэш-функция. Она использует CityHash алгоритм для строковых параметров и зависящую от реализации быструю некриптографическую хэш-функцию для параметров с другими типами данных. Функция использует комбинатор CityHash для получения конечных результатов.
Аргументы
Функция принимает переменное число входных параметров. Аргументы могут быть любого поддерживаемого типа данных.
Возвращаемое значение
Значение хэша с типом данных UInt64.
Примеры
Пример вызова:
SELECT cityHash64(array('e','x','a'), 'mple', 10, toDateTime('2019-06-15 23:00:00')) AS CityHash, toTypeName(CityHash) AS type;
┌─────────────CityHash─┬─type───┐
│ 12072650598913549138 │ UInt64 │
└──────────────────────┴────────┘
А вот так вы можете вычислить чексумму всей таблицы с точностью до порядка строк:
SELECT groupBitXor(cityHash64(*)) FROM table
intHash32
Вычисляет 32-битный хэш-код от целого числа любого типа. Это сравнительно быстрая не криптографическая хэш-функция среднего качества для чисел.
intHash64
Вычисляет 64-битный хэш-код от целого числа любого типа. Работает быстрее, чем intHash32. Качество среднее.
SHA1, SHA224, SHA256, SHA512
Вычисляет SHA-1, SHA-224, SHA-256, SHA-512 хеш строки и возвращает полученный набор байт в виде FixedString.
Синтаксис
SHA1('s')
...
SHA512('s')
Функция работает достаточно медленно (SHA-1 — примерно 5 миллионов коротких строк в секунду на одном процессорном ядре, SHA-224 и SHA-256 — примерно 2.2 миллионов).
Рекомендуется использовать эти функции лишь в тех случаях, когда вам нужна конкретная хеш-функция и вы не можете её выбрать.
Даже в этих случаях рекомендуется применять функцию офлайн — заранее вычисляя значения при вставке в таблицу, вместо того чтобы применять её при выполнении SELECT
.
Параметры
s
— входная строка для вычисления хеша SHA. String.
Возвращаемое значение
- Хеш SHA в виде шестнадцатеричной некодированной строки FixedString. SHA-1 хеш как FixedString(20), SHA-224 как FixedString(28), SHA-256 — FixedString(32), SHA-512 — FixedString(64).
Тип: FixedString.
Пример
Используйте функцию hex для представления результата в виде строки с шестнадцатеричной кодировкой.
Запрос:
SELECT hex(SHA1('abc'));
Результат:
┌─hex(SHA1('abc'))─────────────────────────┐
│ A9993E364706816ABA3E25717850C26C9CD0D89D │
└──────────────────────────────────────────┘
BLAKE3
Вычисляет BLAKE3 хеш строки и возвращает полученный набор байт в виде FixedString.
Синтаксис
BLAKE3('s')
Данная криптографическая функция интегрирована в ClickHouse из Rust-библиотеки. Функция работает сравнительно быстро, показывая в 2 раза более быстрые результаты по сравнению с SHA-2, генерируя хеши аналогичной SHA-256 длины.
Параметры
- s - входная строка для вычисления хеша BLAKE3. String.
Возвращаемое значение
- Хеш BLAKE3 в виде шестнадцатеричной строки, имеющей тип FixedString(32).
Тип: FixedString.
Пример
Используйте функцию hex для представления результата в виде строки с шестнадцатеричной кодировкой.
Запрос:
SELECT hex(BLAKE3('ABC'))
Результат:
┌─hex(BLAKE3('ABC'))───────────────────────────────────────────────┐
│ D1717274597CF0289694F75D96D444B992A096F1AFD8E7BBFA6EBB1D360FEDFC │
└──────────────────────────────────────────────────────────────────┘
URLHash(url[, N])
Быстрая не криптографическая хэш-функция неплохого качества для строки, полученной из URL путём некоторой нормализации.
URLHash(s)
- вычислить хэш от строки без одного завершающего символа /
, ?
или #
на конце, если там такой есть.
URLHash(s, N)
- вычислить хэш от строки до N-го уровня в иерархии URL, без одного завершающего символа /
, ?
или #
на конце, если там такой есть.
Уровни аналогичные URLHierarchy. Функция специфична для Яндекс.Метрики.
farmFingerprint64
farmHash64
Создает 64-битное значение FarmHash, независимое от платформы (архитектуры сервера), что важно, если значения сохраняются или используются для разбиения данных на группы.
farmFingerprint64(par1, ...)
farmHash64(par1, ...)
Эти функции используют методы Fingerprint64
и Hash64
из всех доступных методов.
Аргументы
Функция принимает переменное число входных параметров. Аргументы могут быть любого поддерживаемого типа данных.
Возвращаемое значение
Значение хэша с типом данных UInt64.
Пример
SELECT farmHash64(array('e','x','a'), 'mple', 10, toDateTime('2019-06-15 23:00:00')) AS FarmHash, toTypeName(FarmHash) AS type;
┌─────────────FarmHash─┬─type───┐
│ 17790458267262532859 │ UInt64 │
└──────────────────────┴────────┘
javaHash
Вычисляет JavaHash от строки. JavaHash
не отличается ни скоростью, ни качеством, поэтому эту функцию следует считать устаревшей. Используйте эту функцию, если вам необходимо получить значение хэша по такому же алгоритму.
SELECT javaHash('')
Возвращаемое значение
Хэш-значение типа Int32
.
Тип: javaHash
.
Пример
Запрос:
SELECT javaHash('Hello, world!');
Результат:
┌─javaHash('Hello, world!')─┐
│ -1880044555 │
└───────────────────────────┘
javaHashUTF16LE
Вычисляет JavaHash от строки, при допущении, что строка представлена в кодировке UTF-16LE
.
Синтаксис
javaHashUTF16LE(stringUtf16le)
Аргументы
stringUtf16le
— строка вUTF-16LE
.
Возвращаемое значение
Хэш-значение типа Int32
.
Тип: javaHash
.
Пример
Верный запрос для строки кодированной в UTF-16LE
.
Запрос:
SELECT javaHashUTF16LE(convertCharset('test', 'utf-8', 'utf-16le'));
Результат:
┌─javaHashUTF16LE(convertCharset('test', 'utf-8', 'utf-16le'))─┐
│ 3556498 │
└──────────────────────────────────────────────────────────────┘
hiveHash
Вычисляет HiveHash
от строки.
SELECT hiveHash('')
HiveHash
— это результат JavaHash с обнулённым битом знака числа. Функция используется в Apache Hive вплоть до версии 3.0.
Возвращаемое значение
Хэш-значение типа Int32
.
Тип: hiveHash
.
Пример
Запрос:
SELECT hiveHash('Hello, world!');
Результат:
┌─hiveHash('Hello, world!')─┐
│ 267439093 │
└───────────────────────────┘
metroHash64
Генерирует 64-х битное значение MetroHash.
metroHash64(par1, ...)
Аргументы
Функция принимает переменное число входных параметров. Аргументы могут быть любого поддерживаемого типа данных.
Возвращаемое значение
Значение хэша с типом данных UInt64.
Пример
SELECT metroHash64(array('e','x','a'), 'mple', 10, toDateTime('2019-06-15 23:00:00')) AS MetroHash, toTypeName(MetroHash) AS type;
┌────────────MetroHash─┬─type───┐
│ 14235658766382344533 │ UInt64 │
└──────────────────────┴────────┘
jumpConsistentHash
Вычисляет JumpConsistentHash от значения типа UInt64. Имеет два параметра: ключ типа UInt64 и количество бакетов. Возвращает значение типа Int32. Дополнительные сведения смотрите по ссылке: JumpConsistentHash
murmurHash2_32, murmurHash2_64
Генерирует значение MurmurHash2.
murmurHash2_32(par1, ...)
murmurHash2_64(par1, ...)
Аргументы
Обе функции принимают переменное число входных параметров. Аргументы могут быть любого поддерживаемого типа данных.
Возвращаемое значение
- Функция
murmurHash2_32
возвращает значение типа UInt32. - Функция
murmurHash2_64
возвращает значение типа UInt64.
Пример
SELECT murmurHash2_64(array('e','x','a'), 'mple', 10, toDateTime('2019-06-15 23:00:00')) AS MurmurHash2, toTypeName(MurmurHash2) AS type;
┌──────────MurmurHash2─┬─type───┐
│ 11832096901709403633 │ UInt64 │
└──────────────────────┴────────┘
gccMurmurHash
Вычисляет 64-битное значение MurmurHash2, используя те же hash seed, что и gcc.
Синтаксис
gccMurmurHash(par1, ...);
Аргументы
par1, ...
— переменное число параметров. Каждый параметр может быть любого из поддерживаемых типов данных.
Возвращаемое значение
- Вычисленный хэш-код.
Тип: UInt64.
Примеры
Запрос:
SELECT
gccMurmurHash(1, 2, 3) AS res1,
gccMurmurHash(('a', [1, 2, 3], 4, (4, ['foo', 'bar'], 1, (1, 2)))) AS res2
Результат:
┌─────────────────res1─┬────────────────res2─┐
│ 12384823029245979431 │ 1188926775431157506 │
└──────────────────────┴─────────────────────┘
murmurHash3_32, murmurHash3_64
Генерирует значение MurmurHash3.
murmurHash3_32(par1, ...)
murmurHash3_64(par1, ...)
Аргументы
Обе функции принимают переменное число входных параметров. Аргументы могут быть любого поддерживаемого типа данных.
Возвращаемое значение
- Функция
murmurHash3_32
возвращает значение типа UInt32. - Функция
murmurHash3_64
возвращает значение типа UInt64.
Пример
SELECT murmurHash3_32(array('e','x','a'), 'mple', 10, toDateTime('2019-06-15 23:00:00')) AS MurmurHash3, toTypeName(MurmurHash3) AS type;
┌─MurmurHash3─┬─type───┐
│ 2152717 │ UInt32 │
└─────────────┴────────┘
murmurHash3_128
Генерирует 128-битное хеш-значение MurmurHash3.
Синтаксис
murmurHash3_128(expr)
Аргументы
Возвращаемое значение
128-битное значение хеш-значение MurmurHash3
.
Тип: FixedString(16).
Пример
Запрос:
SELECT hex(murmurHash3_128('foo', 'foo', 'foo'));
Результат:
┌─hex(murmurHash3_128('foo', 'foo', 'foo'))─┐
│ F8F7AD9B6CD4CF117A71E277E2EC2931 │
└───────────────────────────────────────────┘
xxHash32, xxHash64
Вычисляет xxHash
от строки. Предлагается в двух вариантах: 32 и 64 бита.
SELECT xxHash32('')
OR
SELECT xxHash64('')
Возвращаемое значение
Хэш-значение типа Uint32
или Uint64
.
Тип: xxHash
.
Пример
Запрос:
SELECT xxHash32('Hello, world!');
Результат:
┌─xxHash32('Hello, world!')─┐
│ 834093149 │
└───────────────────────────┘
Смотрите также
ngramSimHash
Выделяет из ASCII строки отрезки (n-граммы) размером ngramsize
символов и возвращает n-граммовый simhash
. Функция регистрозависимая.
Может быть использована для проверки двух строк на схожесть вместе с функцией bitHammingDistance. Чем меньше расстояние Хэмминга между результатом вычисления simhash
двух строк, тем больше вероятность, что строки совпадают.
Синтаксис
ngramSimHash(string[, ngramsize])
Аргументы
string
— строка. String.ngramsize
— размер n-грамм. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.
Возвращаемое значение
- Значение хеш-функции от строки.
Тип: UInt64.
Пример
Запрос:
SELECT ngramSimHash('ClickHouse') AS Hash;
Результат:
┌───────Hash─┐
│ 1627567969 │
└────────────┘
ngramSimHashCaseInsensitive
Выделяет из ASCII строки отрезки (n-граммы) размером ngramsize
символов и возвращает n-граммовый simhash
. Функция регистронезависимая.
Может быть использована для проверки двух строк на схожесть вместе с функцией bitHammingDistance. Чем меньше расстояние Хэмминга между результатом вычисления simhash
двух строк, тем больше вероятность, что строки совпадают.
Синтаксис
ngramSimHashCaseInsensitive(string[, ngramsize])
Аргументы
string
— строка. String.ngramsize
— размер n-грамм. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.
Возвращаемое значение
- Значение хеш-функции от строки.
Тип: UInt64.
Пример
Запрос:
SELECT ngramSimHashCaseInsensitive('ClickHouse') AS Hash;
Результат:
┌──────Hash─┐
│ 562180645 │
└───────────┘
ngramSimHashUTF8
Выделяет из UTF-8 строки отрезки (n-граммы) размером ngramsize
символов и возвращает n-граммовый simhash
. Функция регистрозависимая.
Может быть использована для проверки двух строк на схожесть вместе с функцией bitHammingDistance. Чем меньше расстояние Хэмминга между результатом вычисления simhash
двух строк, тем больше вероятность, что строки совпадают.
Синтаксис
ngramSimHashUTF8(string[, ngramsize])
Аргументы
string
— строка. String.ngramsize
— размер n-грамм. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.
Возвращаемое значение
- Значение хеш-функции от строки.
Тип: UInt64.
Пример
Запрос:
SELECT ngramSimHashUTF8('ClickHouse') AS Hash;
Результат:
┌───────Hash─┐
│ 1628157797 │
└────────────┘
ngramSimHashCaseInsensitiveUTF8
Выделяет из UTF-8 строки отрезки (n-граммы) размером ngramsize
символов и возвращает n-граммовый simhash
. Функция регистронезависимая.
Может быть использована для проверки двух строк на схожесть вместе с функцией bitHammingDistance. Чем меньше расстояние Хэмминга между результатом вычисления simhash
двух строк, тем больше вероятность, что строки совпадают.
Синтаксис
ngramSimHashCaseInsensitiveUTF8(string[, ngramsize])
Аргументы
string
— строка. String.ngramsize
— размер n-грамм. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.
Возвращаемое значение
- Значение хеш-функции от строки.
Тип: UInt64.
Пример
Запрос:
SELECT ngramSimHashCaseInsensitiveUTF8('ClickHouse') AS Hash;
Результат:
┌───────Hash─┐
│ 1636742693 │
└────────────┘
wordShingleSimHash
Выделяет из ASCII строки отрезки (шинглы) из shinglesize
слов и возвращает шингловый simhash
. Функция регистрозависимая.
Может быть использована для проверки двух строк на схожесть вместе с функцией bitHammingDistance. Чем меньше расстояние Хэмминга между результатом вычисления simhash
двух строк, тем больше вероятность, что строки совпадают.
Синтаксис
wordShingleSimHash(string[, shinglesize])
Аргументы
string
— строка. String.shinglesize
— размер словесных шинглов. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.
Возвращаемое значение
- Значение хеш-функции от строки.
Тип: UInt64.
Пример
Запрос:
SELECT wordShingleSimHash('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).') AS Hash;
Результат:
┌───────Hash─┐
│ 2328277067 │
└────────────┘
wordShingleSimHashCaseInsensitive
Выделяет из ASCII строки отрезки (шинглы) из shinglesize
слов и возвращает шингловый simhash
. Функция регистронезависимая.
Может быть использована для проверки двух строк на схожесть вместе с функцией bitHammingDistance. Чем меньше расстояние Хэмминга между результатом вычисления simhash
двух строк, тем больше вероятность, что строки совпадают.
Синтаксис
wordShingleSimHashCaseInsensitive(string[, shinglesize])
Аргументы
string
— строка. String.shinglesize
— размер словесных шинглов. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.
Возвращаемое значение
- Значение хеш-функции от строки.
Тип: UInt64.
Пример
Запрос:
SELECT wordShingleSimHashCaseInsensitive('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).') AS Hash;
Результат:
┌───────Hash─┐
│ 2194812424 │
└────────────┘
wordShingleSimHashUTF8
Выделяет из UTF-8 строки отрезки (шинглы) из shinglesize
слов и возвращает шингловый simhash
. Функция регистрозависимая.
Может быть использована для проверки двух строк на схожесть вместе с функцией bitHammingDistance. Чем меньше расстояние Хэмминга между результатом вычисления simhash
двух строк, тем больше вероятность, что строки совпадают.
Синтаксис
wordShingleSimHashUTF8(string[, shinglesize])
Аргументы
string
— строка. String.shinglesize
— размер словесных шинглов. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.
Возвращаемое значение
- Значение хеш-функции от строки.
Тип: UInt64.
Пример
Запрос:
SELECT wordShingleSimHashUTF8('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).') AS Hash;
Результат:
┌───────Hash─┐
│ 2328277067 │
└────────────┘
wordShingleSimHashCaseInsensitiveUTF8
Выделяет из UTF-8 строки отрезки (шинглы) из shinglesize
слов и возвращает шингловый simhash
. Функция регистронезависимая.
Может быть использована для проверки двух строк на схожесть вместе с функцией bitHammingDistance. Чем меньше расстояние Хэмминга между результатом вычисления simhash
двух строк, тем больше вероятность, что строки совпадают.
Синтаксис
wordShingleSimHashCaseInsensitiveUTF8(string[, shinglesize])
Аргументы
string
— строка. String.shinglesize
— размер словесных шинглов. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.
Возвращаемое значение
- Значение хеш-функции от строки.
Тип: UInt64.
Пример
Запрос:
SELECT wordShingleSimHashCaseInsensitiveUTF8('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).') AS Hash;
Результат:
┌───────Hash─┐
│ 2194812424 │
└────────────┘
ngramMinHash
Выделяет из ASCII строки отрезки (n-граммы) размером ngramsize
символов и вычисляет хеш для каждой n-граммы. Использует hashnum
минимальных хешей, чтобы вычислить минимальный хеш, и hashnum
максимальных хешей, чтобы вычислить максимальный хеш. Возвращает кортеж из этих хешей. Функция регистрозависимая.
Может быть использована для проверки двух строк на схожесть вместе с функцией tupleHammingDistance. Если для двух строк минимальные или максимальные хеши одинаковы, мы считаем, что эти строки совпадают.
Синтаксис
ngramMinHash(string[, ngramsize, hashnum])
Аргументы
string
— строка. String.ngramsize
— размер n-грамм. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.hashnum
— количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:6
. UInt8.
Возвращаемое значение
- Кортеж с двумя хешами — минимальным и максимальным.
Пример
Запрос:
SELECT ngramMinHash('ClickHouse') AS Tuple;
Результат:
┌─Tuple──────────────────────────────────────┐
│ (18333312859352735453,9054248444481805918) │
└────────────────────────────────────────────┘
ngramMinHashCaseInsensitive
Выделяет из ASCII строки отрезки (n-граммы) размером ngramsize
символов и вычисляет хеш для каждой n-граммы. Использует hashnum
минимальных хешей, чтобы вычислить минимальный хеш, и hashnum
максимальных хешей, чтобы вычислить максимальный хеш. Возвращает кортеж из этих хешей. Функция регистронезависимая.
Может быть использована для проверки двух строк на схожесть вместе с функцией tupleHammingDistance. Если для двух строк минимальные или максимальные хеши одинаковы, мы считаем, что эти строки совпадают.
Синтаксис
ngramMinHashCaseInsensitive(string[, ngramsize, hashnum])
Аргументы
string
— строка. String.ngramsize
— размер n-грамм. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.hashnum
— количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:6
. UInt8.
Возвращаемое значение
- Кортеж с двумя хешами — минимальным и максимальным.
Пример
Запрос:
SELECT ngramMinHashCaseInsensitive('ClickHouse') AS Tuple;
Результат:
┌─Tuple──────────────────────────────────────┐
│ (2106263556442004574,13203602793651726206) │
└────────────────────────────────────────────┘
ngramMinHashUTF8
Выделяет из UTF-8 строки отрезки (n-граммы) размером ngramsize
символов и вычисляет хеш для каждой n-граммы. Использует hashnum
минимальных хешей, чтобы вычислить минимальный хеш, и hashnum
максимальных хешей, чтобы вычислить максимальный хеш. Возвращает кортеж из этих хешей. Функция регистрозависимая.
Может быть использована для проверки двух строк на схожесть вместе с функцией tupleHammingDistance. Если для двух строк минимальные или максимальные хеши одинаковы, мы считаем, что эти строки совпадают.
Синтаксис
ngramMinHashUTF8(string[, ngramsize, hashnum])
Аргументы
string
— строка. String.ngramsize
— размер n-грамм. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.hashnum
— количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:6
. UInt8.
Возвращаемое значение
- Кортеж с двумя хешами — минимальным и максимальным.
Пример
Запрос:
SELECT ngramMinHashUTF8('ClickHouse') AS Tuple;
Результат:
┌─Tuple──────────────────────────────────────┐
│ (18333312859352735453,6742163577938632877) │
└────────────────────────────────────────────┘
ngramMinHashCaseInsensitiveUTF8
Выделяет из UTF-8 строки отрезки (n-граммы) размером ngramsize
символов и вычисляет хеш для каждой n-граммы. Использует hashnum
минимальных хешей, чтобы вычислить минимальный хеш, и hashnum
максимальных хешей, чтобы вычислить максимальный хеш. Возвращает кортеж из этих хешей. Функция регистронезависимая.
Может быть использована для проверки двух строк на схожесть вместе с функцией tupleHammingDistance. Если для двух строк минимальные или максимальные хеши одинаковы, мы считаем, что эти строки совпадают.
Синтаксис
ngramMinHashCaseInsensitiveUTF8(string [, ngramsize, hashnum])
Аргументы
string
— строка. String.ngramsize
— размер n-грамм. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.hashnum
— количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:6
. UInt8.
Возвращаемое значение
- Кортеж с двумя хешами — минимальным и максимальным.
Пример
Запрос:
SELECT ngramMinHashCaseInsensitiveUTF8('ClickHouse') AS Tuple;
Результат:
┌─Tuple───────────────────────────────────────┐
│ (12493625717655877135,13203602793651726206) │
└─────────────────────────────────────────────┘
ngramMinHashArg
Выделяет из ASCII строки отрезки (n-граммы) размером ngramsize
символов и возвращает n-граммы с минимальным и максимальным хешами, вычисленными функцией ngramMinHash с теми же входными данными. Функция регистрозависимая.
Синтаксис
ngramMinHashArg(string[, ngramsize, hashnum])
Аргументы
string
— строка. String.ngramsize
— размер n-грамм. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.hashnum
— количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:6
. UInt8.
Возвращаемое значение
- Кортеж из двух кортежей, каждый из которых состоит из
hashnum
n-грамм.
Тип: Tuple(Tuple(String), Tuple(String)).
Пример
Запрос:
SELECT ngramMinHashArg('ClickHouse') AS Tuple;
Результат:
┌─Tuple─────────────────────────────────────────────────────────────────────────┐
│ (('ous','ick','lic','Hou','kHo','use'),('Hou','lic','ick','ous','ckH','Cli')) │
└───────────────────────────────────────────────────────────────────────────────┘
ngramMinHashArgCaseInsensitive
Выделяет из ASCII строки отрезки (n-граммы) размером ngramsize
символов и возвращает n-граммы с минимальным и максимальным хешами, вычисленными функцией ngramMinHashCaseInsensitive с теми же входными данными. Функция регистронезависимая.
Синтаксис
ngramMinHashArgCaseInsensitive(string[, ngramsize, hashnum])
Аргументы
string
— строка. String.ngramsize
— размер n-грамм. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.hashnum
— количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:6
. UInt8.
Возвращаемое значение
- Кортеж из двух кортежей, каждый из которых состоит из
hashnum
n-грамм.
Тип: Tuple(Tuple(String), Tuple(String)).
Пример
Запрос:
SELECT ngramMinHashArgCaseInsensitive('ClickHouse') AS Tuple;
Результат:
┌─Tuple─────────────────────────────────────────────────────────────────────────┐
│ (('ous','ick','lic','kHo','use','Cli'),('kHo','lic','ick','ous','ckH','Hou')) │
└───────────────────────────────────────────────────────────────────────────────┘
ngramMinHashArgUTF8
Выделяет из UTF-8 строки отрезки (n-граммы) размером ngramsize
символов и возвращает n-граммы с минимальным и максимальным хешами, вычисленными функцией ngramMinHashUTF8 с теми же входными данными. Функция регистрозависимая.
Синтаксис
ngramMinHashArgUTF8(string[, ngramsize, hashnum])
Аргументы
string
— строка. String.ngramsize
— размер n-грамм. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.hashnum
— количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:6
. UInt8.
Возвращаемое значение
- Кортеж из двух кортежей, каждый из которых состоит из
hashnum
n-грамм.
Тип: Tuple(Tuple(String), Tuple(String)).
Пример
Запрос:
SELECT ngramMinHashArgUTF8('ClickHouse') AS Tuple;
Результат:
┌─Tuple─────────────────────────────────────────────────────────────────────────┐
│ (('ous','ick','lic','Hou','kHo','use'),('kHo','Hou','lic','ick','ous','ckH')) │
└───────────────────────────────────────────────────────────────────────────────┘
ngramMinHashArgCaseInsensitiveUTF8
Выделяет из UTF-8 строки отрезки (n-граммы) размером ngramsize
символов и возвращает n-граммы с минимальным и максимальным хешами, вычисленными функцией ngramMinHashCaseInsensitiveUTF8 с теми же входными данными. Функция регистронезависимая.
Синтаксис
ngramMinHashArgCaseInsensitiveUTF8(string[, ngramsize, hashnum])
Аргументы
string
— строка. String.ngramsize
— размер n-грамм. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.hashnum
— количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:6
. UInt8.
Возвращаемое значение
- Кортеж из двух кортежей, каждый из которых состоит из
hashnum
n-грамм.
Тип: Tuple(Tuple(String), Tuple(String)).
Пример
Запрос:
SELECT ngramMinHashArgCaseInsensitiveUTF8('ClickHouse') AS Tuple;
Результат:
┌─Tuple─────────────────────────────────────────────────────────────────────────┐
│ (('ckH','ous','ick','lic','kHo','use'),('kHo','lic','ick','ous','ckH','Hou')) │
└───────────────────────────────────────────────────────────────────────────────┘
wordShingleMinHash
Выделяет из ASCII строки отрезки (шинглы) из shinglesize
слов и вычисляет хеш для каждого шингла. Использует hashnum
минимальных хешей, чтобы вычислить минимальный хеш, и hashnum
максимальных хешей, чтобы вычислить максимальный хеш. Возвращает кортеж из этих хешей. Функция регистрозависимая.
Может быть использована для проверки двух строк на схожесть вместе с функцией tupleHammingDistance. Если для двух строк минимальные или максимальные хеши одинаковы, мы считаем, что эти строки совпадают.
Синтаксис
wordShingleMinHash(string[, shinglesize, hashnum])
Аргументы
string
— строка. String.shinglesize
— размер словесных шинглов. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.hashnum
— количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:6
. UInt8.
Возвращаемое значение
- Кортеж с двумя хешами — минимальным и максимальным.
Пример
Запрос:
SELECT wordShingleMinHash('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).') AS Tuple;
Результат:
┌─Tuple──────────────────────────────────────┐
│ (16452112859864147620,5844417301642981317) │
└────────────────────────────────────────────┘
wordShingleMinHashCaseInsensitive
Выделяет из ASCII строки отрезки (шинглы) из shinglesize
слов и вычисляет хеш для каждого шингла. Использует hashnum
минимальных хешей, чтобы вычислить минимальный хеш, и hashnum
максимальных хешей, чтобы вычислить максимальный хеш. Возвращает кортеж из этих хешей. Функция регистронезависимая.
Может быть использована для проверки двух строк на схожесть вместе с функцией tupleHammingDistance. Если для двух строк минимальные или максимальные хеши одинаковы, мы считаем, что эти строки совпадают.
Синтаксис
wordShingleMinHashCaseInsensitive(string[, shinglesize, hashnum])
Аргументы
string
— строка. String.shinglesize
— размер словесных шинглов. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.hashnum
— количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:6
. UInt8.
Возвращаемое значение
- Кортеж с двумя хешами — минимальным и максимальным.
Пример
Запрос:
SELECT wordShingleMinHashCaseInsensitive('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).') AS Tuple;
Результат:
┌─Tuple─────────────────────────────────────┐
│ (3065874883688416519,1634050779997673240) │
└───────────────────────────────────────────┘
wordShingleMinHashUTF8
Выделяет из UTF-8 строки отрезки (шинглы) из shinglesize
слов и вычисляет хеш для каждого шингла. Использует hashnum
минимальных хешей, чтобы вычислить минимальный хеш, и hashnum
максимальных хешей, чтобы вычислить максимальный хеш. Возвращает кортеж из этих хешей. Функция регистрозависимая.
Может быть использована для проверки двух строк на схожесть вместе с функцией tupleHammingDistance. Если для двух строк минимальные или максимальные хеши одинаковы, мы считаем, что эти строки совпадают.
Синтаксис
wordShingleMinHashUTF8(string[, shinglesize, hashnum])
Аргументы
string
— строка. String.shinglesize
— размер словесных шинглов. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.hashnum
— количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:6
. UInt8.
Возвращаемое значение
- Кортеж с двумя хешами — минимальным и максимальным.
Пример
Запрос:
SELECT wordShingleMinHashUTF8('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).') AS Tuple;
Результат:
┌─Tuple──────────────────────────────────────┐
│ (16452112859864147620,5844417301642981317) │
└────────────────────────────────────────────┘
wordShingleMinHashCaseInsensitiveUTF8
Выделяет из UTF-8 строки отрезки (шинглы) из shinglesize
слов и вычисляет хеш для каждого шингла. Использует hashnum
минимальных хешей, чтобы вычислить минимальный хеш, и hashnum
максимальных хешей, чтобы вычислить максимальный хеш. Возвращает кортеж из этих хешей. Функция регистронезависимая.
Может быть использована для проверки двух строк на схожесть вместе с функцией tupleHammingDistance. Если для двух строк минимальные или максимальные хеши одинаковы, мы считаем, что эти строки совпадают.
Синтаксис
wordShingleMinHashCaseInsensitiveUTF8(string[, shinglesize, hashnum])
Аргументы
string
— строка. String.shinglesize
— размер словесных шинглов. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.hashnum
— количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:6
. UInt8.
Возвращаемое значение
- Кортеж с двумя хешами — минимальным и максимальным.
Пример
Запрос:
SELECT wordShingleMinHashCaseInsensitiveUTF8('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).') AS Tuple;
Результат:
┌─Tuple─────────────────────────────────────┐
│ (3065874883688416519,1634050779997673240) │
└───────────────────────────────────────────┘
wordShingleMinHashArg
Выделяет из ASCII строки отрезки (шинглы) из shinglesize
слов и возвращает шинглы с минимальным и максимальным хешами, вычисленными функцией wordshingleMinHash с теми же входными данными. Функция регистрозависимая.
Синтаксис
wordShingleMinHashArg(string[, shinglesize, hashnum])
Аргументы
string
— строка. String.shinglesize
— размер словесных шинглов. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.hashnum
— количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:6
. UInt8.
Возвращаемое значение
- Кортеж из двух кортежей, каждый из которых состоит из
hashnum
шинглов.
Тип: Tuple(Tuple(String), Tuple(String)).
Пример
Запрос:
SELECT wordShingleMinHashArg('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).', 1, 3) AS Tuple;
Результат:
┌─Tuple─────────────────────────────────────────────────────────────────┐
│ (('OLAP','database','analytical'),('online','oriented','processing')) │
└───────────────────────────────────────────────────────────────────────┘
wordShingleMinHashArgCaseInsensitive
Выделяет из ASCII строки отрезки (шинглы) из shinglesize
слов и возвращает шинглы с минимальным и максимальным хешами, вычисленными функцией wordShingleMinHashCaseInsensitive с теми же входными данными. Функция регистронезависимая.
Синтаксис
wordShingleMinHashArgCaseInsensitive(string[, shinglesize, hashnum])
Аргументы
string
— строка. String.shinglesize
— размер словесных шинглов. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.hashnum
— количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:6
. UInt8.
Возвращаемое значение
- Кортеж из двух кортежей, каждый из которых состоит из
hashnum
шинглов.
Тип: Tuple(Tuple(String), Tuple(String)).
Пример
Запрос:
SELECT wordShingleMinHashArgCaseInsensitive('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).', 1, 3) AS Tuple;
Результат:
┌─Tuple──────────────────────────────────────────────────────────────────┐
│ (('queries','database','analytical'),('oriented','processing','DBMS')) │
└────────────────────────────────────────────────────────────────────────┘
wordShingleMinHashArgUTF8
Выделяет из UTF-8 строки отрезки (шинглы) из shinglesize
слов и возвращает шинглы с минимальным и максимальным хешами, вычисленными функцией wordShingleMinHashUTF8 с теми же входными данными. Функция регистрозависимая.
Синтаксис
wordShingleMinHashArgUTF8(string[, shinglesize, hashnum])
Аргументы
string
— строка. String.shinglesize
— размер словесных шинглов. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.hashnum
— количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:6
. UInt8.
Возвращаемое значение
- Кортеж из двух кортежей, каждый из которых состоит из
hashnum
шинглов.
Тип: Tuple(Tuple(String), Tuple(String)).
Пример
Запрос:
SELECT wordShingleMinHashArgUTF8('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).', 1, 3) AS Tuple;
Результат:
┌─Tuple─────────────────────────────────────────────────────────────────┐
│ (('OLAP','database','analytical'),('online','oriented','processing')) │
└───────────────────────────────────────────────────────────────────────┘
wordShingleMinHashArgCaseInsensitiveUTF8
Выделяет из UTF-8 строки отрезки (шинглы) из shinglesize
слов и возвращает шинглы с минимальным и максимальным хешами, вычисленными функцией wordShingleMinHashCaseInsensitiveUTF8 с теми же входными данными. Функция регистронезависимая.
Синтаксис
wordShingleMinHashArgCaseInsensitiveUTF8(string[, shinglesize, hashnum])
Аргументы
string
— строка. String.shinglesize
— размер словесных шинглов. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:3
. UInt8.hashnum
— количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от1
до25
. Значение по умолчанию:6
. UInt8.
Возвращаемое значение
- Кортеж из двух кортежей, каждый из которых состоит из
hashnum
шинглов.
Тип: Tuple(Tuple(String), Tuple(String)).
Пример
Запрос:
SELECT wordShingleMinHashArgCaseInsensitiveUTF8('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).', 1, 3) AS Tuple;
Результат:
┌─Tuple──────────────────────────────────────────────────────────────────┐
│ (('queries','database','analytical'),('oriented','processing','DBMS')) │
└────────────────────────────────────────────────────────────────────────┘