Премія імені К. І. Рубинського (перша в Україні премія імені бібліотекаря) заснована Вченою радою Харківського державного університету (нині Харківський національний університет імені В. Н. Каразіна) в лютому 1995 р. в ознаменування 190-річчя з дня заснування Центральної наукової бібліотеки вишу та в пам’ять про колишнього директора К. І. Рубинського, видатного українського бібліотекознавця.
Премією нагороджуються спеціалісти Центральної наукової бібліотеки та вчені Харківського університету, які зробили вагомий внесок у розвиток теорії та практики бібліотечної справи та історико-бібліографічних досліджень. Кандидатури лауреатів, висунуті бібліотекою та факультетом, затверджуються Вченою радою університету.
Лауреатами премії стали: бібліографи М. Г. Швалб, В. К. Мазманьянц (почесний лауреат), кандидат історичних наук Б. П. Зайцев (1995); завідувачка довідково-бібліографічного відділу ЦНБ В. Д. Прокопова, бібліограф Р. А. Ставинська (почесний лауреат), кандидат історичних наук С. М. Куделко (1997); бібліограф Н. М. Березюк, кандидат історичних наук С. І. Посохов (1999); завідувачка відділу наукової обробки документів і організації каталогів Л. Г. Богатирьова, доктор історичних наук В. І. Кадєєв (2001); заступник директора ЦНБ І. К. Журавльова, чл.-кор. НАН України, голова Бібліотечної ради ХНУ імені В. Н. Каразіна І. І. Залюбовський (2006); бібліограф С. Б. Глибицька, методист навчальної частини ХНУ імені В. Н. Каразіна Н. В. Аксьонова (2008); завідувачка відділу автоматизації та програмного забезпечення О. Ю. Самохвалова, завідувач відділу загальної та локальної мереж ХНУ імені В. Н. Каразіна Д. О. Кадніков (2010); бібліограф О. С. Журавльова, кандидат історичних наук С. Ю. Страшнюк (2012); оператор ЦНБ О. І. Тимченко, кандидат історичних наук О. В. Сучалкін (2014).
Видані біобібліографічні покажчики серії «Лауреати премії імені К. І. Рубинського», присвячені бібліографам М. Г. Швалбу, В. К. Мазманьянц, Р. А. Ставинській, Н. М. Березюк, В. Д. Прокоповій та вченим університету Б. П. Зайцеву, С. М. Куделко.
Лауреатами цієї премії стали також співробітники ЦНБ, які сприяли розвитку нових технологій, зокрема утворенню та подальшому розвитку електронного каталогу, створенню електронного архіву університету (Л. Г. Богатирьова, О. Ю. Самохвалова, Д. О. Кадніков, О. І. Тимченко).