Історія створення музею почалась наприкінці ХІХ століття, коли у 1870 році представники передової інтелігенції поставили питання про створення в місті художнього музею. Але лише у 1921 році в Будинку науки та мистецтва була відкрита картинна галерея, яка в 1924 році ввійшла до складу природничо-історичного музею, перейменованого в 1938 році в краєзнавчий. Основу колекції склали картини, зібрані в передреволюційні роки, націоналізовані, а також пожертвувані любителями мистецтва. У 1926 році зібрання галереї налічувало 150 експонатів, з них – 26 оригіналів.
Під час фашистської окупації картинна галерея була повністю розграбована. В 1965 році відбулося друге народження картинної галереї, яка стала відділом обласного краєзнавчого музею та була розташована в приміщенні Спасо-Преображенської церкви, що врятувало її від руцнації. Після повернення церкви віруючим, рішенням виконавчого комітету міської ради народних депутатів від 13 лютого 1991 року №129 галереї було виділено приміщення пам’ятки-архітектури за адресою вул. К. Маркса (нині вул. Велика Перспективна), 60. Цей будинок, розташований в центральній частині міста, був побудований в 1897 році на замовлення купця І.Ш. Шполянського, і являє собою один із прикладів початкового періоду архітектурного стилю «модерн».
4 січня 1993 року, згідно розпорядження представника Президента України в Кіровоградській області, картинна галерея отримала статус Кіровоградського обласного художнього музею. 9 травня 2001 року, після завершення реставрації будівлі музею, що тривала з 1992 року, Кіровоградський обласний художній музей відкрив свої двері для відвідувачів.
В музейній колекції представлене сакральне мистецтво, твори західноєвропейського та російського мистецтва XVIII – початку XX століття, творчість художників-земляків, предмети декоративно-ужиткового мистецтва.
В експозиції зали сакрального мистецтва представлений іконопис ХVIII – початку ХХ століття, стародруки, елементи вбрання священнослужителів і т. ін. Одні з кращих експонатів залу ікони «Богородиця всім скорботним радість», «Трійця» та «Відвідини Преподобного Сергія Радонежського Пресвятою Богородицею з апостолами», що були написані у 1868-1871 роках в іконописній майстерні Свято-Троїцької Сергієвої Лаври на замовлення купців Акімових для Єлисаветграда. Окремі експозиційні комплекси присвячені іконам із зображенням Богородиці та Миколи Чудотворця. Одним з унікальних експонатів музею є мисливська корогва на оленячих рогах, на якій зображено св. Євстафія Плакиду. Корогва є двостороннім олійним живописом невідомого українського майстра ХVІІІ століття.
Окрасою музею є зала західно-європейського та російського мистецтва XVIII – початку XX ст., в якій представлено твори Іоганна Баптиста Лампі, Аполлінарія Горавського, Іполіта Робільяра, Іоганна Келера, Оскара Гофмана, Анрі-Франсуа Різенера та ін. В експозиції представлені твори художників-засновників Товариства пересувних художніх виставок: одного з родоначальників російського реалістичного пейзажу Олексія Саврасова, відомого майстра жанрових сцен Володимира Маковського, Івана Шишкіна та ін. Привертають увагу роботи Миколи Реріха, Євгена Лансере, Павла Свєдомського, Вільгельма Котарбинського, тощо.
Безцінним музейним надбанням є робота Войцеха Коссака «Кривава неділя в Петербурзі 9 січня 1905 року». Їй присвячений окрема експозиційна зала.
Кіровоградщина – батьківщина багатьох талантів, що прославили її на весь світ. Їх творчість представлена в експозиції зали «Художники-земляки».
Вагомий внесок у розвиток образотворчого мистецтва на теренах нашого краю вніс Феодосій Козачинський (1864-1922), який очолював вечірні рисувальні класи, звідки вийшла ціла плеяда видатних художників, зокрема, заслужений діяч мистецтв РРФСР, відомий художник-баталіст Петро Покаржевський (1889-1969); Амшей Нюренберг (1887-1979); заслужений діяч мистецтв Молдавської РСР Олександр Фойницький (1886-1973); один з найвідоміших художників-земляків Олександр Осмьоркін (1892-1953).
Творчість художників-земляків представлена також роботами першого директора науково-дослідної реставраційної майстерні в Україні Петра Кодьєва (1899-1968), Якова Калашника (1927-1967) – викладача Дніпропетровського художнього училища, основоположник українського необароко Юрія Луцкевича (1934-2001).
Мистецькою родзинкою зали є роботи Національної спілки художників України Степана Письменного (1925-2010) та народного художника України, голови правління Одеської обласної організації Національної спілки художників України Анатолія Горбенка (1944 р.н.).
Гордістю музею є його відділ – картинна галерея Петра Оссовського «Світ і Вітчизна», відкриття якого відбулося 18 травня 2007 року. Петро Павлович Оссовський (1925-2015) – видатний художник –земляк, народний художник СРСР, лауреат Державної премії СРСР, міжнародної премії ім. М. Шолохова, дійсний член Російської Академії мистецтв, один з основоположників «суворого стилю» в мистецтві. Твори митця зберігаються в Національному художньому музеї України, Київському національному музеї російського мистецтва, Донецькому обласному художньому музеї, Одеському обласному художньому музеї, Харківському художньому музеї, Кіровоградському обласному краєзнавчому музеї, Національному художньому музеї Республіки Білорусь, Державній Третьяковській галереї, Державному Російському музеї та в інших музеях, галереях, приватних зібраннях України, Росії, а також в чисельних закордонних колекціях.
В експозиції галереї представлені серії картин «Чехія», «Словаччина», «Болгарія», «Україна», «Польща», «Росія», «Куба», «Мексика», «Слов’янські портрети», «Мати і батько».
Важливе місце в музейній експозиції займають твори митців, що стали корифеями образотворчого мистецтва на Кіровоградщині. Це твори заслуженого художника України Бориса Вінтенка (1927-2002), Володимира Федорова (1920-1986), Броніслава Домашина (1927-2000), Миколи Бондаренка (1914-2000), Олександра Логвинюка (1936-2004), Юрія Іващенка (1929-1990), голови правління Кіровоградського осередку Національної спілки художників України, народного художника України Михайла Надєждіна (1935 р.н.).
Серед перлин вітчизняного мистецтва в зібранні музею представлені твори таких видатних українських художників як Микола Глущенко (1901-1977), Тетяна Яблонська (1917-2005), Сергій Шишко (1911-1997), Йосип Бокшай (1891-1975), Василь Касіян (1896-1976), Михайло Божій (1911-1990), Федір Захаров (1919-1994), Костянтин Ломикін (1924-1994), Олександр Данченко (1926-1993), Михайло Дерегус (1904-1997), Євген Кібрик (1906-1978).
В експозиції декоративно-ужиткового мистецтва представлено вишивка, кераміка, ткацтво, предмети побуту.
Діяльність музею є багатогранною та різноманітною. Музей активно співпрацює з Національно науково-дослідним реставраційним центром України та його філіями. За останні роки здійснено науково-дослідні та реставраційні роботи понад 100 унікальних музейних предметів. Починаючи з 2009 року музей є одним з організаторів Великоднього благодійного аукціону – благодійного продажу картин, безкоштовно наданих художниками, меценатами, галереями.
Співробітники музею беруть участь у міжнародних проектах, зокрема, протягом 2006-2009 років заклад був учасником українсько-нідерландського проекту Матра/Музеї України. З 2008 року музей є регіональним осередком українського національного комітету Міжнародної ради музеїв (ICOM України).
Сьогодні Кіровоградський обласний художній музей є провідним закладом культури та мистецькою візитівкою краю.