Клуб Арсенал был основан в 1886 году на юго-востоке Лондона работниками Королевского арсенала Вулвича и первоначально назывался «Диал Сквер», но вскоре был переименован в «Королевский Арсенал». После получения клубом профессионального статуса его вновь переименовали в «Вулвич Арсенал». Фанаты также назвали клуб также «Вулвич Редс». «Вулвич Арсенал» вступил в Футбольную Лигу в 1893 году и стал первой южной командой, которая это сделала. Клуб стартовал во Втором дивизионе и в 1904 году пробился в Первый дивизион. Однако географическая удалённость клуба стала причиной низкой посещаемости матчей, что привело к финансовым проблемам. В 1913 году (вскоре после возвращения во Второй дивизион) клуб пересёк Темзу, чтобы занять новую арену — стадион «Хайбери», расположенный на севере Лондона. («Хайбери» был домашней ареной «Арсенала» вплоть до августа 2006 года, когда клубом был достроен новый 60-тысячный стадион «Эмирейтс».) Команда отбросила часть «Вулвич» из названия в следующем же 1914 году. Сезон 1919 года Арсенал закончил на 5 месте, но, тем не менее, был переведён в Первый дивизион в связи с финансовыми проблемами «Тоттенхэма».

В 1925 году на пост главного тренера Арсенала был назначен Герберт Чепмен. Под руководством Чепмена в 1924 году команда «Хаддерсфилд Таун» заняла первое место в лиге. Этот человек принёс Арсеналу первые минуты успеха. Его революционные тактика и способы тренировки, в сочетании со звёздными игроками, такими, как Алекс Джеймс и Клифф Бастин, помогли клубу стать доминирующим в 30-х годах. Между 1930 и 1938 Арсенал выиграл 5 раз в Первом дивизионе и дважды становился обладателем Кубка Англии, хотя Чепмен так и не увидел всех этих достижений, так как в 1934 году умер от пневмонии.

В 1970-ом году «пушкари» взяли первый Европейский трофей — Кубок Ярмарок (аналог Кубка УЕФА). В полуфинале турнира был повержен великий «Аякс», а в финале был разгромлен бельгийский «Андерлехт» (3:0).

В сезоне 1970-71 «канониры» впервые сделали дубль — стали чемпионами и взяли Кубок Англии. После этого тренер Ми не смог закрепить успех клуба. В сезоне 1971-72 они проиграли в финале Столетнего Кубка «Лидсу» (1:0) и стали лишь призерам в сезоне 1972-73. После этого результаты резко упали — 16-ое место в 1974-75, 17-ое в 1975-76. Ми был уволен, а новым тренером назначили экс-наставника «Тоттенхема» Тэрри Неилла.

Под руководством Неилла «Арсенал» стал потихоньку выкарабкиваться, за команду в то время выступала ирландская суперзвезда Лаэм Брэди. Канониры пока не могли соперничать с тогдашним законодателем мод «Ливерпулем», но к концу десятилетия они показали свой истинный характер. «Арсенал» принял участие в трех финалах Кубка Англии подряд — 1978, 1979, и 1980. Победа была лишь в 1979.

В то время «Канониры» уступили «Валенсии» финале Кубка Кубков. Лаэм Брэди перешел в «Ювентус», а у команды вновь начался спад. 10-ое место в сезоне 1982-83, поражение в финале Кубка Лиги против «Уолсолла». В ноябре 1983 Неилла пришлось уволить. Преемник Неилла Дон Хоу также не добился никаких успехов.

В 1994 клуб завоевал второй европейский трофей, в финале Кубка Кубков со счетом 1:0 повержена «Парма». В феврале Джорджа Грэма уволили, всплыла незаконная сделка с норвежским агентом Рьюном Ходжем (покупка датского полузащитника Джона Йенсена). Помощник Стюарт Хьюстон взял на себя функции главного тренера. «Арсенал» закончил чемпионат лишь на 12-ом месте. «Канониры» вновь достигли финала Кубка Кубков, но уступили «Реалу» из Сарагосы 2:1.

В команду пришел 44-летний француз Арсен Венгер. Он был уже известен миру своими успехами в клубе «Монако». С появлением в команде Венгера в «Арсенал» пришла целая группа французских игроков — Николя Анелька, Эммануэль Пети, Патрик Виера. Кроме того, ряды клуба пополнил голландский вингер Марк Овермарс. В тот же сезон команда финишировала третьей. В следующем сезоне Венгер завоевал уже серебро. А в сезоне 97-98 он привел клуб к победе в Премьер-лиге и Кубке Англии. В 1998 году в стан команды пришел Фредрик Льюнгберг, а в 1999 — Тьерри Анри. После триумфа у команды был небольшой спад. В последнем матче сезона 1998-99 они упустили чемпионство, вскоре уступили в полуфинале Кубка Англии. В 2000 году в финале кубка УЕФА турецкий «Галатасарай» в серии пенальти взял верх над «пушкарями». Потом последовало поражение в Кубке Англии от «Ливерпуля». В сезоне 2000-01 в четвертьфинале Лиги Чемпионов команду Арсена Венгера остановила испанская «Валенсия». Лишь в сезоне 2001-02 «Арсенал» пришел в норму. «Канониры» стали чемпионами и обладателями Кубка Англии. В 2002-03 «Арсенал» сумел удержать Кубок Англии в своих руках. Сезон 2003-04 стал рекордным для «Арсенала» — 26 побед, 12 ничьих и 0 поражений. Однако в других турнирах, «канониров» ждало разочарование. В чемпионате 2004-05 клуб стал лишь вторым, пропустив вперед «Челси». Зато уже в который раз стал обладателем Кубка Англии. Арсен Венгер до сих пор возглавляет «Арсенал». Специалисты в один голос называют его самым великим тренером за всю историю команды.

В июле 2008 года на официальном сайте клуба было проведено голосование среди болельщиков, по результатам которого нападающий Тьерри Анри был признан лучшим игроком за всю историю клуба.