Testing AI Foundations
Този уъркшоп запознава участниците с основните принципи при тестването на машинно-обучителни системи и оценката на AI модели от QA перспектива. Чрез интерактивни и практически упражнения ще изследваме производителността на машинно-обучени класификационни модели, рисковете, свързани с bias и fairness, както и структурирани методи за валидиране на резултатите от генеративни AI модели.
Минимални технически изисквания към участниците: базова компютърна грамотност, интерес към AI/ML.
Уъркшопът се провежда онлайн, без запис.
Какво ще научиш
-
01
Да разбираш фундаментите на QA при машинно-обучителни и AI системи
-
02
Да обучиш и оцениш прост ML класификационен модел с реални данни
-
03
Да интерпретираш метрики като accuracy, precision, recall и F1 score
-
04
Да идентифицираш как предразсъдъци (bias) в тренировъчните данни може да повлияят върху реални решения (например при одобрение на кредити)
-
05
Да проектираш exploratory и метаморфни тестове за AI модели
-
06
Да изпълняваш A/B тестване и промпт-базирана валидация на LLM модели (напр. ChatGPT, Mistral, Llama2)
-
07
Да прилагаш структурирани QA чек листи за оценка на халюцинации, edge cases и качеството на отговорите, генерирани от AI
-
08
Да използваш peer review и рубрик-базирана оценка за тестване на способността на LLM моделите да правят самооценка
-
09
Да прилагаш структурирани QA техники, включително принципи, съгласувани с ISTQB, при практическото тестване на AI системи
За кого е подходящ този Workshop
-
QA инженери с малък или нулев опит в AI/ML тестване, които искат да усвоят основите на оценяването на ML модели и LLM чрез достъпни, структурирани техники без писане на код.
-
QA специалисти, които вече тестват ML или LLM системи, но искат да структурират, стандартизират и надградят подхода си към evaluation процеса.
-
Team Leads и QA Managers, които планират въвеждане или развитие на QA практики за AI проекти и имат нужда от ясна рамка за качество и надеждност.
-
Програмисти и технически специалисти, които работят по AI функционалности и искат да разберат как се оценява качеството и надеждността на моделите — без да се изисква писане на код по време на workshop-а.
-
Product Managers, Business Analysts и други роли, ангажирани с AI проекти, които искат практична рамка за оценяване и вземане на информирани решения относно AI решения.
Структура на сесиите
-
Testing AI Foundations
В уъркшопа се използват интуитивни, визуални инструменти, като не се изискват задълбочени програмни умения. Участниците ще проведат и структурирано A/B тестване на водещи езикови модели (например Llama2, Mistral), за да откриват халюцинации, пристрастия и грешки в разсъжденията като по този начин се изгражда мост между традиционния QA и prompt engineering
Tools
- Weka
- Google Teachable Machine
- ChatGPT / Gemini / Claude
- VS Code / Markdown Editors
- LM Studio (локално)
Weka и Google Teachable Machine за обучение и оценка на ML модели и създаване на класификатори; ChatGPT, Gemini и Claude за работа с prompt-ове и A/B тестване; VS Code и Markdown - редактори за prompt engineering и рубрики; LM Studio за локална работа с AI модели.
Подготовка
- Преди уъркшопа участниците ще получат детайлни инструкции как да подготвят всички акаунти и интеграции.
За лектора
-
Антон Ангелов
Co-founder @ Automate The Planet
Антон Ангелов е един от най-утвърдените лидери в QA общността в световен мащаб. Той е съосновател, управляващ директор и Chief Test Automation Architect в Automate The Planet – бутикова консултантска компания, специализирана в изграждане на стратегии и мащабируеми решения за автоматизация на тестването.
Създател е на BELLATRIX – съвременен модерен test automation framework за уеб, мобилни, десктоп и API тестове. Автор е на 8 бестселър книги, сред които Design Patterns for High-Quality Automated Tests и поредицата Automated Testing Unleashed. Има над 500 публикувани статии, 100+ образователни видеа за LambdaTest и е изнасял лекции на над 60 международни конференции, включително Selenium Conf, Appium Conf и Heisenbug.
В последните години работи активно в сферата на AI в QA – като създател на AI- базирани инструменти и асистенти за подпомагане на автоматизацията, рецензент на книгата Software Testing with Generative AI от Mark Winteringham и член на Advisory Board – Europe към DEVIES Awards, където оценява иновативни AI решения в реална среда.
Носител е на редица отличия, включително „QA на десетилетието“, „QA на годината“ и е включен в Топ 100 на IT лидерите в България.
За нас
Общността зад AI Workshops
DEV.BG е общността, която вече повече от 10 години свързва и развива технологичните специалисти в България — с над 1800 събития и десетки хиляди участници през годините. AI Workshops е нашата програма за практични AI обучения: кратки и интензивни формати, водени от доказани експерти, създадени за конкретни аудитории и различни нива на AI зрялост.