From an Economy of Reporting to an Economy of Knowledge: Quality-Based Assessment Criteria for Kazakhstan’s Research Grant Programmes От экономики отчётности к экономике знаний: критерии оценки качества для грантовых программ Казахстана Есептілік экономикасынан білім экономикасына: Қазақстанның гранттық бағдарламалары үшін сапаны бағалау өлшемшарттары
AbstractАннотацияАңдатпа
The Constitution of the Republic of Kazakhstan adopted at the referendum of 15 March 2026 enshrined science and innovation as strategic priorities of the state and guaranteed freedom of scientific creativity, while a public appeal by Kazakhstani scientists framed the national choice as one between an «economy of knowledge» and an «economy of reporting». This policy brief argues that the underlying binary of trust versus control is a false one: the real task is to replace control of quantity with control of quality. Drawing on a companion review of systemic strains on the research enterprise (Kalendar, 2026) and on the international consensus codified in DORA (2013), the Leiden Manifesto (2015) and the CoARA agreement (2022), the brief translates these principles into twelve concrete changes across four points of the grant cycle application, execution, acceptance of results, and integrity infrastructure each anchored to a tested international precedent. It further proposes a three-phase implementation roadmap built around a pilot competition with pre-announced success criteria, an explicit register of risks and mitigations, and indicators by which the reform itself must be evaluated.
Конституция Республики Казахстан, принятая на референдуме 15 марта 2026 года, закрепила науку и инновации как стратегические направления деятельности государства и гарантировала свободу научного творчества, а публичное обращение казахстанских учёных сформулировало национальный выбор как выбор между «экономикой знаний» и «экономикой отчётности». В настоящей аналитической записке утверждается, что лежащая в основе этого выбора дилемма «доверие или контроль» ложна: действительная задача состоит в замене контроля количества контролем качества. Опираясь на сопутствующий обзор системных нагрузок на исследовательский процесс (Kalendar, 2026) и на международный консенсус, оформленный декларацией DORA (2013), Лейденским манифестом (2015) и соглашением CoARA (2022), записка переводит эти принципы в двенадцать конкретных изменений в четырёх точках грантового цикла заявка, выполнение, приёмка результатов и инфраструктура добросовестности, каждое из которых опирается на проверенный международный прецедент. Кроме того, предлагается трёхфазная дорожная карта внедрения, построенная вокруг пилотного конкурса с заранее объявленными критериями успеха, реестр рисков и мер, а также индикаторы, по которым должна оцениваться сама реформа.
2026 жылғы 15 наурыздағы референдумда қабылданған Қазақстан Республикасының Конституциясы ғылым мен инновацияларды мемлекет қызметінің стратегиялық бағыттары ретінде бекітіп, ғылыми шығармашылық еркіндігіне кепілдік берді, ал қазақстандық ғалымдардың жария үндеуі ұлттық таңдауды «білім экономикасы» мен «есептілік экономикасы» арасындағы таңдау ретінде тұжырымдады. Бұл талдамалық жазбада осы таңдаудың негізінде жатқан «сенім немесе бақылау» дилеммасының жалған екені дәлелденеді: нағыз міндет санды бақылауды сапаны бақылаумен алмастыру. Зерттеу саласына жүктелген жүйелік күйзелістерге арналған ілеспе шолуға (Kalendar, 2026) және DORA декларациясы (2013), Лейден манифесі (2015) мен CoARA келісімі (2022) арқылы бекітілген халықаралық консенсусқа сүйене отырып, жазба осы қағидаттарды гранттық циклдің төрт нүктесіндегі өтінім, орындау, нәтижелерді қабылдау және адалдық инфрақұрылымы он екі нақты өзгеріске аударады; олардың әрқайсысы сыналған халықаралық прецедентке сүйенеді. Сонымен қатар алдын ала жарияланған табыс өлшемшарттары бар пилоттық конкурсқа негізделген үш кезеңді енгізу жол картасы, тәуекелдер мен шаралар тізілімі және реформаның өзі бағалануға тиіс индикаторлар ұсынылады.
KeywordsКлючевые словаТүйін сөздер
1. Introduction: A Window of Opportunity 1. Окно возможностей и постановка задачи 1. Мүмкіндіктер терезесі және міндеттің қойылуы
The 2026 public appeal of Kazakhstani scientists poses the choice starkly: an economy of knowledge or an economy of reporting. The frame is politically powerful, yet it leaves unanswered a legitimate question of the state: what exactly is the budget paying for, and how can one verify that funds are converted into knowledge rather than into its imitation? As long as that question is answered by counting indicators, the system will keep reproducing whatever it measures. The task, therefore, is not to choose between trust and control, but to replace control of quantity with control of quality.
The legal foundation is already in place: the constitutional guarantee of freedom of scientific creativity adopted in March 2026 and the Law of the Republic of Kazakhstan «On Science and Technology Policy» (2023). The missing link is the assessment methodology what counts as a result, and who verifies it and how. That is the level this brief addresses. Its diagnosis draws on a companion review of eight systemic strains on the modern research enterprise (Kalendar, 2026); its prescriptions translate the sections of that review on perverse incentives and on reform pathways into operational norms for Kazakhstan’s grant programmes.
Обращение учёных Казахстана 2026 года ставит выбор жёстко: «экономика знаний или экономика отчётности». Эта рамка политически сильна, но оставляет без ответа законный вопрос государства: за что именно платит бюджет и как убедиться, что средства превращаются в знание, а не в его имитацию? Пока на этот вопрос отвечают счётные показатели, система будет воспроизводить то, что измеряет. Задача, следовательно, состоит не в выборе между доверием и контролем, а в замене контроля количества контролем качества.
Правовая база уже создана: конституционная гарантия свободы научного творчества, принятая в марте 2026 года, и Закон Республики Казахстан «О науке и технологической политике» (2023). Недостающее звено методика оценки: что считается результатом, кто и как его проверяет. Именно этот уровень рассматривает настоящая записка. Её диагноз опирается на сопутствующий обзор восьми системных нагрузок на современный исследовательский процесс (Kalendar, 2026); её предложения переводят разделы этого обзора о порочных стимулах и путях реформ в операциональные нормы для грантовых программ Казахстана.
Қазақстан ғалымдарының 2026 жылғы үндеуі таңдауды қатаң қояды: «білім экономикасы ма, әлде есептілік экономикасы ма». Бұл рамка саяси тұрғыдан күшті, алайда мемлекеттің заңды сұрағын жауапсыз қалдырады: бюджет нақты не үшін төлейді және қаражаттың имитацияға емес, білімге айналғанына қалай көз жеткізуге болады? Бұл сұраққа санақ көрсеткіштері жауап беріп тұрғанда, жүйе өзі өлшейтін нәрсені қайта өндіре береді. Демек, міндет сенім мен бақылау арасында таңдау жасау емес, санды бақылауды сапаны бақылаумен алмастыру.
Құқықтық негіз қаланған: 2026 жылғы наурызда қабылданған ғылыми шығармашылық еркіндігінің конституциялық кепілдігі және Қазақстан Республикасының «Ғылым және технологиялық саясат туралы» Заңы (2023). Жетіспей тұрған буын бағалау әдістемесі: не нәтиже болып саналады, оны кім және қалай тексереді. Осы жазба дәл осы деңгейді қарастырады. Оның диагнозы қазіргі зерттеу саласына жүктелген сегіз жүйелік күйзеліске арналған ілеспе шолуға сүйенеді (Kalendar, 2026); оның ұсыныстары сол шолудың бұрыс ынталандырулар мен реформа жолдары туралы бөлімдерін Қазақстанның гранттық бағдарламаларына арналған операциялық нормаларға аударады.
2. Why Counting Indicators Fail 2. Почему счётные показатели не работают 2. Санақ көрсеткіштері неге жұмыс істемейді
Goodhart’s law states that an indicator which becomes a target ceases to be an indicator. Formal models show that selecting researchers for productivity rather than reliability systematically propagates weak methods «the natural selection of bad science» (Smaldino & McElreath, 2016) and hypercompetition for countable outputs is recognized as a systemic risk to research integrity (Edwards & Roy, 2017). The consequences are measurable: the output of paper mills doubles roughly every eighteen months, faster than the capacity to detect it (Richardson et al., 2025), and more than 10,000 papers were retracted in 2023, a historical record (Van Noorden, 2023).
Systems in which careers and funding are rigidly tied to publication counts are the most exposed. Comparative scientometric studies have recorded for Kazakhstan one of the world’s highest shares of publications in journals subsequently delisted from Scopus for malpractice (Macháček & Srholec, 2022). The same logic has a mirror image: what is not counted as a result does not get done. Research software and databases are absent from reporting forms and are predictably abandoned: roughly 28% of computational-biology tools are no longer reachable at the addresses given in the papers that introduced them (Mangul et al., 2019).
Закон Гудхарта: показатель, ставший целью, перестаёт быть показателем. Формальные модели демонстрируют, что отбор исследователей по продуктивности, а не по достоверности, закономерно размножает слабые методы «естественный отбор плохой науки» (Smaldino & McElreath, 2016); гиперконкуренция за счётные результаты признана системным риском научной добросовестности (Edwards & Roy, 2017). Последствия измеримы: выпуск «фабрик статей» удваивается примерно каждые полтора года и растёт быстрее, чем способность его выявлять (Richardson et al., 2025); в 2023 году отозвано более 10 000 статей исторический максимум (Van Noorden, 2023).
Уязвимее всего системы, где карьера и финансирование жёстко привязаны к числу публикаций. Сравнительные наукометрические исследования фиксировали у Казахстана одну из самых высоких в мире долей публикаций в журналах, впоследствии исключённых из Scopus за нарушения (Macháček & Srholec, 2022). Есть и обратная сторона той же логики: то, что не считается результатом, не делается. Исследовательское программное обеспечение и базы данных не входят в отчётные формы и закономерно забрасываются: около 28% инструментов вычислительной биологии недоступны по адресам, указанным в опубликовавших их статьях (Mangul et al., 2019).
Гудхарт заңы: мақсатқа айналған көрсеткіш көрсеткіш болудан қалады. Формальды модельдер зерттеушілерді сенімділік бойынша емес, өнімділік бойынша іріктеу әлсіз әдістерді заңды түрде көбейтетінін көрсетеді «жаман ғылымның табиғи сұрыпталуы» (Smaldino & McElreath, 2016); санақ нәтижелері үшін гиперкеселіс ғылыми адалдыққа төнген жүйелік тәуекел ретінде танылған (Edwards & Roy, 2017). Салдары өлшенеді: «мақала зауыттарының» өнімі шамамен әрбір бір жарым жыл сайын екі есеге артады және оны анықтау қабілетінен жылдамырақ өседі (Richardson et al., 2025); 2023 жылы 10 000-нан астам мақала кері қайтарып алынды тарихи рекорд (Van Noorden, 2023).
Мансап пен қаржыландыру жарияланымдар санына қатаң байланған жүйелер ең осал. Салыстырмалы наукометриялық зерттеулер Қазақстанда кейіннен бұзушылықтар үшін Scopus-тан шығарылған журналдардағы жарияланымдардың әлемдегі ең жоғары үлестерінің бірін тіркеді (Macháček & Srholec, 2022). Сол логиканың айнадағы бейнесі де бар: нәтиже ретінде саналмайтын нәрсе жасалмайды. Зерттеу бағдарламалық қамтамасыздандыруы мен деректер базалары есеп нысандарында жоқ сондықтан заңды түрде тасталады: есептеу биологиясы құралдарының шамамен 28%-ы оларды таныстырған мақалаларда көрсетілген мекенжайлар бойынша қолжетімсіз (Mangul et al., 2019).
3. The Principle: Assess the Content, Not the Container 3. Принцип реформы: оценивать содержание, а не носитель 3. Реформа қағидаты: тасымалдаушыны емес, мазмұнды бағалау
The international consensus codified by DORA (2013), the Leiden Manifesto (Hicks et al., 2015) and the CoARA agreement (2022) reduces to three rules. First, the expert assesses the work itself, not the journal in which it appeared; journal-level metrics do not substitute for judgement. Second, a research result is not only an article: data, software, preprints, replications and negative results are recorded and recognized. Third, quantitative indicators are admissible only as supporting material for the expert and never as a decision formula. Table 1 translates these rules into concrete norms for Kazakhstan’s competitions.
Международный консенсус, оформленный декларацией DORA (2013), Лейденским манифестом (Hicks et al., 2015) и соглашением CoARA (2022), сводится к трём правилам. Первое: эксперт оценивает саму работу, а не журнал, в котором она вышла; журнальные метрики не заменяют суждение. Второе: результат исследования не только статья: данные, программное обеспечение, препринты, репликации и отрицательные результаты подлежат учёту и признанию. Третье: количественные показатели допустимы лишь как вспомогательный материал для эксперта и никогда как формула решения. Таблица 1 переводит эти правила в конкретные нормы для казахстанских конкурсов.
DORA декларациясы (2013), Лейден манифесі (Hicks et al., 2015) және CoARA келісімі (2022) арқылы бекітілген халықаралық консенсус үш ережеге келіп саяды. Біріншісі: сарапшы жұмыс жарияланған журналды емес, жұмыстың өзін бағалайды; журнал метрикалары пайымдауды алмастырмайды. Екіншісі: зерттеу нәтижесі тек мақала емес: деректер, бағдарламалық қамтамасыздандыру, препринттер, репликациялар және теріс нәтижелер есепке алынып, мойындалады. Үшіншісі: сандық көрсеткіштер сарапшы үшін тек көмекші материал ретінде ғана жол беріледі және ешқашан шешім формуласы ретінде емес. 1-кесте осы ережелерді Қазақстан конкурстарына арналған нақты нормаларға аударады.
4. Twelve Changes Across the Grant Cycle 4. Двенадцать изменений в грантовом цикле 4. Гранттық циклдегі он екі өзгеріс
Table 1.Таблица 1.1-кесте. Twelve changes across four points of the grant cycle, each anchored to a tested international precedent. Двенадцать изменений в четырёх точках грантового цикла, каждое с проверенным международным прецедентом. Гранттық циклдің төрт нүктесіндегі он екі өзгеріс, әрқайсысы сыналған халықаралық прецедентке сүйенеді.
| Current practiceДействующая практикаҚолданыстағы практика | Proposed normПредлагаемая нормаҰсынылатын норма | PrecedentПрецедентПрецедент |
|---|---|---|
| I. Application and reviewI. Подача и экспертиза заявкиI. Өтінім беру және сараптама | ||
| 1. Full publication list; journal quartiles, percentiles and indices are used as criteria for assessing the applicant.1. Полный список публикаций; квартили, процентили и индексы используются как критерии оценки заявителя.1. Жарияланымдардың толық тізімі; журнал квартильдері, процентильдері мен индекстері өтінім берушіні бағалау өлшемшарттары ретінде қолданылады. | Narrative CV: up to five key outputs of any type with a statement of the applicant’s personal contribution; journal-level metrics are removed from the assessment methodology.Нарративное резюме: до пяти ключевых результатов любого типа с описанием личного вклада; журнальные метрики исключаются из методики оценки заявителя.Нарративті түйіндеме: жеке үлесі сипатталған кез келген түрдегі бес негізгі нәтижеге дейін; журнал метрикалары бағалау әдістемесінен алынып тасталады. | DORA; SNSF; UKRI (R4RI)DORA; SNSF; UKRI (R4RI)DORA; SNSF; UKRI (R4RI) |
| 2. Assessment of the idea is inseparable from the team’s credentials.2. Оценка идеи неотделима от регалий коллектива.2. Идеяны бағалау ұжымның атақ-дәрежесінен бөлінбейді. | Two stages: first the idea and method (anonymized where feasible), then the team’s capacity and competence.Два этапа: сначала идея и метод (по возможности в обезличенной форме), затем реализуемость и компетенции команды.Екі кезең: алдымен идея мен әдіс (мүмкіндігінше бейтараптандырылған нысанда), содан кейін команданың әлеуеті мен құзыреті. | Volkswagen Foundation («Experiment!»)Volkswagen Foundation («Experiment!»)Volkswagen Foundation («Experiment!») |
| 3. The fate of project data is not planned at the application stage.3. Судьба данных проекта на этапе заявки не планируется.3. Жоба деректерінің тағдыры өтінім кезеңінде жоспарланбайды. | A short data-management plan (1–2 pages) is a mandatory part of the application.Краткий план управления данными (1–2 стр.) обязательная часть заявки.Қысқа деректерді басқару жоспары (1–2 бет) өтінімнің міндетті бөлігі. | Horizon EuropeHorizon EuropeHorizon Europe |
| 4. Mid-ranked applications are separated by statistical noise in reviewer scores.4. Заявки середины рейтинга разделяет статистический шум экспертных баллов.4. Рейтинг ортасындағы өтінімдерді сарапшы баллдарының статистикалық шуы ажыратады. | Pilot of partial randomization: a lottery among applications that pass the quality threshold.Пилот частичной рандомизации: жребий среди заявок, преодолевших порог качества.Ішінара рандомизация пилоты: сапа шегінен өткен өтінімдер арасында жеребе. | SNSF; HRC (New Zealand)SNSF; HRC (Новая Зеландия)SNSF; HRC (Жаңа Зеландия) |
| II. Project executionII. Выполнение проектаII. Жобаны орындау | ||
| 5. Rigid calendar plan: changing a hypothesis or method is treated as non-performance.5. Жёсткий календарный план: смена гипотезы или метода трактуется как невыполнение.5. Қатаң күнтізбелік жоспар: гипотезаны немесе әдісті өзгерту орындамау ретінде бағаланады. | A right to a reasoned revision of hypotheses and methods while the project goal is preserved by notification, without penalty.Право на мотивированный пересмотр гипотез и методов при сохранении цели проекта по уведомлению, без штрафных последствий.Жоба мақсаты сақталған жағдайда гипотезалар мен әдістерді дәлелді қайта қарау құқығы хабарлама бойынша, айыппұл салдарынсыз. | ERCERCERC |
| 6. Annual publication quota («no fewer than N articles per year»).6. Годовая норма публикаций («не менее N статей в год»).6. Жылдық жарияланым нормасы («жылына кемінде N мақала»). | Substantive milestones instead of annual quotas; a preprint is recognized as an interim reportable output.Содержательные вехи вместо годовых квот; препринт признаётся промежуточным отчётным результатом.Жылдық квоталардың орнына мазмұндық межелер; препринт аралық есептік нәтиже ретінде танылады. | NIHNIHNIH |
| 7. Software and databases are not reportable outputs.7. Программное обеспечение и базы данных не являются отчётным результатом.7. Бағдарламалық қамтамасыздандыру мен деректер базалары есептік нәтиже болып табылмайды. | A repository with a licence, version, DOI and documentation is a recognized output; a separate line of small maintenance grants for software and databases.Репозиторий с лицензией, версией, DOI и документацией учитываемый результат; отдельная линия малых грантов на сопровождение ПО и баз данных.Лицензиясы, нұсқасы, DOI және құжаттамасы бар репозиторий есепке алынатын нәтиже; БҚ мен деректер базаларын сүйемелдеуге арналған шағын гранттардың жеке желісі. | CZI EOSS; the RSE movementCZI EOSS; движение RSECZI EOSS; RSE қозғалысы |
| III. Acceptance of resultsIII. Приёмка результатовIII. Нәтижелерді қабылдау | ||
| 8. Acceptance reduces to counting articles and checking paperwork.8. Приёмка сводится к подсчёту статей и проверке актов.8. Қабылдау мақалаларды санауға және актілерді тексеруге келіп саяды. | Final review reads two–three key outputs on their merits: scientific contribution, reproducibility, availability of data and code.Итоговая экспертиза читает 2–3 ключевых результата по существу: научный вклад, воспроизводимость, доступность данных и кода.Қорытынды сараптама 2–3 негізгі нәтижені мәні бойынша оқиды: ғылыми үлес, қайта жаңғыртылу, деректер мен кодтың қолжетімділігі. | CoARACoARACoARA |
| 9. Data and code remain with the grantee.9. Данные и код остаются у исполнителя.9. Деректер мен код орындаушыда қалады. | FAIR publication of data and code is a condition of acceptance; justified exceptions: personal data, biosafety, intellectual-property protection.FAIR-публикация данных и кода условие приёмки; обоснованные исключения: персональные данные, биобезопасность, охрана интеллектуальной собственности.Деректер мен кодты FAIR қағидаттары бойынша жариялау қабылдау шарты; негізделген ерекшеліктер: дербес деректер, биоқауіпсіздік, зияткерлік меншікті қорғау. | Wilkinson et al., 2016; NIH (DMS Policy)Wilkinson et al., 2016; NIH (DMS Policy)Wilkinson et al., 2016; NIH (DMS Policy) |
| 10. Replications and null results are not recognized as results.10. Репликации и нулевые результаты не признаются результатом.10. Репликациялар мен нөлдік нәтижелер нәтиже ретінде танылмайды. | A dedicated funding line for replication and confirmation studies (pilot: 1–2% of the grant budget).Отдельная конкурсная линия репликационных и подтверждающих исследований (пилот: 1–2% грантового бюджета).Репликациялық және растаушы зерттеулердің жеке конкурстық желісі (пилот: гранттық бюджеттің 1–2%-ы). | NWO (Netherlands)NWO (Нидерланды)NWO (Нидерланд) |
| IV. Integrity infrastructureIV. Инфраструктура добросовестностиIV. Адалдық инфрақұрылымы | ||
| 11. Publication lists in applications and reports are checked formally.11. Списки публикаций в заявках и отчётах проверяются формально.11. Өтінімдер мен есептердегі жарияланым тізімдері формальды тексеріледі. | Automated screening: retraction databases, paper-mill and image-manipulation detectors; publications in journals delisted from indices for malpractice are not counted (non-retroactively).Автоматический скрининг: базы ретракций, детекторы «фабрик статей» и манипуляций с изображениями; публикации в журналах, исключённых из индексов за нарушения, не засчитываются (без обратной силы).Автоматты скрининг: кері қайтарып алу базалары, «мақала зауыттары» мен кескін манипуляцияларын анықтағыштар; бұзушылықтар үшін индекстерден шығарылған журналдардағы жарияланымдар есепке алынбайды (кері күші жоқ). | STM Integrity Hub; Crossref / Retraction WatchSTM Integrity Hub; Crossref / Retraction WatchSTM Integrity Hub; Crossref / Retraction Watch |
| 12. The use of generative AI is unregulated.12. Использование генеративного ИИ не регламентировано.12. Генеративті ЖИ-ді пайдалану реттелмеген. | Mandatory declaration of AI use in applications and reports; reviewers are prohibited from uploading application materials to external AI services.Обязательная декларация использования ИИ в заявках и отчётах; эксперту запрещено загружать материалы заявки во внешние ИИ-сервисы.Өтінімдер мен есептерде ЖИ-ді пайдалану туралы міндетті декларация; сарапшыға өтінім материалдарын сыртқы ЖИ-сервистерге жүктеуге тыйым салынады. | NIH (reviewer policy)NIH (политика для рецензентов)NIH (рецензенттерге арналған саясат) |
5. Implementation Roadmap 5. Дорожная карта внедрения 5. Енгізу жол картасы
Phase 0 (months 0–6). A working group involving the Science Committee of the Ministry of Science and Higher Education, the National Center for State Scientific and Technical Expertise, the national scientific councils, the National Academy of Sciences and universities; accession of Kazakhstani research organizations to DORA and CoARA; drafting of an updated review methodology; selection of a pilot competition (for example, grants for young researchers).
Phase 1 (months 6–18). The pilot itself: narrative CVs, two-stage review, data-management plans, paid reviewer work. Parallel data collection: review time, score distributions, burden on applicants and reviewers.
Phase 2 (months 18–36). Scaling to the main grant and programme-targeted funding competitions, conditional on the pre-announced success criteria being met; launch of the replication and software-maintenance lines; integration of integrity screening into the standard circuit of state scientific-technical expertise.
Фаза 0 (0–6 месяцев). Рабочая группа с участием Комитета науки МНВО, НЦГНТЭ, национальных научных советов, НАН и университетов; присоединение казахстанских научных организаций к DORA и CoARA; разработка обновлённой методики экспертизы; выбор пилотного конкурса (например, гранты для молодых учёных).
Фаза 1 (6–18 месяцев). Проведение пилота: нарративные резюме, двухэтапная экспертиза, планы управления данными, оплата труда экспертов. Параллельный сбор данных: время экспертизы, распределение оценок, нагрузка на заявителей и рецензентов.
Фаза 2 (18–36 месяцев). Масштабирование на основные конкурсы грантового и программно-целевого финансирования при достижении заранее объявленных критериев успеха; запуск линий репликационных исследований и сопровождения ПО; интеграция скрининга добросовестности в стандартный контур государственной научно-технической экспертизы.
0-кезең (0–6 ай). Ғылым және жоғары білім министрлігінің Ғылым комитеті, Мемлекеттік ғылыми-техникалық сараптама ұлттық орталығы, ұлттық ғылыми кеңестер, ҰҒА және университеттер қатысатын жұмыс тобы; қазақстандық ғылыми ұйымдардың DORA мен CoARA-ға қосылуы; жаңартылған сараптама әдістемесін әзірлеу; пилоттық конкурсты таңдау (мысалы, жас ғалымдарға арналған гранттар).
1-кезең (6–18 ай). Пилоттың өзі: нарративті түйіндемелер, екі кезеңді сараптама, деректерді басқару жоспарлары, сарапшылар еңбегіне ақы төлеу. Қатар деректер жинау: сараптама уақыты, баллдардың таралуы, өтінім берушілер мен рецензенттерге түсетін жүктеме.
2-кезең (18–36 ай). Алдын ала жарияланған табыс өлшемшарттарына қол жеткізілген жағдайда гранттық және бағдарламалық-нысаналы қаржыландырудың негізгі конкурстарына кеңейту; репликациялық зерттеулер мен БҚ сүйемелдеу желілерін іске қосу; адалдық скринингін мемлекеттік ғылыми-техникалық сараптаманың стандартты контурына енгізу.
6. Risks and Mitigations 6. Риски и меры 6. Тәуекелдер мен шаралар
No reform is free of its own failure modes; Table 2 lists the principal risks together with mitigations built into the design.
Ни одна реформа не свободна от собственных рисков; в таблице 2 перечислены основные из них вместе с мерами, встроенными в дизайн.
Ешбір реформа өз тәуекелдерінен ада емес; 2-кестеде олардың негізгілері дизайнға енгізілген шаралармен бірге келтірілген.
Table 2.Таблица 2.2-кесте. Risk register of the proposed reform. Реестр рисков предлагаемой реформы. Ұсынылатын реформаның тәуекелдер тізілімі.
| RiskРискТәуекел | MitigationМераШара |
|---|---|
| New indicators can also be gamed («Goodhart 2.0»).Новые показатели тоже можно имитировать («Гудхарт 2.0»).Жаңа көрсеткіштерді де имитациялауға болады («Гудхарт 2.0»). | Expert judgement is primary and metrics are reference material only; random audit of 5–10% of completed projects.Первично экспертное суждение, метрики только справочный материал; выборочный аудит 5–10% завершённых проектов.Сарапшы пайымы бірінші кезекте, метрикалар тек анықтамалық материал; аяқталған жобалардың 5–10%-ына іріктемелі аудит. |
| Higher reviewer workload under substantive reading.Рост нагрузки на экспертов при содержательном чтении.Мазмұндық оқу кезінде сарапшыларға жүктеменің артуы. | Shorter document packages (a narrative CV instead of lists); paid review; randomization for the middle of the ranking.Короче пакет документов (резюме вместо списков); оплата экспертной работы; рандомизация для середины рейтинга.Құжаттар пакетін қысқарту (тізімдердің орнына түйіндеме); сараптамаға ақы төлеу; рейтинг ортасы үшін рандомизация. |
| Transition costs for researchers whose careers were built around counting indicators.Переходные издержки для исследователей, чья карьера выстроена под счётные показатели.Мансабы санақ көрсеткіштеріне бейімделген зерттеушілер үшін өтпелі шығындар. | A two-year transition with parallel accounting under old and new rules; explanatory seminars.Двухлетний переходный период с параллельным учётом по старым и новым правилам; разъяснительные семинары.Ескі және жаңа ережелер бойынша қатар есепке алынатын екі жылдық өтпелі кезең; түсіндіру семинарлары. |
| Open data may conflict with commercialization.Конфликт открытости данных с коммерциализацией.Деректердің ашықтығы коммерцияландырумен қайшылыққа түсуі мүмкін. | Embargoes of up to 12–24 months; intellectual-property exceptions fixed in the data-management plan.Эмбарго до 12–24 месяцев; исключения по интеллектуальной собственности фиксируются в плане управления данными.12–24 айға дейінгі эмбарго; зияткерлік меншік бойынша ерекшеліктер деректерді басқару жоспарында бекітіледі. |
| Imitation of openness: data dumps of no scientific value.Имитация открытости: выгрузка данных без научной ценности.Ашықтықты имитациялау: ғылыми құндылығы жоқ деректерді жүктеп салу. | Random FAIR-compliance checks; tracking of actual reuse of data and code.Выборочная проверка соответствия FAIR; учёт фактического повторного использования данных и кода.FAIR сәйкестігін іріктемелі тексеру; деректер мен кодтың нақты қайта пайдаланылуын есепке алу. |
7. How to Measure the Success of the Reform Itself 7. Как измерить успех самой реформы 7. Реформаның өзінің табысын қалай өлшеуге болады
A reform of assessment must obey the rules it introduces: hypotheses stated in advance, data open, results published regardless of outcome. Pilot indicators: (1) the share of researchers’ working time spent on reporting (surveyed before and after); (2) the share of completed projects with open data and working code (random audit); (3) the share of applications classified by reviewers as exploratory or high-risk; (4) the dynamics of retractions and of publications in delisted journals among reported outputs; (5) reviewer time and satisfaction; (6) the share of early-career researchers among grantees.
Реформа оценки должна подчиняться правилам, которые вводит: гипотезы формулируются заранее, данные открыты, результат публикуется независимо от исхода. Индикаторы пилота: (1) доля рабочего времени исследователей, уходящая на отчётность (опрос до и после); (2) доля завершённых проектов с открытыми данными и работающим кодом (выборочный аудит); (3) доля заявок, классифицированных экспертами как поисковые и рискованные; (4) динамика ретракций и публикаций в исключённых из индексов журналах среди отчётных результатов; (5) время работы и удовлетворённость экспертов; (6) доля исследователей ранней карьеры среди получателей грантов.
Бағалау реформасы өзі енгізетін ережелерге бағынуға тиіс: гипотезалар алдын ала тұжырымдалады, деректер ашық, нәтиже қорытындысына қарамастан жарияланады. Пилот индикаторлары: (1) зерттеушілердің есептілікке жұмсайтын жұмыс уақытының үлесі (алдында және кейін сауалнама); (2) ашық деректері мен жұмыс істейтін коды бар аяқталған жобалардың үлесі (іріктемелі аудит); (3) сарапшылар ізденушілік және тәуекелді деп жіктеген өтінімдердің үлесі; (4) есептік нәтижелер арасындағы кері қайтарып алулар мен индекстерден шығарылған журналдардағы жарияланымдардың динамикасы; (5) сарапшылардың жұмыс уақыты мен қанағаттанушылығы; (6) грант алушылар арасындағы ерте мансаптағы зерттеушілердің үлесі.
ConclusionЗаключениеҚорытынды
The scientists’ appeal rightly holds that science is born where there is trust. In a state system, however, trust is not declared it is designed. A review process that reads works instead of counting them, recognizes data and code as results, rewards replication and systematically verifies integrity is the institutional form of trust. It answers the researchers’ question («let us do science») and the state’s question («show that the budget creates knowledge») at once and it gives the constitutional guarantee of freedom of scientific creativity concrete administrative content.
Манифест справедливо утверждает, что наука рождается там, где есть доверие. Но в государственной системе доверие не декларируется оно проектируется. Экспертиза, которая читает работы вместо того, чтобы их считать, признаёт данные и код результатом, вознаграждает репликацию и системно проверяет добросовестность, это и есть институциональная форма доверия. Она отвечает одновременно на вопрос учёных («дайте заниматься наукой») и на вопрос государства («покажите, что бюджет создаёт знание») и наполняет конституционную гарантию свободы научного творчества конкретным административным содержанием.
Ғалымдар үндеуі ғылым сенім бар жерде туатынын әділ айтады. Алайда мемлекеттік жүйеде сенім жарияланбайды ол жобаланады. Жұмыстарды санаудың орнына оқитын, деректер мен кодты нәтиже деп танитын, репликацияны марапаттайтын және адалдықты жүйелі тексеретін сараптама сенімнің институционалдық нысаны осы. Ол ғалымдардың сұрағына («ғылыммен айналысуға мүмкіндік беріңіз») да, мемлекеттің сұрағына («бюджеттің білім жасайтынын көрсетіңіз») да бір мезгілде жауап береді және ғылыми шығармашылық еркіндігінің конституциялық кепілдігін нақты әкімшілік мазмұнмен толтырады.
Data & Code AvailabilityДоступность данных и кодаДеректер мен кодқа қолжетімділік
This article is a policy brief and does not contain original datasets or analysis code. All cited sources are listed in the references below.
Настоящая статья является аналитической запиской и не содержит оригинальных наборов данных или аналитического кода. Все цитируемые источники приведены в списке литературы ниже.
Бұл мақала талдамалық жазба болып табылады және бастапқы деректер жинақтарын немесе талдау кодын қамтымайды. Барлық дәйектелген дереккөздер төмендегі әдебиеттер тізімінде келтірілген.
AcknowledgmentsБлагодарностиАлғыс сөздер
The author thanks the reviewers for their constructive comments.
Автор благодарит рецензентов за конструктивные замечания.
Автор конструктивті пікірлері үшін рецензенттерге алғыс білдіреді.
Author ContributionsВклад авторовАвторлардың үлесі
Conceptualization, policy analysis, writing original draft, review & editing: R.K.
Концептуализация, анализ политики, написание первоначальный вариант, рецензирование и редактирование: Р.К.
Тұжырымдама, саясат талдауы, жазу бастапқы жоба, шолу және өңдеу: Р.К.
EthicsЭтикаЭтика
This policy brief synthesizes published literature and public documents and did not involve human participants, animal subjects, or primary data collection. No ethical approval was required.
Настоящая аналитическая записка систематизирует опубликованную литературу и публичные документы и не предполагала участия людей, животных или сбора первичных данных. Одобрение этического комитета не требовалось.
Бұл талдамалық жазба жарияланған әдебиет пен жария құжаттарды жинақтайды және адамдардың, жануарлардың қатысуын немесе бастапқы деректер жинауды қамтымады. Этикалық мақұлдау талап етілмеді.
Competing InterestsКонфликт интересовМүдделер қақтығысы
The author declares no competing interests.
Автор заявляет об отсутствии конфликта интересов.
Автор мүдделер қақтығысы жоқ екенін мәлімдейді.
ReferencesЛитератураӘдебиеттер
- Agreement on Reforming Research Assessment (CoARA). (2022). https://coara.eu
- Edwards, M. A., & Roy, S. (2017). Academic research in the 21st century: Maintaining scientific integrity in a climate of perverse incentives and hypercompetition. Environmental Engineering Science, 34(1), 51–61. https://doi.org/10.1089/ees.2016.0223
- Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520, 429–431. https://doi.org/10.1038/520429a
- Kalendar, R. (2026). Principal Challenges Facing Modern Science: A Review of Systemic Strains on the Research Enterprise. Contig, 2:202609. https://doi.org/10.66273/3134-6359.2026.1.2.002
- Law of the Republic of Kazakhstan «On Science and Technology Policy», adopted 1 July 2023.
- Macháček, V., & Srholec, M. (2022). Predatory publishing in Scopus: Evidence on cross-country differences. Quantitative Science Studies, 3(3).
- Mangul, S., Mosqueiro, T., Abdill, R. J., Duong, D., Mitchell, K., Sarwal, V., et al. (2019). Challenges and recommendations to improve the installability and archival stability of omics computational tools. PLoS Biology, 17(6), e3000333. https://doi.org/10.1371/journal.pbio.3000333
- Richardson, R. A. K., Hong, S. S., Byrne, J. A., Stoeger, T., & Amaral, L. A. N. (2025). The entities enabling scientific fraud at scale are large, resilient, and growing rapidly. Proceedings of the National Academy of Sciences, 122(32), e2420092122. https://doi.org/10.1073/pnas.2420092122
- San Francisco Declaration on Research Assessment (DORA). (2013). https://sfdora.org
- Smaldino, P. E., & McElreath, R. (2016). The natural selection of bad science. Royal Society Open Science, 3(9), 160384. https://doi.org/10.1098/rsos.160384
- Van Noorden, R. (2023). More than 10,000 research papers were retracted in 2023 — a new record. Nature, 624, 479–481. https://doi.org/10.1038/d41586-023-03974-8
- Wilkinson, M., Dumontier, M., Aalbersberg, I., et al. (2016). The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 3, 160018. https://doi.org/10.1038/sdata.2016.18