Migrating from CircleCI with GitHub Actions Importer

Learn how to use GitHub Actions Importer to automate the migration of your CircleCI pipelines to GitHub Actions.

Dans cet article

Legal notice

About migrating from CircleCI with GitHub Actions Importer

The instructions below will guide you through configuring your environment to use GitHub Actions Importer to migrate CircleCI pipelines to GitHub Actions.

Prerequisites

  • A CircleCI account or organization with projects and pipelines that you want to convert to GitHub Actions workflows.
  • Access to create a CircleCI personal API token for your account or organization.
  • Un environnement dans lequel vous pouvez exécuter des conteneurs basés sur Linux et installer les outils nécessaires.

    Remarque

    Le conteneur GitHub Actions Importer et l’interface CLI n’ont pas besoin d’être installés sur le même serveur que votre plateforme CI.

Limitations

There are some limitations when migrating from CircleCI to GitHub Actions with GitHub Actions Importer:

  • Automatic caching in between jobs of different workflows is not supported.
  • The audit command is only supported when you use a CircleCI organization account. The dry-run and migrate commands can be used with a CircleCI organization or user account.

Manual tasks

Certain CircleCI constructs must be migrated manually. These include:

  • Contexts
  • Project-level environment variables
  • Unknown job properties
  • Unknown orbs

Installing the GitHub Actions Importer CLI extension

  1. Installez l’extension CLI GitHub Actions Importer :

    Bash
    gh extension install github/gh-actions-importer

  2. Vérifiez que l’extension est installée :

    $ gh actions-importer -h
Options:
  -?, -h, --help  Show help and usage information

Commands:
  update     Update to the latest version of GitHub Actions Importer.
  version    Display the version of GitHub Actions Importer.
  configure  Start an interactive prompt to configure credentials used to authenticate with your CI server(s).
  audit      Plan your CI/CD migration by analyzing your current CI/CD footprint.
  forecast   Forecast GitHub Actions usage from historical pipeline utilization.
  dry-run    Convert a pipeline to a GitHub Actions workflow and output its yaml file.
  migrate    Convert a pipeline to a GitHub Actions workflow and open a pull request with the changes.

Configuring credentials

The configure CLI command is used to set required credentials and options for GitHub Actions Importer when working with CircleCI and GitHub.

  1. Create a GitHub personal access token (classic). For more information, see Gestion de vos jetons d'accès personnels.

    Your token must have the workflow scope.

    After creating the token, copy it and save it in a safe location for later use.

  2. Create a CircleCI personal API token. For more information, see Managing API Tokens in the CircleCI documentation.

    After creating the token, copy it and save it in a safe location for later use.

  3. In your terminal, run the GitHub Actions Importer configure CLI command:

    gh actions-importer configure

    The configure command will prompt you for the following information:

    • For "Which CI providers are you configuring?", use the arrow keys to select CircleCI, press Space to select it, then press Enter.
    • For "Personal access token for GitHub", enter the value of the personal access token (classic) that you created earlier, and press Enter.
    • For "Base url of the GitHub instance", enter the URL for votre instance GitHub Enterprise Server, and press Enter.
    • For "Personal access token for CircleCI", enter the value for the CircleCI personal API token that you created earlier, and press Enter.
    • For "Base url of the CircleCI instance", press Enter to accept the default value (http://circleci.com).
    • For "CircleCI organization name", enter the name for your CircleCI organization, and press Enter.

    An example of the configure command is shown below:

    $ gh actions-importer configure
✔ Which CI providers are you configuring?: CircleCI
Enter the following values (leave empty to omit):
✔ Personal access token for GitHub: ***************
✔ Base url of the GitHub instance: http://github.com
✔ Personal access token for CircleCI: ********************
✔ Base url of the CircleCI instance: http://circleci.com
✔ CircleCI organization name: mycircleciorganization
Environment variables successfully updated.

  4. In your terminal, run the GitHub Actions Importer update CLI command to connect to GitHub Packages Container registry and ensure that the container image is updated to the latest version:

    gh actions-importer update

    The output of the command should be similar to below:

    Updating ghcr.io/actions-importer/cli:latest...
ghcr.io/actions-importer/cli:latest up-to-date

Perform an audit of CircleCI

You can use the audit command to get a high-level view of all projects in a CircleCI organization.

The audit command performs the following steps:

  1. Fetches all of the projects defined in a CircleCI organization.
  2. Converts each pipeline to its equivalent GitHub Actions workflow.
  3. Generates a report that summarizes how complete and complex of a migration is possible with GitHub Actions Importer.

Running the audit command

To perform an audit of a CircleCI organization, run the following command in your terminal:

gh actions-importer audit circle-ci --output-dir tmp/audit

Inspecting the audit results

Les fichiers dans le répertoire de sortie spécifié contiennent les résultats de l’audit. Consultez le fichier audit_summary.md pour obtenir un résumé des résultats de l’audit.

Le résumé de l’audit comporte les sections suivantes.

Pipelines

La section « Pipelines » contient des statistiques générales concernant le taux de conversion effectué par GitHub Actions Importer.

Vous trouverez ci-dessous quelques termes clés qui peuvent apparaître dans la section « Pipelines » :

  • Les pipelines réussis sont ceux dont 100 % des constructions de pipeline et des éléments individuels ont été convertis automatiquement en leur équivalent GitHub Actions.
  • Les pipelines partiellement réussis sont ceux dont la totalité des constructions de pipeline ont été converties ; toutefois, certains éléments individuels n’ont pas été convertis automatiquement en leur équivalent GitHub Actions.
  • Les pipelines non pris en charge sont des types de définition qui ne sont pas pris en charge par GitHub Actions Importer.
  • Les pipelines ayant échoué sont ceux qui ont rencontré une erreur irrécupérable lors de la conversion. Cela peut se produire pour l’une des trois raisons suivantes :
    • Le pipeline a été mal configuré à l’origine et n’était pas valide.
    • GitHub Actions Importer a rencontré une erreur interne lors de sa conversion.
    • Une réponse réseau infructueuse a rendu le pipeline inaccessible, ce qui est souvent dû à des informations d’identification non valides.

Étapes de génération

La section « Étapes de génération » contient une vue d’ensemble des étapes de génération individuelles utilisées dans tous les pipelines ainsi que le nombre d’étapes converties automatiquement par GitHub Actions Importer.

Vous trouverez ci-dessous quelques termes clés qui peuvent apparaître dans la section « Étapes de génération » :

  • Une étape de génération connue est une étape qui a été automatiquement convertie en action équivalente.
  • Une étape de génération inconnue est une étape qui n’a pas été automatiquement convertie en action équivalente.
  • Une étape de génération non prise en charge est une étape qui est :
    • Fondamentalement non prise en charge par GitHub Actions.
    • Configuré d’une manière incompatible avec GitHub Actions.
  • Une action est une liste des actions qui ont été utilisées dans les workflows convertis. Cela peut être important pour :
    • Rassembler la liste des actions à synchroniser avec votre instance, si vous utilisez GitHub Enterprise Server.
    • Définir une liste d’autorisation au niveau de l’organisation des actions utilisées. Cette liste d’actions est une liste complète d’actions que vos équipes de sécurité ou de conformité peuvent avoir besoin d’examiner.

Tâches manuelles

La section « Tâches manuelles » contient une vue d’ensemble des tâches que GitHub Actions Importer ne peut pas accomplir automatiquement et que vous devez effectuer manuellement.

Vous trouverez ci-dessous quelques termes clés qui peuvent apparaître dans la section « Tâches manuelles » :

  • Un secret est un secret au niveau de l’organisation ou du dépôt qui est utilisé dans les pipelines convertis. Ces secrets doivent être créés manuellement dans GitHub Actions pour que ces pipelines fonctionnent correctement. Pour plus d’informations, consultez « Using secrets in GitHub Actions ».
  • Un exécuteur auto-hébergé fait référence à une étiquette d’un exécuteur référencé dans un pipeline converti qui n’est pas un exécuteur hébergé par GitHub. Vous devez définir manuellement ces exécuteurs pour que ces pipelines fonctionnent correctement.

Fichiers

La dernière section du rapport d’audit fournit un manifeste de tous les fichiers qui ont été écrits sur le disque pendant l’audit.

À chaque fichier de pipeline correspond une série de fichiers inclus dans l’audit, notamment :

  • Le pipeline d’origine tel qu’il a été défini dans GitHub.
  • Toutes les réponses réseau utilisées pour convertir le pipeline.
  • Le fichier de workflow converti.
  • Les traces de pile qui peuvent être utilisées pour résoudre les problèmes liés à une conversion de pipeline ayant échoué.

De plus, le fichier workflow_usage.csv contient une liste séparée par des virgules de l’ensemble des actions, secrets et exécuteurs qui sont utilisés par chaque pipeline converti avec succès. Cela peut être utile pour déterminer quels workflows utilisent quelles actions, quels secrets ou quels exécuteurs, et pour effectuer des révisions de sécurité.

Forecast potential GitHub Actions usage

You can use the forecast command to forecast potential GitHub Actions usage by computing metrics from completed pipeline runs in CircleCI.

Running the forecast command

To perform a forecast of potential GitHub Actions usage, run the following command in your terminal. By default, GitHub Actions Importer includes the previous seven days in the forecast report.

gh actions-importer forecast circle-ci --output-dir tmp/forecast_reports

Inspecting the forecast report

The forecast_report.md file in the specified output directory contains the results of the forecast.

Listed below are some key terms that can appear in the forecast report:

  • The job count is the total number of completed jobs.

  • The pipeline count is the number of unique pipelines used.

  • Execution time describes the amount of time a runner spent on a job. This metric can be used to help plan for the cost of GitHub-hosted runners.

    This metric is correlated to how much you should expect to spend in GitHub Actions. This will vary depending on the hardware used for these minutes. You can use the GitHub Actions pricing calculator to estimate the costs.

  • Queue time metrics describe the amount of time a job spent waiting for a runner to be available to execute it.

  • Concurrent jobs metrics describe the amount of jobs running at any given time. This metric can be used to define the number of runners you should configure.

Additionally, these metrics are defined for each queue of runners in CircleCI. This is especially useful if there is a mix of hosted or self-hosted runners, or high or low spec machines, so you can see metrics specific to different types of runners.

Perform a dry-run migration of a CircleCI pipeline

You can use the dry-run command to convert a CircleCI pipeline to an equivalent GitHub Actions workflow. A dry-run creates the output files in a specified directory, but does not open a pull request to migrate the pipeline.

To perform a dry run of migrating your CircleCI project to GitHub Actions, run the following command in your terminal, replacing my-circle-ci-project with the name of your CircleCI project.

gh actions-importer dry-run circle-ci --output-dir tmp/dry-run --circle-ci-project my-circle-ci-project

You can view the logs of the dry run and the converted workflow files in the specified output directory.

Pour tout ce que GitHub Actions Importer n’a pas pu convertir automatiquement, comme des étapes de génération inconnues ou un pipeline partiellement réussi, vous pouvez créer des transformateurs personnalisés pour personnaliser davantage le processus de conversion. Pour plus d’informations, consultez « Extending GitHub Actions Importer with custom transformers ».

Perform a production migration of a CircleCI pipeline

You can use the migrate command to convert a CircleCI pipeline and open a pull request with the equivalent GitHub Actions workflow.

Running the migrate command

To migrate a CircleCI pipeline to GitHub Actions, run the following command in your terminal, replacing the target-url value with the URL for your GitHub repository, and my-circle-ci-project with the name of your CircleCI project.

gh actions-importer migrate circle-ci --target-url http://github.com/octo-org/octo-repo --output-dir tmp/migrate --circle-ci-project my-circle-ci-project

The command's output includes the URL to the pull request that adds the converted workflow to your repository. An example of a successful output is similar to the following:

$ gh actions-importer migrate circle-ci --target-url http://github.com/octo-org/octo-repo --output-dir tmp/migrate --circle-ci-project my-circle-ci-project
[2022-08-20 22:08:20] Logs: 'tmp/migrate/log/actions-importer-20220916-014033.log'
[2022-08-20 22:08:20] Pull request: 'http://github.com/octo-org/octo-repo/pull/1'

Inspection de la demande de tirage

La sortie d’une exécution réussie de la commande migrate contient un lien vers la nouvelle demande de tirage qui ajoute le workflow converti à votre dépôt.

Voici quelques éléments importants de la demande de tirage :

  • Dans la description de la demande de tirage, une section appelée Étapes manuelles, qui liste les étapes que vous devez effectuer manuellement avant de pouvoir terminer la migration de vos pipelines vers GitHub Actions. Par exemple, cette section peut vous indiquer de créer des secrets utilisés dans vos workflows.
  • Fichier de workflows converti. Sélectionnez l’onglet Fichiers changés dans la demande de tirage pour afficher le fichier de flux de travail à ajouter à votre référentiel GitHub.

Une fois que vous avez terminé d’inspecter la demande de tirage, vous pouvez la fusionner pour ajouter le flux de travail à votre référentiel GitHub.

Reference

This section contains reference information on environment variables, optional arguments, and supported syntax when using GitHub Actions Importer to migrate from CircleCI.

Using environment variables

GitHub Actions Importer utilise des variables d’environnement pour sa configuration d’authentification. Ces variables sont définies lors du processus de configuration au moyen de la commande configure. Pour plus d’informations, consultez la section Configuration des informations d’identification.

GitHub Actions Importer uses the following environment variables to connect to your CircleCI instance:

  • GITHUB_ACCESS_TOKEN: The personal access token (classic) used to create pull requests with a converted workflow (requires repo and workflow scopes).
  • GITHUB_INSTANCE_URL: The URL to the target GitHub instance (for example, http://github.com).
  • CIRCLE_CI_ACCESS_TOKEN: The CircleCI personal API token used to authenticate with your CircleCI instance.
  • CIRCLE_CI_INSTANCE_URL: The URL to the CircleCI instance (for example, http://circleci.com). If the variable is left unset, http://circleci.com is used as the default value.
  • CIRCLE_CI_ORGANIZATION: The organization name of your CircleCI instance.
  • CIRCLE_CI_PROVIDER: The location where your pipeline's source file is stored (such as github). Currently, only GitHub is supported.
  • CIRCLE_CI_SOURCE_GITHUB_ACCESS_TOKEN (Optional): The personal access token (classic) used to authenticate with your source GitHub instance (requires repo scope). If not provided, the value of GITHUB_ACCESS_TOKEN is used instead.
  • CIRCLE_CI_SOURCE_GITHUB_INSTANCE_URL (Optional): The URL to the source GitHub instance. If not provided, the value of GITHUB_INSTANCE_URL is used instead.

These environment variables can be specified in a .env.local file that is loaded by GitHub Actions Importer when it is run.

Optional arguments

Vous pouvez utiliser des arguments facultatifs avec les sous-commandes GitHub Actions Importer pour personnaliser votre migration.

--source-file-path

You can use the --source-file-path argument with the forecast, dry-run, or migrate subcommands.

By default, GitHub Actions Importer fetches pipeline contents from source control. The --source-file-path argument tells GitHub Actions Importer to use the specified source file path instead.

For example:

gh actions-importer dry-run circle-ci --output-dir ./output/ --source-file-path ./path/to/.circleci/config.yml

If you would like to supply multiple source files when running the forecast subcommand, you can use pattern matching in the file path value. For example, gh forecast --source-file-path ./tmp/previous_forecast/jobs/*.json supplies GitHub Actions Importer with any source files that match the ./tmp/previous_forecast/jobs/*.json file path.

--config-file-path

You can use the --config-file-path argument with the audit, dry-run, and migrate subcommands.

By default, GitHub Actions Importer fetches pipeline contents from source control. The --config-file-path argument tells GitHub Actions Importer to use the specified source files instead.

The --config-file-path argument can also be used to specify which repository a converted composite action should be migrated to.

Audit example

In this example, GitHub Actions Importer uses the specified YAML configuration file to perform an audit.

gh actions-importer audit circle-ci --output-dir ./output/ --config-file-path ./path/to/circle-ci/config.yml

To audit a CircleCI instance using a config file, the config file must be in the following format, and each repository_slug must be unique:

source_files:
  - repository_slug: circle-org-name/circle-project-name
    path: path/to/.circleci/config.yml
  - repository_slug: circle-org-name/some-other-circle-project-name
    path: path/to/.circleci/config.yml
Dry run example

In this example, GitHub Actions Importer uses the specified YAML configuration file as the source file to perform a dry run.

The pipeline is selected by matching the repository_slug in the config file to the value of the --circle-ci-organization and --circle-ci-project options. The path is then used to pull the specified source file.

gh actions-importer dry-run circle-ci --circle-ci-project circle-org-name/circle-project-name --output-dir ./output/ --config-file-path ./path/to/circle-ci/config.yml
Specify the repository of converted composite actions

GitHub Actions Importer uses the YAML file provided to the --config-file-path argument to determine the repository that converted composite actions are migrated to.

To begin, you should run an audit without the --config-file-path argument:

gh actions-importer audit circle-ci --output-dir ./output/

The output of this command will contain a file named config.yml that contains a list of all the composite actions that were converted by GitHub Actions Importer. For example, the config.yml file may have the following contents:

composite_actions:
  - name: my-composite-action.yml
    target_url: http://github.com/octo-org/octo-repo
    ref: main

You can use this file to specify which repository and ref a reusable workflow or composite action should be added to. You can then use the --config-file-path argument to provide the config.yml file to GitHub Actions Importer. For example, you can use this file when running a migrate command to open a pull request for each unique repository defined in the config file:

gh actions-importer migrate circle-ci --circle-ci-project my-project-name --output-dir output/ --config-file-path config.yml --target-url http://github.com/my-org/my-repo

--include-from

You can use the --include-from argument with the audit subcommand.

The --include-from argument specifies a file that contains a line-delimited list of repositories to include in the audit of a CircleCI organization. Any repositories that are not included in the file are excluded from the audit.

For example:

gh actions-importer audit circle-ci --output-dir ./output/ --include-from repositories.txt

The file supplied for this parameter must be a line-delimited list of repositories, for example:

repository_one
repository_two
repository_three

Supported syntax for CircleCI pipelines

The following table shows the type of properties that GitHub Actions Importer is currently able to convert.

CircleCI PipelinesGitHub ActionsStatus
cron triggers
  • on.schedule
Supported
environment
  • env
  • jobs.<job_id>.env
  • jobs.<job_id>.steps.env
Supported
executors
  • runs-on
Supported
jobs
  • jobs
Supported
job
  • jobs.<job_id>
  • jobs.<job_id>.name
Supported
matrix
  • jobs.<job_id>.strategy
  • jobs.<job_id>.strategy.matrix
Supported
parameters
  • env
  • workflow-dispatch.inputs
Supported
steps
  • jobs.<job_id>.steps
Supported
when, unless
  • jobs.<job_id>.if
Supported
triggers
  • on
Supported
executors
  • container
  • services
Partially Supported
orbs
  • actions
Partially Supported
executors
  • self hosted runners
Unsupported
setupNot applicableUnsupported
versionNot applicableUnsupported

For more information about supported CircleCI concept and orb mappings, see the github/gh-actions-importer repository.

Environment variable mapping

GitHub Actions Importer uses the mapping in the table below to convert default CircleCI environment variables to the closest equivalent in GitHub Actions.

CircleCIGitHub Actions
CI$CI
CIRCLE_BRANCH${{ github.ref }}
CIRCLE_JOB${{ github.job }}
CIRCLE_PR_NUMBER${{ github.event.number }}
CIRCLE_PR_REPONAME${{ github.repository }}
CIRCLE_PROJECT_REPONAME${{ github.repository }}
CIRCLE_SHA1${{ github.sha }}
CIRCLE_TAG${{ github.ref }}
CIRCLE_USERNAME${{ github.actor }}
CIRCLE_WORKFLOW_ID${{ github.run_number }}
CIRCLE_WORKING_DIRECTORY${{ github.workspace }}
<< pipeline.id >>${{ github.workflow }}
<< pipeline.number >>${{ github.run_number }}
<< pipeline.project.git_url >>$GITHUB_SERVER_URL/$GITHUB_REPOSITORY
<< pipeline.project.type >>github
<< pipeline.git.tag >>${{ github.ref }}
<< pipeline.git.branch >>${{ github.ref }}
<< pipeline.git.revision >>${{ github.event.pull_request.head.sha }}
<< pipeline.git.base_revision >>${{ github.event.pull_request.base.sha }}

Certaines parties ont été adaptées à partir de http://github.com/github/gh-actions-importer/ sous la licence MIT :

MIT License

Copyright (c) 2022 GitHub

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.