Release v2.0.0

.github/workflows/ui-tests.yml

@@ -0,0 +1,139 @@
+name: UI Tests
+
+on:
+  push:
+    branches: [ '**' ]
+  pull_request:
+    branches: [ '**' ]
+  workflow_dispatch:
+
+jobs:
+  ui-tests:
+    runs-on: ubuntu-latest
+    timeout-minutes: 60
+
+    steps:
+    - name: Checkout code
+      uses: actions/checkout@v4
+
+    - name: Set up Python
+      uses: actions/setup-python@v4
+      with:
+        python-version: '3.9'
+
+    - name: Install system dependencies
+      run: |
+        sudo apt-get update
+        sudo apt-get install -y docker-compose fonts-noto-cjk fonts-noto-color-emoji
+
+    - name: Set up Docker Buildx
+      uses: docker/setup-buildx-action@v3
+
+    - name: Cache Docker layers
+      uses: actions/cache@v3
+      with:
+        path: /tmp/.buildx-cache
+        key: ${{ runner.os }}-buildx-${{ github.sha }}
+        restore-keys: |
+          ${{ runner.os }}-buildx-
+
+    - name: Start WEKO containers
+      run: |
+        chmod +x install.sh
+        ./install.sh
+      env:
+        DOCKER_BUILDKIT: 1
+        COMPOSE_DOCKER_CLI_BUILD: 1
+
+    - name: Wait for services to be ready
+      run: |
+        echo "Waiting for WEKO services to start..."
+        start_time=$(date +%s)
+        max_attempts=60
+        attempt=0
+
+        while [ $attempt -lt $max_attempts ]; do
+          attempt=$((attempt + 1))
+          current_time=$(date +%s)
+          elapsed=$((current_time - start_time))
+
+          echo "Attempt $attempt/$max_attempts (${elapsed}s elapsed): Checking WEKO availability..."
+
+          # Check if we can connect to the service
+          if curl -f -s --insecure https://localhost/ > /dev/null 2>&1; then
+            echo "✓ WEKO is ready! (took ${elapsed}s)"
+            exit 0
+          else
+            # Get HTTP response code for debugging
+            http_code=$(curl -s -o /dev/null -w "%{http_code}" --insecure https://localhost/ 2>/dev/null || echo "connection_failed")
+            echo "  ✗ HTTP response: $http_code"
+          fi
+
+          if [ $attempt -lt $max_attempts ]; then
+            echo "  → Retrying in 5 seconds..."
+            sleep 5
+          fi
+        done
+
+        echo ""
+        echo "❌ WEKO failed to start within 300 seconds"
+        echo "Final HTTP response: $(curl -s -o /dev/null -w "%{http_code}" --insecure https://localhost/ 2>/dev/null || echo "connection_failed")"
+        echo ""
+        echo "Container status:"
+        docker compose -f docker-compose2.yml ps
+        exit 1
+
+    - name: Install UI test dependencies
+      run: |
+        cd ui-tests
+        pip install -r requirements.txt
+        playwright install chromium
+
+    - name: Run UI tests
+      run: |
+        cd ui-tests
+        mkdir -p reports test-results/videos
+        pytest --browser chromium --html=reports/report.html --self-contained-html
+      env:
+        WEKO_BASE_URL: https://localhost
+        WEKO_TEST_EMAIL: wekosoftware@nii.ac.jp
+        WEKO_TEST_PASSWORD: uspass123
+
+    - name: Upload test results
+      uses: actions/upload-artifact@v4
+      if: always()
+      with:
+        name: ui-test-results
+        path: |
+          ui-tests/reports/
+          ui-tests/test-results/
+        retention-days: 30
+
+    - name: Upload container logs
+      uses: actions/upload-artifact@v4
+      if: failure()
+      with:
+        name: container-logs
+        path: |
+          docker-compose2.yml
+        retention-days: 7
+
+    - name: Get container logs on failure
+      if: failure()
+      run: |
+        echo "=== Docker Compose Services ==="
+        docker compose -f docker-compose2.yml ps
+        echo "=== Web Container Logs ==="
+        docker compose -f docker-compose2.yml logs web
+        echo "=== Worker Container Logs ==="
+        docker compose -f docker-compose2.yml logs worker
+        echo "=== PostgreSQL Container Logs ==="
+        docker compose -f docker-compose2.yml logs postgresql
+        echo "=== Elasticsearch Container Logs ==="
+        docker compose -f docker-compose2.yml logs elasticsearch
+
+    - name: Cleanup containers
+      if: always()
+      run: |
+        docker compose -f docker-compose2.yml down -v
+        docker system prune -f

.github/workflows/unit-tests.yml

@@ -1,13 +1,17 @@
-name: Unit Tests (Docker Matrix)
+name: Unit Tests (Smart Image Build)
 
 on: [push, pull_request]
 
+env:
+  IMAGE_TAG: ghcr.io/rcosdp/weko:${{ github.sha }}
+
 jobs:
   test:
-    name: Test ${{ matrix.module }} in Docker Compose
-    runs-on: ubuntu-24.04
+    runs-on: ubuntu-latest
+    timeout-minutes: 60
     strategy:
       fail-fast: false
+      max-parallel: 4
       matrix:
         module:
           - invenio-accounts
@@ -56,45 +60,89 @@ jobs:
           - weko-workflow
 
     steps:
-      - name: Checkout
-        uses: actions/checkout@v4
+    - name: Checkout code
+      uses: actions/checkout@v4
 
-      - name: Set up Docker Buildx
-        uses: docker/setup-buildx-action@v3
+    - name: Set up Python
+      uses: actions/setup-python@v4
+      with:
+        python-version: '3.9'
 
-      - name: Ensure docker compose v2
-        run: |
-          docker compose version || {
-            DOCKER_CONFIG=${DOCKER_CONFIG:-$HOME/.docker}
-            mkdir -p $DOCKER_CONFIG/cli-plugins
-            curl -SL https://github.com/docker/compose/releases/latest/download/docker-compose-linux-x86_64 \
-              -o $DOCKER_CONFIG/cli-plugins/docker-compose
-            chmod +x $DOCKER_CONFIG/cli-plugins/docker-compose
-            docker compose version
-          }
+    - name: Install system dependencies
+      run: |
+        sudo apt-get update
+        sudo apt-get install -y docker-compose fonts-noto-cjk fonts-noto-color-emoji
 
-      - name: Build containers
-        run: docker compose build
+    - name: Change owner
+      run: sudo chown -R 1000:1000 ./modules 
+
+    - name: Set up Docker Buildx
+      uses: docker/setup-buildx-action@v3
 
-      - name: Start containers
-        run: docker compose up -d
+    - name: Cache Docker layers
+      uses: actions/cache@v3
+      with:
+        path: /tmp/.buildx-cache
+        key: ${{ runner.os }}-buildx-${{ github.sha }}
+        restore-keys: |
+          ${{ runner.os }}-buildx-
+    - name: Start WEKO containers
+      run: |
+        chmod +x install.sh
+        ./install.sh
+      env:
+        DOCKER_BUILDKIT: 1
+        COMPOSE_DOCKER_CLI_BUILD: 1
 
-      - name: Wait for services to be healthy
-        run: |
-          sleep 15  # 必要に応じて待機時間を調整
+    - name: Wait for services to be ready
+      run: |
+        echo "Waiting for WEKO services to start..."
+        start_time=$(date +%s)
+        max_attempts=60
+        attempt=0
+        while [ $attempt -lt $max_attempts ]; do
+          attempt=$((attempt + 1))
+          current_time=$(date +%s)
+          elapsed=$((current_time - start_time))
+          echo "Attempt $attempt/$max_attempts (${elapsed}s elapsed): Checking WEKO availability..."
+          # Check if we can connect to the service
+          if curl -f -s --insecure https://localhost/ > /dev/null 2>&1; then
+            echo "✓ WEKO is ready! (took ${elapsed}s)"
+            exit 0
+          else
+            # Get HTTP response code for debugging
+            http_code=$(curl -s -o /dev/null -w "%{http_code}" --insecure https://localhost/ 2>/dev/null || echo "connection_failed")
+            echo "  ✗ HTTP response: $http_code"
+          fi
+          if [ $attempt -lt $max_attempts ]; then
+            echo "  → Retrying in 5 seconds..."
+            sleep 5
+          fi
+        done
+        echo ""
+        echo "❌ WEKO failed to start within 300 seconds"
+        echo "Final HTTP response: $(curl -s -o /dev/null -w "%{http_code}" --insecure https://localhost/ 2>/dev/null || echo "connection_failed")"
+        echo ""
+        echo "Container status:"
+        docker compose -f docker-compose2.yml ps
+        exit 1
 
-      - name: Install test dependencies in container
-        run: |
-          docker compose exec -T web bash -c "pip install --upgrade pip && pip install tox tox-setuptools-version pytest-timeout"
+    - name: Install test dependencies
+      run: |
+          docker compose -f docker-compose2.yml exec -T web bash -c "pip install --upgrade pip && pip install tox tox-setuptools-version pytest-timeout"
 
-      - name: Run tox in module
-        run: |
-          docker compose exec -T web bash -c "cd modules/${{ matrix.module }} && tox"
+    - name: Run tox in ${{ matrix.module }}
+      run: |
+          docker compose -f docker-compose2.yml exec -T web bash -c "cd modules/${{ matrix.module }} && tox"
 
-      - name: Show logs (for debug)
-        if: failure()
-        run: docker compose logs
+    - name: Show logs if failed
+      if: failure()
+      run: docker compose -f docker-compose2.yml logs
 
-      - name: Stop and remove containers
-        if: always()
-        run: docker compose down
+    - name: Stop containers
+      if: always()
+      run: |
+        docker compose -f docker-compose2.yml down -v
+        docker system prune -f
+
+

.gitignore

@@ -79,6 +79,9 @@ scripts/demo/postgresql/
 docker-compose.dev.yml
 *.bak
 
+# Test output files
+test_output.txt
+
 #PDF cover page-related files
 header-icons/*
 combined-pdfs/*
@@ -99,3 +102,6 @@ test/data
 test/import.zip
 test/dummyfile/import.zip
 test/dummyfile/data
+# inbox
+inbox/
+ui-tests/test-results/

.vscode/settings.json

@@ -1,2 +1,2 @@
 {
-}
+}

AGENTS.md

@@ -0,0 +1,39 @@
+# AGENTS.md
+
+## プロジェクト概要 / Overview
+- WEKO3は研究成果の公開を行うためのリポジトリソフトウェアである。Git等の所謂コードのためのリポジトリとは異なるソフトウェアで、ウェブデータベースアプリケーションに近い概念のソフトウェアである。基本的な機能は研究成果とメタデータと呼ばれる研究成果の説明情報を一緒に保存し、表示、検索、配布する機能がある。外部システム連携のためのAPIを備える。
+- **フレームワーク(バックエンド)**: Invenio 3. Invenio3は　Flask 1.0.4 をベースにしている。(Python 3.6)
+- **フレームワーク（フロントエンド）**: React, Anguler JS, JQuery
+- **利用ミドルウェア**: PostgreSQL 12.x(データベース), Pgpool-II 4.2.2(データベースクラスタ用), Elasticsearch 6.8.23(検索用),Redis 7.4.1(セッション、キャッシュ管理用),RabbitMQ 4.0.2(メッセージキューイング用), nginx 1.20.1(ウェブサーバ用), shibboleth-sp(認証用),CNRI Handle Server(CNRIハンドル発行用) 
+- **主要ライブラリ**: Invenio 3 Framework(API,Web API用), Celery + RabbitMQ（タスクキュー）
+- **環境設定**: 環境変数は `docker-compose2.yml` ファイルで管理（機密情報はコードに直書きしない）。サーバ固有の設定は `scripts/instance.cfg` に記載する。
+
+## 開発環境セットアップ / Development Setup
+- dockerを利用する。
+- リポジトリのクローン後、`install.sh` コマンドを実行すると、環境構築が開始される。
+- 環境構築後、`https://127.0.0.1/` でサーバにアクセスすることができる。
+
+## テストの実行方法 / Testing
+- ユニットテストを実行: `python manage.py test`  
+  （またはpytest使用時: `pytest`）
+- 新機能を追加した際は必ず対応するテストコードを追加してください
+- テストが全てパスすることを確認してから変更を確定します
+
+## コードスタイル / Code Style
+- コーディング規約: **PEP8**に準拠 (スタイルガイドの遵守)
+- フォーマッター: **Black** を使用（`black .` でソースコードを整形）
+- リンター: **Flake8** を使用（`flake8` で静的解析チェック）
+- インポート順の整理: **isort** を使用（`isort .` でインポート並び替え）
+- これらのフォーマットチェックはコミット前に必ず実行し、指摘がない状態にしてください
+
+## セキュリティ方針 / Security
+- **秘密情報は厳重に管理**: APIキーやパスワードなど秘密情報は`.env`や環境変数から読み込み、絶対にGitに含めないでください
+- **ユーザ入力の検証**: フォームやAPIで受け取る入力はDjangoのバリデーション機構で適切に検証してください
+- **デバッグ設定**: 開発中以外では`DEBUG = False`に設定し、エラーページや機密情報が漏洩しないようにします
+- **依存パッケージ**: 新しいパッケージを導入する際はセキュリティ面を確認し、必要に応じてチームの承認を得てください
+
+## プルリクエストガイドライン / PR Guidelines
+- **タイトル形式**: `feat: 機能概要` のように、プレフィックスと簡潔な説明を書いてください
+- **事前チェック**: コードを提出する前に `flake8` や `pytest` を実行し、エラーやテスト失敗がないことを確認しましょう
+- **差分の範囲**: 1つのPRは関連する変更に留め、小さくまとまった変更を心がけてください（大規模な変更は分割を検討）
+- **説明コメント**: PRの説明欄には変更内容と目的、動作確認の方法を簡潔に記述してください

CHANGELOG.md

@@ -41,7 +41,6 @@ and this project adheres to [Semantic Versioning](http://semver.org/).
 ### Fixed  
 - Reduced the increasing number of database queries.  
 
-
 ## [v1.0.7a2] - 2024-12-27  
 ### Changed
 - Enabled the edit of metadata fields, including author identifier URLs and author affiliation identifier URLs.

CHANGELOG_ja.md

@@ -53,6 +53,8 @@
 
 
 ## [v1.0.7a] - 2024-10-29
+## [v1.0.8a] - 2024-10-29
+## [v1.0.9a] - 2024-10-29
 ### 既存機能の変更
 - ユーザがアクティビティロックを強制的に解除できる機能を追加しました。
 ### バグフィックス