ハイブリッド検索の威力を検証!Knowledge Bases for Amazon Bedrock

サーバーワークスの村上です。 2024年3月1日のアップデートでKnowledge Bases for Amazon Bedrockがハイブリッド検索に対応しました。 以前にも「RAGの主役は生成AIではなく検索システムだ」というブログで検索の重要性を書いていますが、今回ハイブリッド検…

Amazon BedrockでClaude 3 Sonnetが利用可能になりました

サーバーワークスの村上です。 2024年3月4日にAnthropic社のClaude 3が発表されました。 www.anthropic.com どうやらAmazon Bedrockでも使えるとのことでしたので早速試してみました。 aws.amazon.com 利用可能なリージョン Claude 3ファミリーのモデルの種…

時系列データの異常検知に使えるAmazon Lookout for Metricsの紹介

サーバーワークスの村上です。 今回は時系列データの異常を検出し、その原因の特定に有用なAmazon Lookout for Metricsについて紹介します。 まずは結論 セットアップの流れ Detectorの作成 データソースの選択 Detector modeの選択 バックテスト 連続モード…

Amazon Bedrockを使った社内QAチャットボットを3か月運用して起きた変化

サーバーワークスの村上です。 2023年10月にAmazon BedrockとSlackを使った、RAG構成のチャットボットを作ってみました。 blog.serverworks.co.jp 3か月が経った今、なんとこのアプリはサーバーワークスの社内ルールやナレッジなど様々な情報を基に回答する…

RAG評価フレームワークのragasを使ってみた

サーバーワークスの村上です。 このブログではRAGの評価フレームワークであるragasについて紹介します。 ragasとは RAGの評価イメージ ragasでできること概要(忙しい方向けのまとめ) このブログで検証したこと ragasの利用の流れ テストデータの作成 RAGア…

RAGの主役は生成AIではなく検索システムだという話 - Amazon Kendra と Amazon OpenSearch Serverless の比較 -

サーバーワークスの村上です。 煽った感じのタイトルですが、検索も大事だよね、と捉えていただけると幸いです。 このブログでは、同じ意味だけど検索対象ドキュメントとは違う言葉を使って検索した際に、きちんと検索できるのか検証してみました。 最初に記…

【re:Invent 2023】Agents for Amazon Bedrockで生成AIアプリの可能性を広げよう

サーバーワークスの村上です。 今年もre:Invent 2023が終わりましたね。多くのアップデートがあり色々キャッチアップしないといけないので、むしろこれからという感じでしょうか。 さて、このブログでは、re:Invent 2023で発表されたAgents for Amazon Bedro…

【re:Invent 2023】Amazon Bedrockで使えるモデルが増えました!Dr Swami Sivasubramanian Keynoteで発表されたBedrock関連のアップデート

サーバーワークスの村上です。 現地11月28日に行われたAdam Selipsky Keynoteでは、Knowledge base for Amazon BedrockのGAなどが発表されましたが、発表の中で「明日のDr Swami のKeynoteもお楽しみに」という発言がありました。 「これは明日が本番だな...…

【re:Invent 2023】Knowledge base for Amazon BedrockがGAしたので解説します

サーバーワークスの村上です。 re:Invent 2023の2日目はAmazon Bedrock関連で複数のアップデートがありました。 このブログでは、注目のアップデートであるKnowledge base for Amazon Bedrockについて紹介します。 aws.amazon.com その他のre:Invent関連ブロ…

【re:Invent 2023】AWS Step FunctionsにAmazon BedrockのAPIが追加されたので、LLMの出力をLLMにチェックさせてみた

サーバーワークスの村上です。 re:Invent 2023、今年も始まりましたね。 さっそくBedrock関連のアップデートを紹介します。 結論 AWS Step Functionsとは? AWS Step Functionsに追加されたAmazon BedrockのAPIは2つ LLMの出力をLLMにチェックさせてみた 全…

Amazon Bedrockのモニタリングを考える

サーバーワークスの村上です。 このブログではAmazon Bedrockをモニタリングするツールについて、主にCloudWatchとWeights & Biasesを比較していきます。 後述しますが、Weights & BiasesはAWSサービスではなく、機械学習の実験管理などに使われるサードパー…

Amazon Bedrockの入出力に個人情報が含まれていたらAmazon Comprehendでフィルタする

サーバーワークスの村上です。 ハロウィンが終わり11月になりました。224cmルーキー、ウェンバンヤマによるスレンダーマンの仮装を貼っておきます。 Happy HalloWemby! Spurs/Suns, 10pm/et on TNT pic.twitter.com/ZCNU1f5oBh— NBA (@NBA) 2023年10月31日 …

Amazon BedrockとSlackによるRAG(検索拡張生成)構成

サーバーワークスの村上です。 10月といえば一番に思いつくのがNBAシーズンの開幕ですよね。今期も脳死で課金します。 Year 6 pic.twitter.com/1TwqNSTrOH— Yuta Watanabe 渡邊 雄太 (@wacchi1013) 2023年10月3日 さて、このブログはAmazon BedrockとSlackを…

Amazon BedrockがGAしたので概要をまとめてみる

サーバーワークスの村上です。 Amazon Bedrockが2023年9月28日ついにGA(一般公開)されました。 aws.amazon.com 使用可能なリージョン us-east-1 (バージニア北部) とus-west-2 (オレゴン)のみです。 ブログ執筆現在で東京リージョンは未対応です。 2023年1…

大規模言語モデル(LLM)を使ってFAQページに沿って答えてくれるチャットボットをつくろう

サーバーワークスの村上です。 NBAシーズン開幕まであと約1ヶ月、楽しみですね! 昨季優勝したナゲッツが呪術廻戦のエンディング風に試合スケジュールを公開していますので貼っておきますね。 Domain Expansion: Schedule Release pic.twitter.com/TmnZEFlw…

Amazon SageMaker JumpStart で Stable Diffusion XL 1.0が利用可能になりました

サーバーワークスの村上です。 NBAは絶賛シーズンオフですが、渡邊選手、八村選手ともに複数年契約きましたね! Yuta Watanabe has agreed on a deal with the Phoenix Suns, per @ShamsCharania pic.twitter.com/8lcwvOlHsx— NBA on TNT (@NBAonTNT) 2023年…

Amazon SageMaker Trainingで組み込みアルゴリズムを使って機械学習モデルを作成する

サーバーワークスの村上です。 NBAの2022-2023シーズンが終わってしまいましたね。。感動がいっぱいでした、来年も脳死で課金します。 YOUR DENVER NUGGETS ARE THE 2023 NBA CHAMPIONS #bRINGItIn pic.twitter.com/aOHqbUYwOx— Denver Nuggets (@nuggets) 2…

Amazon SageMaker Jumpstartで大規模言語モデル(LLM)を試してみた

サーバーワークスの村上です。 NBAはいよいよカンファレンスファイナルが始まりますね! 正直レイカーズがここまで勝ち上がるとは思っていませんでした、とっても楽しみです。 Los Angeles — Denver pic.twitter.com/QrA3zIQr2O— Los Angeles Lakers (@Laker…

Amazon FSx for NetApp ONTAPのSnapMirror設定方法

サーバーワークスの村上です。 今年のNBAプレイオフは例年より盛り上がっている感があっていいですね。第8シードのチームが第1シードのチームを下したのは1994年以来らしいですよ。 我らが八村選手も1996年のマジック・ジョンソン以来、レイカーズで「プレイ…

Amazon FSx for NetApp ONTAPを管理するBlueXPを使ってみた

こんにちは、サーバーワークスの村上です。 ついにレイカーズがプレイイン圏内の順位に上がりましたね(2023年3月10日現在)。 What a night pic.twitter.com/eWU0N73cXa— Los Angeles Lakers (@Lakers) 2023年3月8日 プレイオフも見えてきた!ということで…

SageMaker StudioとSageMaker Notebooksの違い

こんにちは。村上です。 見ましたか?見ましたよね、NBAオールスター。 スラムダンクコンテストが最高に盛り上がりましたね。 【もはや芸術の域?】米スラムダンクコンテストで優勝、マクラングの「技」に観客も興奮pic.twitter.com/vHqJEA65iv— ライブドア…

【アップデート】Amazon Personalizeでデータセットの分析が簡単にできるようになりました

クラウドインテグレーション部の村上です。 2023年1月26日は記念すべき日でしたね! ようこそ the #LakeShow, 八村塁選手 pic.twitter.com/lwtvKS568D— Los Angeles Lakers (@Lakers) 2023年1月24日 八村選手、日本人初のレイカーズデビュー&視聴サイトのサ…

Amazon SageMaker ClarifyのExplainability Reports(説明可能性レポート)を活用しよう

クラウドインテグレーション部の村上です。NBAが大好きです。 渡邊選手も八村選手もケガから復帰したので毎日楽しみですね。 Everybody eats pic.twitter.com/y479KqAOvn— Brooklyn Nets (@BrooklynNets) 2022年12月22日 さて、今回はAmazon SageMaker Clar…

Amazon SageMaker Clarifyのバイアスレポートを活用しよう

クラウドインテグレーション部の村上です。NBAが大好きです。 2年ほど前、仕事中後にNBAを見ていると、選手全員のユニフォームに「Black Lives Matter」という文字が書かれていました。 #BlackLivesMatter pic.twitter.com/5ehR6gLX8F— Toronto Raptors (@Ra…

新機能!モデルの比較ができるAmazon SageMakerのShadow Testsを試してみた

こんにちは。クラウドインテグレーション部の村上です。 AWS re:Invent 2022、終わりましたね。今回も「アップデート数半端ないって!」でしたね。 さて、今回のre:Inventで発表されたAmazon SageMakerのShadow Testsを試してみましたので、よければ見てくだ…

Amazon RDS for SQL ServerでSSRSを使用する

クラウドインテグレーション部の村上です。 Amazon RDS for SQL ServerでSQL Server Reporting Services (SSRS)を見てみたので、今回はその手順を備忘録として残しておきたいと思います。 前提 SQL Server Reporting Services (SSRS)とは? SSRSを使用できる…

タイタニック号で生死を分けたものはなに?さわって学ぶAmazon SageMaker Data Wrangler

クラウドインテグレーション部の村上です。 今回は「SageMaker Data Wranglerとはどのようなサービスかさわって学ぶ」というテーマで書いていきます。 機械学習におけるSageMaker Data Wranglerの位置づけ データの前処理って大事 SageMaker Data Wranglerの…

Amazon SageMaker AutopilotでKaggleに参加してみた

クラウドインテグレーション部の村上です。 今回はSageMaker Autopilotをやってみたブログです。 チュートリアルではなく、Kaggleのコンペで使ってみたらどうなるんだろう?という内容です。 興味があれば読んでください! Kaggleってなに? Kaggleとは 参加…

EKSのCPU・メモリのリクエストをDatadogで監視する

CI部の村上です。 前回に続きEKS・Datadogの話題です。 blog.serverworks.co.jp はじめに Kubernetesでのリソース管理について EKSに限らずKubernetesでは、各コンテナがCPUやメモリをどれだけ使用しても良いか、マニフェストで定義します。 具体的には、spe…

EKSノードにデプロイ可能なPod数をDatadogで監視する

CI部の村上です。 今回はEKSのノードにデプロイ可能なPodの数をDatadogで見てみたという話です。 はじめに 今回検証した環境 ノードにデプロイできるPod数に制限があるのはなぜか インスタンスタイプごとの最大Pod数 実際に確かめてみる そもそも監視する必…

Helmでデプロイ先のEKSクラスターを指定する

EKS

CI部の村上です。 小ネタ的な記事ですが、掲題の件について紹介します。 前提 Helmとは Helmのインストール Kubeconfigとは 環境設定について EKSクラスターの状態 kubeconfigの設定 Helmのバージョン test02のEKSクラスターにデプロイしたい場合どうするか …

WinAuthを使ったMFA(多要素認証)設定方法

クラウドインテグレーション部の村上です。 今回はMFA(多要素認証)の設定方法について紹介します。 今回紹介するWinAuthは名前からも分かるとおり、Windows PC対応のMFAソフトです。 スマホアプリのAuthyを使ったMFA設定方法は、別の記事がありますので参…

プライベートなEC2にファイルを転送したい~WinSCPとFileZilla~

クラウドインテグレーション部の村上です。 パブリックIPアドレスを持たないEC2に、ローカルからファイルを転送したい場面ってありますよね。 今回は備忘も兼ねてその方法をまとめます。ファイル転送ツールはいくつかありますが今回はWinSCPとFileZillaをピ…

AWS DataSyncでS3のデータをEFSに転送する

AWS

クラウドインテグレーション部の村上です。 今回はAWSのデータ移行サービスであるAWS DataSyncを紹介します。 データ移行のOverView データ移行の手法はAWS DataSync以外にもあります。一番に思いつくのはAWS Snow Familiyではないでしょうか。 こちらにデー…

AWS Network FirewallのSuricata互換を検証してみる

クラウドインテグレーション部の村上です。 今回はAWSのマネージドなネットワーク保護サービスであるAWS Network Firewallについて検証してみました。 AWS Network Firewallのルールグループは5-tuple形式やDomain list形式を使って作成することが多いかと思…

WorkSpacesにRDP接続する

クラウドインテグレーション部の村上です。 今回はAWSのVDI(仮想デスクトップ基盤)サービス、WorkSpacesに対してリモートデスクトップ(RDP)接続する手順について紹介します。 やりたいこと 以下のようにプライベートなサブネットにあるWorkSpaceに踏み台…

WorkSpacesにバンドルされるWorry-Free Business Securityを使ってみた

こんにちは、クラウドインテグレーション部の村上です。 AWSのVDI(仮想デスクトップ基盤)としてWorkSpacesがありますが、追加の月額費用を支払うことでプラスアプリケーションバンドルを選択することができます。 プラスアプリケーションバンドルにはMicro…

Amazon Macieを検証してみた

AWS

CI部の村上です。 唐突ですがS3 情報流出と検索すると怖いニュースがいっぱい出てきますね。 AWSのストレージサービスであるS3から情報が漏れた事例ですが、主な原因はヒューマンエラーによる設定ミスのようです。 というわけで今回はS3にある大切な情報を守…

【セッションレポート】Amazon S3への移行(原題:Accelerate your migration to Amazon S3)

CI部の村上です。 本記事は現在開催中のre:Invent2020のセッション「Accelerate your migration to Amazon S3」に参加したレポートです。 セッション概要 主なアジェンダは以下のとおりです。 導入:データ移行の重要性について AWS DataSync と AWS Storage…

AWS Security Hubでセキュリティリスクを自動修復する

クラウドインテグレーション部の村上です。 最近セキュリティに強くなりたいなと思い、その第一歩としてAWS Security Hubを検証してみましたので紹介します。 AWS Security Hubとは AWS Security Hubは、組織内の様々なセキュリティデータを集約して、一元的…

CloudWatchアラームの動作テストがしたい

クラウドインテグレーション部の村上です。 今回は色々なところでよく登場するCloudWatchアラームの動作テストについて書きます。 どんなときに使うか 絵にするとこんな感じです。 CloudWatchアラームを使う場合、主に以下のことを検証すると思います。 前処…

Transit GatewayのAuto accept shared attachmentsってなんだ?

CI部の村上です。最近、Transit Gateway(以下、TGW)に触れる機会があり、「これなに?」と思った設定項目がありましたので、今回はそれを記事にします。 Auto accept shared attachments(共有アタッチメントを自動的に受け入れる)ってなんだ? AWS Resou…