Merge pull request #24538 from mrc0mmand/TEST-13-tweaks

test: forward nspawn logs to journal

Merge pull request #24546 from mrc0mmand/test-exec-deserialization-tweaks

A couple of tweaks for test-exec-deserialization

test: suppress not-found errors for `selinuxenabled`

if the binary is not available.

test: forward nspawn logs to journal

Dumping everything to console slows the test quite considerably on
slower machines, so let's forward nspawn logs to the journal to still
have them available in case something goes south.

This should, hopefully, help with TEST-13 timeouts in Ubuntu CI and
maybe with CPU soft lockups in CentOS CI.

Merge pull request #24541 from poettering/bootspec-tweaks

bootspec: slightly stricter validation + process tries-left/tries-done counters in filenames

mkosi: update to latest commit

Required to fix Debian testing/unstable builds, as resolved is
now in its own package

test: make pylint happy

log: don't attempt to duplicate closed fd

if the console fd is not open we shouldn#t try to move it out of the 0…2
range.

Fixes: #24535
Alternative-for: #24537

test: check for the output file in a loop

This should make the test faster on fast machines and more reliable on
slower/under-load machines, where the 4 sec sleep wasn't sometimes enough.

Spotted on C8S machines under load:

```
test_added_after (__main__.ExecutionResumeTest) ... FAIL
test_added_before (__main__.ExecutionResumeTest) ... ok
test_interleaved (__main__.ExecutionResumeTest) ... ok
test_issue_6533 (__main__.ExecutionResumeTest) ... ok
test_no_change (__main__.ExecutionResumeTest) ... ok
test_removal (__main__.ExecutionResumeTest) ... ok
test_swapped (__main__.ExecutionResumeTest) ... ok

======================================================================
FAIL: test_added_after (__main__.ExecutionResumeTest)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "./test/test-exec-deserialization.py", line 101, in check_output
    with open(self.output_file, 'r') as log:
FileNotFoundError: [Errno 2] No such file or directory: '/tmp/tmpjnec1dj4'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "./test/test-exec-deserialization.py", line 150, in test_added_after
    self.check_output(expected_output)
  File "./test/test-exec-deserialization.py", line 104, in check_output
    self.fail()
AssertionError: None

----------------------------------------------------------------------
Ran 7 tests in 44.270s
```

Merge pull request #24536 from yuwata/dissect-take-loop-device

dissect-image: introduce dissect_loop_device() which takes LoopDevice object

dissect-image: introduce dissect_loop_device() which takes LoopDevice object

find-esp: call the right function

We want the parent dir here, let's fix that.

update TODO

bootspec: clarify we knowingly ignore all errors but ENOMEM

bootspec: properly parse tries done/tries left from bootspec file names

This has been a long-time omission in the userspace parser of bootspec
files. Correct that.

Fixes: #16457

loop-util: always set LoopDevice.node

loop-util: rename loopdev -> node

Preparation for the next commit. No functional change.

core/swap: use devname_from_stat_rdev()

sd-device: introduce devname_from_stat_rdev()

sd-device: rename devpath_from_devnum() -> devname_from_devnum()

In sd-device, `devpath` is a kind of syspath without '/sys' prefix, e.g.
/devices/pci0000:00/0000:00:1c.4/0000:3c:00.0/nvme/nvme0/nvme0n1,
and `devname` is a path to the device node, e.g. /dev/nvme0n1.

Let's use the consistent name for the helper function.

bootspec: rename "id" function parameters to "fname"

It's really the file name, so name it like that. Just some renaming.

(This is preparation for later work, to extract tries-done/tries-left
info from filenames)

bootspec: complain about loader.conf lines without parameter

bootspec: port type1 parser to log_syntax()

bootspec: let's actually use the result of strstrip() for further parsing

Also, given we are looking for whitespace as separators, just pass NULL
as separators, extract_first_word() defaults to whitespace after all.

bootspec: simplify paths + insist they are normalized

Inspired by #23913, let's complain if people use paths with ".."
in Type #1 bootspec entries.

Let's prefix all paths with "/" if it is missing.

Let's simplify all paths.

let's refuse paths/warn with "..".

Fixes: #23913

Merge pull request #24491 from poettering/compare-order

condition: unify operator parsing handling

sysusers: make sp_lstchg shadow field reproducible

If the environment variable SOURCE_DATE_EPOCH is set, use its value
instead of the current time.

Merge pull request #24530 from poettering/loop-with-more-lock

a variety of loopback block device fixes

mention ConditionKernelVersion= compat break in NEWS

condition: change operator logic to use $= instead of =$ for glob comparisons

So this is a bit of a bikeshedding thing. But I think we should do this
nonetheless, before this is released.

Playing around with the glob matches I realized that "=$" is really hard
to grep for, since in shell code it's an often seen construct. Also,
when reading code I often found myself thinking first that the "$"
belongs to the rvalue instead of the operator, in a variable expansion
scheme.

If we move the $ character to the left hand, I think we are on the safer
side, since usually lvalues are much more restricted in character sets
than rvalues (at least most programming languages do enforce limits on
the character set for identifiers).

It makes it much easier to grep for the new operator, and easier to read
too. Example:

before:
    ConditionOSRelease=ID=$fedora-*
after:
    ConditionOSRelease=ID$=fedora-*

condition: change ConditionKernelVersion= so that =/!= mean literal string comparison, and ==/<> version comparison

The only reason to do this is to ensure uniformity with the other
options, that work like this, i.e. ConditionOSRelease= or
ConditionSecurity=.

This is a compatibility break, but a minor one, given that string
comparison and version comparison is mostly the same for equality and
inequality.

condition: allow literal string compares in SMBIOS condition

This ensures that "=" and "!=" are now interpreted as literal string
compares, and "==" and "<>" are for version compares.

This is not a compat break, since the SMBIOS stuff has not been included
in any release yet.

Main reason to do this, is to be systematic with the other conditions
that check for text stuff.

condition: allow fnmatch() matches in ConditionKernelVersion=

This is mostly to make things systematic, and brings no new
functionality, as not specifying any operator is identical to prefixing
with =$ anyway.

compare: add macro for operator charset

compare: propagate errors of fnmatch() as errors

compare: support textual operators, and port analyze over to it

compare: add two new operators "==" and "<>"

These two operators always indicate ordering comparisons, as opposed to
"=" and "!=" which depending on context mean literal string compares.

This is useful for ConditionOSRelease= for example, as this means
there's now always a way to do version compares.

compare: rework table in parse_compare_operator() to be array of structs

Let's change the lookup table to contain pairs of operator/strings,
instead of being indexed by operator.

The table isn't dense anymore, and this allows us to add alias strings
sooner or later.

condition: allow fnmatch compares for ConditionOSRelease=

We support this for smbios matches, hence do so for /etc/os-release
matches too.

compare: add flag for parse_compare_operator() to do equality/inequality comparison via simple string compares

This allows us to switch condition_test_osrelease() to use generic
version_or_fnmatch_compare() for executing the comparison.

compare: add a proper flags field for parse_compare_operator()

compare: drop use of FNM_EXTMATCH for now

None of our other fnmatch() calls make use of this, and the concept was
new to me at least. Given that this is only used for the recently added
SMBIOS field matches (and is not included in any release) let's disable
"extended" matches for now. We can certainly revisit this, and enable it
later if there is real demand, but if we do, we should probably add that
all over the place, not just for smbios matches.

comapre: add generic implementation for comapring with verscmp+fnmatch

compare: move test_order() → compare-operator.[ch]

condition: split out order operator enum

Let's move the operator enum into its own .c/.h file, so that we can
reuse it elsewhere, in particular systemd-analyze's compare-versions
logic.

Let's rename the concept CompareOperator, since it is nowadays
genericlaly about both order *and* fnmatch comparisons, hence just
naming it "order" is misleading.

loop-util: make clearer how LoopDevice objects that do not encapsulate an actual loopback device are set up

loop-util: lock the control device around clearing the loopback device and deleting it

This mirrors what we already do during allocation. We lock the control
device first, and then release the block device and then delete it.

This makes things substantially more robust as long all participants do
such locking: we won't attempt to delete a block device somebody else
already is using.

loop-util: close lock fd before trying LOOP_CLR_FD in failure path

If the loopback device is open more than once LOOP_CLR_FD will fail,
hence close the lock fd first explicitly, so there's definitely only one
fd left.

loop-util: drop code to attach empty file

Back when I wrote this code I wasn't aware of BLKPG and what it can do.
Hence I came up with this hack to attach an empty file to delete all
partitions. But today we can do better with BLKPG: let's just explicitly
remove all partitions, and then try again.

loop-util: rework how we lock loopback block devices

Let's rework how we lock loopback block devices in two ways:

1. Lock a separate fd, instead of the main block device fd. We already
   did that for our internal locking when allocating loopback block
   devices, but do so for the exposed locking (i.e.
   loop_device_flock()), too, so that the lock is independent of the
   main fd we actually use of IO.

2. Instead of locking the device during allocation of the loopback
   device, then unlocking it (which will make udev run), and then
   re-locking things if we need, let's instead just keep the lock the
   whole time, to make things a bit safer and faster, and not have to
   wait for udev at all. This is done by adding a "lock_op" parameter to
   loop device allocation functions that declares the initial state of
   the lock, and is one of LOCK_UN/LOCK_SH/LOCK_EX. This change also
   shortens a lot of code, since we allocate + immediately lock loopback
   devices pretty much everywhere.

dissect: drop partition removal code

This reverts a major chunk of 75d7e04eb4662a814c26010d447eed8a862f5ec1

Now that the loopback device code already destroys the partitions we
don't have to do this here anymore.

I am sure the right place to delete the partitions is in the loopback
code, since we really only should do that for loopback devices, see
bug #24431, and not on "real" block devices.

I am also not convinced dropping partitions the dissection logic doesn't
care about is a good idea, after all. The dissection stuff should
probably not consider itself the "owner" of the block devices it
analyzes, but take a more passive role: figure out what is what, but not
modify it.

Fixes: #24431

dissect: don't remove partitions explicitly on umount anymore

We do that now automatically when releasing the loopback device, hence
we can drop the redundant try entirely.

loop-util: when clearing a loopback device delete partitions first, and take BSD lock

Whenever we release a loopback device, let's first synchronously delete
all partitions, so that we know that's complete and not done
asynchronously in the background. Take a BSD lock on the device while
doing so, so that udev won't make the devices busy while we do this.

loop: convert impossibe EBADF cases into asserts

github: update differential shellcheck to v3.0.1

v3 supports external sources. Yey!

Merge pull request #24531 from poettering/loop-resize-part-modernizations

loopback block device resize partition modernizations

loop-util: use DEVNUM_FORMAT_STR more

loop-util: move resize partition ioctl call to blockdev-util.[ch]

The other BLKPG calls have wrappers in blockdev-util.[ch], let's place
them all there.

No change in behaviour.

man: remove reference to mkinitrd

build(deps): bump meson from 0.63.0 to 0.63.1 in /.github/workflows

Bumps [meson](https://github.com/mesonbuild/meson) from 0.63.0 to 0.63.1.
- [Release notes](https://github.com/mesonbuild/meson/releases)
- [Commits](https://github.com/mesonbuild/meson/compare/0.63.0...0.63.1)

---
updated-dependencies:
- dependency-name: meson
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump github/super-linter from 4.9.5 to 4.9.6

Bumps [github/super-linter](https://github.com/github/super-linter) from 4.9.5 to 4.9.6.
- [Release notes](https://github.com/github/super-linter/releases)
- [Changelog](https://github.com/github/super-linter/blob/main/docs/release-process.md)
- [Commits](https://github.com/github/super-linter/compare/2d64ac1c067c34beaf7d24cc12733cd46236f76e...01d3218744765b55c3b5ffbb27e50961e50c33c5)

---
updated-dependencies:
- dependency-name: github/super-linter
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

build(deps): bump redhat-plumbers-in-action/advanced-issue-labeler

Bumps [redhat-plumbers-in-action/advanced-issue-labeler](https://github.com/redhat-plumbers-in-action/advanced-issue-labeler) from 1.2.0 to 1.2.1.
- [Release notes](https://github.com/redhat-plumbers-in-action/advanced-issue-labeler/releases)
- [Commits](https://github.com/redhat-plumbers-in-action/advanced-issue-labeler/compare/b89eb39b97529bb7596cb4e716485a6d6f7dd74a...d12b782ff92bc9ac535fb09c925aaa5be9e40f69)

---
updated-dependencies:
- dependency-name: redhat-plumbers-in-action/advanced-issue-labeler
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

update TODO

tree-wide: Use "unmet" for condition checks, not "failed"

Often I end up debugging a problem on a system, and I
do e.g. `journalctl --grep=failed|error`.  The use of the term
"failed" for condition checks adds a *lot* of unnecessary noise into
this.

Now, I know this regexp search isn't precise, but it has proven
to be useful to me.

I think "failed" is too strong of a term as a baseline, and also
just stands out to e.g. humans watching their servers boot or
whatever.

The term "met condition" is fairly widely used, e.g.
https://stackoverflow.com/questions/63751794/what-does-the-condition-is-met-exactly-mean-in-programming-languages

Use that instead.

udevadm-settle: improve logs when we cannot access /run/udev/control

Addresses https://github.com/systemd/systemd/pull/24474#discussion_r959696663.

Merge pull request #24515 from yuwata/dissect-timeout

dissect-image: extend timeout for waiting devlink

update TODO

tree-wide: Use devnum helpers in a few more places

test: don't mistake error for success

Follow-up for acd3c8662465c1f36c0c0fc974584694928d9234

shellcheck/labeler: disable on systemd-security

condition: properly handle fnmatch() errors in ConditionHost

path-util: return error if fnmatch() fails

test-29-portable: enable debugging logs of udevd

test-29-portable: extend timeout for slower environment

dissect-image: add environment variable to control timeout for waiting devlink to be configured

udev-util: make device_wait_for_initialization() take relative timeout

Also make the timer event source floating.

udev-util: replace device_new_from_dev_path() with sd_device_new_from_devname()

hashmap: add comment explaining that set_fnmatch() handles fnmatch() errors as non-matches

Merge pull request #24499 from medhefgo/format-signedness

meson: Compile with -Werror=format-signedness

hwdb: fix Dell Professional Sound Bar AE515 scancode (#24497)

meson: Compile with -Werror=format-signedness

tree-wide: Fix field width specifier warnings

The casting here isn't pretty, but at least it makes it obvious what is
happening instead of implicit and it allows enabling -Wformat-signedness.

tree-wide: Fix format specifier warnings for %x

Unfortunately, hex output can only be produced with unsigned types. Some
cases can be fixed by producing the correct type, but a few simply have
to be cast. At least casting makes it explicit.

tree-wide: Fix a some remaining format warnings by casting

tree-wide: Mark some constants as unsigned

All these are really unsigned and used as such. This silences some
-Wformat-signedness warnings with gcc.

journal: Show grcrypt error message instead of a raw code

efivars: Parse into unsigned

The format specifiers for UUID parsing use %x, which expects unsigned.

tree-wide: Use correct format specifiers

gcc will complain about all these with -Wformat-signedness.

Merge pull request #24474 from yuwata/udevadm-settle-cleanups

udevadm-settle: several cleanups

Merge pull request #24471 from yuwata/udevadm-wait-periodic-timer

udevadm-wait: introduce periodic timer for checking devices

Merge pull request #23888 from topimiettinen/networkd-netlabel-v2

network: NetLabel integration

hwdb: Force release calculator key on all HP Victus laptops

The key doesn't create a release event. This is a fix to make it work properly. I made sure the product is generic to work on all Victus laptops.

This fix #23006.

homed: don't use stat() data from an unrelated inode

This doesn't really change anything, since we know the stat data used
here also contains S_IFBLK, but it's frickin' confusing.

Merge pull request #24495 from poettering/loopback-block-msg

improve loopback warning message

strv: modernize strv_fnmatch() a bit

Merge pull request #24466 from mrc0mmand/TEST-75-tweaks

test: fix delv trust anchors location on Ubuntu

loopback: use ERRNO_IS_PRIVILEGE() where appropriate

loop: make 'Failed to configure loopback device' log message clearer

We print the very same log message for loopback block devices and for
loopback network devices. Let's better be clear what kind it is.

docs: use Title Case for section titles

as per:

https://titlecase.com/

test: testing for networkd NetLabel feature